xixiaoyao / CS224n-winter-together

CS224N-winter-together

CS224n-winter-together（又叫Stanford CS224n追剧计划）是由微信公众号 夕小瑶的卖萌屋 发起的开源课程学习项目，本项目旨在为大家提供一个课程笔记、感悟与延伸、课程作业与project的分享与内容沉淀平台，每个人均可将自己的笔记、感悟、作业等提交到该repo下面对应课程的文件夹底下，来方便大家参考学习，具体细节见提交流程。另外，鼓励大家以markdown格式进行提交以免repo大小增长过快。

本项目在2020年斯坦福大学开设的自然语言处理课程CS224n的基础上建立，注意，由于2020年的视频现在没有对外放出，因此视频资料是2019年的（不过连线斯坦福的小伙伴问了一下，区别不大，PPT也更新不大），其他资料均为今年的。

Stanford CS224n官方课程主页：http://web.stanford.edu/class/cs224n

关于该计划的详细攻略见 这里

项目目录

.
├── Lectures（课程资料）
│   ├── Class 1. Introduction and Word Vectors
|   |    ├── video（教学视频，配中英双语字幕） 
│   │    ├── slides (课件）
│   │    ├── additional readings（推荐阅读）
│   │    ├── FAQ（问题总结，整理自微信讨论群）
│   │    └── notes（官方笔记）
│   ├── Class ...
│   └── Class N 
│
├─── Assignments（课程作业）
│    ├─- Assignment 1
│    │   └── upload（大家在该目录上传自己完成的作业）
│    ├─- Assignment ...
│    └── Assignment N 
│
├─── Feature Notes（第三方笔记、感悟和延伸文章）
│    └── upload（大家在该目录上传自己完成的笔记、感悟和延伸文章，请务必保证原创）
│
└─── Projects（项目实战）
     └── upload（大家在该目录上传自己队伍完成的实战项目，目前暂未开放）

课程计划

微信公众号夕小瑶的卖萌屋将每周推送两集课程视频（中英双语字幕）和对应的官方ppt/笔记/推荐阅读材料等，并发布课后作业。

推送计划（英文目录）：

• week1：Introduction and Word Vectors
• week2：Word Vectors 2 and Word Senses / Word Window Classification and Neural Networks
• week3：Matrix Calculus and Backpropagation / Linguistic Structure: Dependency Parsing
• week4：The probability of a sentence? Recurrent Neural Networks and Language Models / Vanishing Gradients and Fancy RNNs
• week5：Machine Translation, Seq2Seq and Attention / Practical Tips for Final Projects
• week6：Question Answering and the Default Final Project/ConvNets for NLP
• week7：Information from parts of words (Subword Models) and Transformer architectures / Contextual Word Representations: BERT
• week8：Modeling contexts of use: Contextual Representations and Pretraining / Natural Language Generation
• week9：Reference in Language and Coreference Resolution / Fairness and Inclusion in AI
• week10：Constituency Parsing and Tree Recursive Neural Networks / Recent Advances in Low Resource Machine Translation
• week11：Future of NLP + Deep Learning

推送计划（中文目录）：

• Week1：课程简介与词向量（附追剧计划详细攻略）
• Week2：词向量与词义/词窗分类与神经网络（附追剧计划详细攻略）
• Week3：矩阵计算与反向传播/语言学结构：依存分析（附上期复习回顾）
• Week4：如何计算一个句子的概率？循环神经网络与语言模型/梯度消失问题与RNN变种（附上期精选作业/笔记/答疑/讨论）
• Week5：Seq2Seq、注意力机制与机器翻译（附Final Project）
• Week6：智能问答、Transformer、卷积神经网络
• Week7：subword models与上下文词表示
• Week8：上下文表示与文本生成
• Week9：指代消歧与AI的公平和包容
• Week10：成分句法分析与树递归神经网络
• Week11：NLP和深度学习的未来

个人笔记、感悟和作业提交流程

请务必保证原创！若发现其他同学的笔记、作业等提交中有错误，鼓励提PR修复。另外，鼓励大家在上传的原创资料中留下联系方式，以便学习讨论和错误纠正。

提交流程：

step 1. fork项目并将个人仓库中的项目git clone到本地。

step 2. 在本地项目仓库中添加提交笔记、作业和课程项目到对应文件夹中，然后完成git add（文件添加）和git commit（本地提交）。

注意：cs224n的作业位于Assignments目录下，个人笔记和感悟位于FeatureNotes目录下，课程项目位于Project目录下。这三个目录均为开放性目录，每个人均可通过pull request来完成提交。提交细节请参考对应目录下的README文件。

step 3. 在本地完成的提交后，通过git push将本地提交推送至自己的github远程仓库后，发起pull request。

关于作业提交的详细git教程见 这里

课前准备FAQ

1. 我想看往年的课件和讲义，去哪儿下载？

   答：http://web.stanford.edu/class/cs224n/

2. 现在的课程视频哪里有？

   答：目前公开的最新视频是2019年的，在youtube和B站上都有。推荐关注微信公众号『夕小瑶的卖萌屋』，我们会每周更新两节课，推送课件和字幕校对后的视频。

3. 我在学习过程中有一些疑问，怎么办？

   答：建议首先在issues里面搜索相关问题，看看有没有帮助。仍然不能解决的，可以通过微信交流群（推荐）或github issue提出问题，我们会及时解答和归档。每节课归档后的问题集在对应的『问题』目录下面，供大家复习。

4. 有没有免费的GPU可以用来完成作业？

   答：我们推荐使用AiStudio、Colab和Kaggle Kernel。具体教程可以百度or谷歌一下。

极力建议大家加入夕小瑶@Stanford CS224n追剧群与上千小伙伴一起打卡交流学习，通过微信交流群（推荐）或github issue提出的问题，我们将定期精选并在每期的订阅号文章推送和本github项目中沉淀。