1. 用语言模型学习Embedding Matrix
Bengio et. al., 2003. A neura; probabilistic language model
I want a glass of orange __.
语言模型的目标是预测下一个单词。
- 提取target的前K个单词。
- one shot向量经过embedding matrix得到embedding向量
- embedding向量通过RNN神经网络进行训练
- softmax作为NN的输出Unit,来计算w是每个单词的概率。
这个模型中有softmax的参数和E的参数,都可以通过GD迭代得到。