1. 用语言模型学习Embedding Matrix

Bengio et. al., 2003. A neura; probabilistic language model

I want a glass of orange __.
语言模型的目标是预测下一个单词。

  1. 提取target的前K个单词。
  2. one shot向量经过embedding matrix得到embedding向量
  3. embedding向量通过RNN神经网络进行训练
  4. softmax作为NN的输出Unit,来计算w是每个单词的概率。

这个模型中有softmax的参数和E的参数,都可以通过GD迭代得到。

results matching ""

    No results matching ""