机器学习中的高效能
这里的“高效能”是《高效能人士的七个习惯》中的“高效能”。上一篇blog提到，ML中蕴含着高效的学习方法，对人类的学习有借鉴意义。更进一步说，ML中蕴含着高效能的思想。ML的高效的学习方法是高效能思想的一种应用。
积极主动
| 高效能的思想 | ML中的高效能 |
|---|---|
| 人要有改变自己的主观意愿 | 模型能调整自己的参数。对于无参数无迭代的模型来说，这套方法是不起作用的。 |
| 人希望自己是往好的方向改变 | 模型调整的目标是让cost变小 |
| 改变的方法要遵循原则 | 调整参数的原则：参数沿着梯度的负方向移动，则cost变小 |
| 人只能在影响圈做改变，而不是关注圈 | 影响圈：模型的参数。关注圈：预测结果、cost。模型希望自己的预测结果越准越好，cost越小越好。但它能做的，只是改变模型参数，间接影响预测结果和cost。 |
以终为始
| 高效能的思想 | ML中的高效能 |
|---|---|
| 以人生目标作为衡量一切的标准 | 迭代过程中，cost就是衡量模型的标准 |
| 撰写个人使命宣言 | 如果让模型来写它的使命宣言，它可能会这么写： 预测输出要接近真实输出 参数要尽量小 不要过于依赖某个特定的结点 每一层的输出都在原点附近 。。。 |
| 以原则为中心 | 用数学的方法，把以上这些原则在模型或者cost function中表达 |
要事第一
| 高效能的思想 | ML中的高效能 |
|---|---|
| 人要有主动选择采取行动的能力 | 模型能计算出参数调整的方法。并做出调整。这对人来说有难度，因为人需要“凭毅力克服心理障碍”，而对Machine来说，这不是问题。 |
| 不同角色的目标之间要和谐与平等 | 使命宣言中列了许多目标，需要一种统计的方法来量化和权衡，以达到最好的效果。 |
| 以“对目标的贡献程度”来做选择 | 沿着梯度的负方向移动，cost下降最快。所有的目标最终统一成一个目标中，就是cost. |