Introduction
第2章 感知机 - 原始形式
学习策略的推导
梯度下降法的算法过程
梯度下降法的推导过程
梯度下降法的收敛证明
第2章 感知机 - 对偶形式
学习模型的推导
梯度下降法的算法过程
梯度下降法的推导过程
第3章 k近邻算法
模型三要素
构造平衡kd树
用kd树的k近邻搜索
kd树的原理与改进
第4章 朴素贝叶斯
模型公式的推导
策略公式的推导
最大似然估计算法过程
贝叶斯估计算法过程
第5章 决策树
决策树的模型
信息增益的算法
ID3决策树的生成算法
C4.5决策树的生成算法
决策树的剪枝算法
第5章 CART决策树
CART树的生成
CART树的剪枝
第6章 逻辑回归
二分类逻辑回归模型
多分类逻辑回归模型
第6章 最大熵模型
最大熵的原理
最大熵模型的定义
最大熵的学习过程
根据最大熵的学习过程推导最大熵模型
证明:对偶函数的极大化=模型的极大似然估计
第6章 目标函数最优化问题
改进的迭代尺度法(IIS)
IIS算法公式(1)推导
A和B的推导
拟牛顿法
第7章 支持向量机
函数间隔与几何间隔
第7章 线性可分SVM
凸二次规划问题推导
支持向量
凸二次规划问题求解
原始问题转换为对偶最优化问题
第7章 线性SVM
原始问题转换为对偶最优化问题
根据 a 求 w 和 b*
支持向量
第7章 非线性SVM
核函数与核技巧
核技巧在SVM中的应用
7.3.2 正定核
常用的核函数
第7章 序列最小最优化算法
选择变量
推导1
推导2
推导3
推导4
推导5:update b
第8章 adaboost
算法过程
训练误差分析
加法模型
前向分步算法
adaboost一种特殊的加法模型
第8章 提升树
回归问题提升树的推导
回归问题提升树前向分步算法
一般决策问题梯度提升算法
第9章 EM算法
算法过程
Q函数的推导
关于算法的收敛性
高斯混合模型参数估计的EM算法
Q函数推导
推导2
第10章 隐马尔可夫模型
定义
概率计算问题 - 直接计算法
概率计算问题 - 前向算法
概率计算问题 - 后向算法
学习问题 - 监督学习
学习问题 - 非监督学习
Baum - Welch算法推导
推导1
预测问题 - 近似算法
预测问题 - 维特比算法
维特比算法推导过程
第11章 条件随机场
概率无向图模型
遗留问题
Published with GitBook
算法过程
令
θ
(
i
)
\theta^{(i)}
θ
(
i
)
为第i次迭代参数
θ
\theta
θ
的估计值。
输入:
选择参数的初值
θ
(
0
)
\theta^{(0)}
θ
(
0
)
开始迭代。
E步:假设当前已知
θ
(
i
)
\theta^{(i)}
θ
(
i
)
,此次为第i+1次迭代。计算期望:
Q
(
θ
,
θ
(
i
)
)
=
∑
z
log
P
(
Y
,
Z
∣
θ
)
P
(
Z
∣
Y
,
θ
(
i
)
)
Q(\theta, \theta^{(i)}) = \sum_z\log P(Y,Z|\theta)P(Z|Y, \theta^{(i)})
Q
(
θ
,
θ
(
i
)
)
=
z
∑
lo
g
P
(
Y
,
Z
∣
θ
)
P
(
Z
∣
Y
,
θ
(
i
)
)
M步:求使
Q
(
θ
,
θ
(
i
)
)
Q(\theta, \theta^{(i)})
Q
(
θ
,
θ
(
i
)
)
极大化的
θ
(
i
+
1
)
\theta^{(i+1)}
θ
(
i
+
1
)
θ
(
i
+
1
)
=
arg
max
θ
Q
(
θ
,
θ
(
i
)
)
\theta^{(i+1)} = \arg\max_{\theta}Q(\theta, \theta^{(i)})
θ
(
i
+
1
)
=
ar
g
θ
max
Q
(
θ
,
θ
(
i
)
)
重复2、3步,直至收敛,即
θ
(
i
+
1
)
\theta^{(i+1)}
θ
(
i
+
1
)
和
θ
(
i
)
\theta^{(i)}
θ
(
i
)
的差别足够小。
results matching "
"
No results matching "
"