数学相关

概率分布

密度估计：根据有限次的观测下，对随机变量 $x$ 的概率分布 $p(x)$ 建模。一般假定数据是独立同分布的。
参数分布密度估计：当假设这些随机变量符合一个已知分布（这些分布被少量可调参数控制，比如高斯分布，二项分布等），则称为参数分布。为了确定参数可以使用频率方法（小规模下产生严重的过拟合）或贝叶斯方法。
非参数密度估计：分布的形式依赖于数据集的规模，虽然具有参数，但参数控制的是模型的复杂度而不是分布的形式。
共轭先验：使用共轭先验能够让贝叶斯方法中的后验概率分布与先验概率分布相同，使分析得到简化。其中参数称为超参数。
顺序方法：在贝叶斯方法估计时，每使用一个或一批观测值可以将后验概率分布与新的似然函数相乘（并归一化）。以下方二项分布的贝叶斯估计，后验方程中 $m, l$ 分别为观测值为1或0的样本数，每次将后验作为下次预测的先验，相当于不断地修改超参数 $a, b$ 的数值。可数学证明当样本数为无穷时，极大似然法将和贝叶斯方法结果统一（后验方差平均来看会逐渐减少）。

分布	公式	共轭先验	公式	后验分布	相关理解
伯努利分布	$\operatorname{Bern}(x \mid \mu)=\mu^{x}(1-\mu)^{1-x}$	-	-	-	-
二项分布	$\operatorname{Bern}(x \mid \mu)=\mu^{x}(1-\mu)^{1-x}$	Beta 分布	$\operatorname{Beta}(\mu \mid a, b)=\frac{\Gamma(a+b)}{\Gamma(a) \Gamma(b)} \mu^{a-1}(1-\mu)^{b-1}$	$p(\mu \mid m, l, a, b) \propto \mu^{m+a-1}(1-\mu)^{l+b-1}$	其中 $m, l$ 分别为观测值为1或0的样本数
1-of-K	$p(\boldsymbol{x} \mid \boldsymbol{\mu})=\prod_{k=1}^{K} \mu_{k}^{x_{k}}$	-	-	-	$\boldsymbol{x}=(0,0,1,0,0,0)^{T}$ $\sum_{k=1}^{K} x_{k}=1$
多项式分布	$\operatorname{Mult}\left(m_{1}, m_{2}, \ldots, m_{K} \mid \boldsymbol{\mu}, N\right)=\left( \begin{array}{c}{N} \\ {m_{1} m_{2} \ldots m_{K}}\end{array}\right) \prod_{k=1}^{K} \mu_{k}^{m_{k}}$ 充分统计量：$m_{k}=\sum_{n} x_{n k}$ 表示观测到 $x_k = 1$ 的次数	狄利克雷Dirchlet分布	$\operatorname{Dir}(\boldsymbol{\mu} \mid \boldsymbol{\alpha})=\frac{\Gamma\left(\alpha_{0}\right)}{\Gamma\left(\alpha_{1}\right) \cdots \Gamma\left(\alpha_{K}\right)} \prod_{k=1}^{K} \mu_{k}^{\alpha_{k}-1}$	$p(\boldsymbol{\mu} \mid \mathcal{D}, \boldsymbol{\alpha}) \propto p(\mathcal{D} \mid \boldsymbol{\mu}) p(\boldsymbol{\mu} \mid \boldsymbol{\alpha}) \propto \prod_{k=1}^{K} \mu_{k}^{\alpha_{k}+m_{k}-1}$	$\alpha_k$ 根据观测到 $x_k = 1$ 的次数变化
高斯分布	-	-	-	-	-