# week3

**Repository Path**: sika0819/week3

## Basic Information

- **Project Name**: week3
- **Description**: 第三周作业
- **Primary Language**: C++
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2019-04-23
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 混合高斯背景建模原理
图像中的每个像素点（或特征）短时间内都是围绕于某一中心值一定距离内分布，通常，中心值可以用均值代替，距离可以用方差代替。根据统计定律，如果数据点足够多，可以说这些点呈高斯分布。
像素在较长时间内大量样本的概率密度等统计信息，对背景进行建模。混合高斯背景模型认为，像素之间颜色信息互不相关，对个像素点都是独立的。

这个像素点可能存在多个中心位置，如来回摆动的树叶，波光粼粼的睡眠，等等。可以用几个混合的高斯分布来描述像素点的颜色变化规律。图像的每一个像素点按不同权值的多个高斯分布的叠加来建模。但是混合高斯模型只能适应缓慢的光线变化，不能解决光线突变问题，尤其适合与检测移动缓慢的物体。

混合高斯采用迭代的方法来计算。
$$
p(I)=\sum_{q=1}^Qw_qN(I;\mu_q,\sigma_q^2)
$$
$$
G(I;\mu_q,\sigma_q)=\frac{1}{\sqrt{2\pi}\sigma_q}e^{-\frac{(I-\mu_q)^2}{2\sigma_q^2}}
$$
## 混合高斯背景建模步骤
+ 模型初始化  将采到的第一帧图像的每个象素的灰度值作为 均值，再赋以较大的斱差。初值 Q =1, w=1.0。

+ 模型学习  将当前帧的对应点象素的灰度值与已有的 Q 个高 斯模型作比较，若满足
$$
|x_k-\mu_{q,k}|<2.5\sigma_{q,k}
$$
则按上页斱式调整第q个高斯模型的参数和权重；否则：
+ 增加/替换高斯分量  若不满足条件，且 q < Q ，则增加一个新分量；若q=Q，则直接替换该分量
+ 判断背景 
$$
B=argmin(\sum_{q=1}^bw_q>T)
$$
+ 判断前景 
# 光流估计
## 光流估计基本思想
光流估计是观察运动物体在成像平面上像素运动的瞬时速度，通过相邻两帧的相关性来寻找与上一帧与当前帧的对应关系。
## 恒定亮度假设
+ 因为光流估计要检测相邻两帧的对应关系，就必须保障光线的一直，否则相邻两帧的特征点由于光线不一致而识别为不同特征。
+ 相邻视频帧取帧时间连续，或者运动比较微小。这样求导比较精确（根据公式），构建模型误差也相对比较小。
+ 保证空间一致性。如果空间不一致的话，比如子物体的运动遮挡住父物体运动，从而无法准确估计父物体。
## L-K方法
在每一像素中都有
$$
\begin{bmatrix}
{I_{x1}}&{I_{y1}}\\
{I_{x2}}&{I_{y2}}\\
{\vdots}&{\vdots}\\
\end{bmatrix}
\begin{bmatrix}
{u}\\
{v}
\end{bmatrix}
=-
\begin{bmatrix}
{I_{t1}}\\
{I_{t2}}\\
{\vdots}
\end{bmatrix}
\\
Au=b\\
A=\begin{bmatrix}
{I_{x1}}&{I_{y1}}\\
{I_{x2}}&{I_{y2}}\\
{\vdots}&{\vdots}\\
\end{bmatrix}\\
u=\begin{bmatrix}
{u}\\
{v}
\end{bmatrix};
b=-
\begin{bmatrix}
{I_{t1}}\\
{I_{t2}}\\
{\vdots}\\
\end{bmatrix};
$$
于是上述问题转化为最优化问题:
$$
min||A\mu-b||
$$
最小二乘解：
$$
\mu=(A^TA^{-1})A^Tb
$$
由于再一个小的邻域内速度近似一致，△t趋近于0,该点亮度不变。
所以约束
$$
E(Δx,Δy)= \sum_iw_i^2(I_{xi}Δx+I_{yi}Δy+I_{ti})^2\\
minE(Δx,Δy)
$$
类似前面求解，可得
$$
\mu=（A^Tw^2A）^{-1}A^Tw^2b
$$
可信度判断：
在计算光流时，要求图像对应位置灰度变化充分（具有充分特征），则矩阵的求逆是可信的。
## 金字塔L-K方法
![金字塔](readme_pic/L-K.png)
刚才是针对相邻两帧x,y方向位移都很小的情况。但是有时候相邻帧目标位移很大。于是先对最顶层进行L-K方法得到一个初始位移估计值，然后进行对准和上采样，将分辨率提高一倍，对得到的较大的图像再运行L-K方法，重复直至达到原始分辨率图像