# theory_of_information

**Repository Path**: lauging9527/theory_of_information

## Basic Information

- **Project Name**: theory_of_information
- **Description**: 电子科技大学研究生《信息论》课程学习笔记
- **Primary Language**: Unknown
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 1
- **Created**: 2023-10-11
- **Last Updated**: 2023-10-11

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 课程要点

- 熵

  - 熵的计算
    - 一般已知联合概率，需要推出其他
      - $P(x)=\sum_yP(xy)$
      - $P(y|x)=p(xy)/p(x)$
    - 对连续变量做判决后，量化结果的分布需要用概率密度在对应区间上积分
  - 最大熵定理

    - 证明为什么最大
      - 分布等概最大 $H(X) \leq log|X|$：书 P30
      - 连续微分熵的三种最大情况：书 P39

  - 离散与连续熵
    - 包括离散和连续两个情况都会考
    - 可能考不等式证明
      - 核心是**链式法则** $H(XY)=H(X)+H(Y|X)$
        - 链式法则是最大的重点
      - 条件数越多，熵越小 $H(X|Y)\leq H(X)$

  - 相对熵

    - KL 散度

  - 马尔可夫信源的熵

    - 会考！！！

  - 熵的凸性

  - 不等式要会利用

    - Fano：接收的条件熵与误码率的关系
      - 考怎么使用

- 信源编码

  - 香农三大定理需要清楚
    - 分别在说什么
    - 也可能证明某个定理
  - 典型序列需要了解
    - 要清楚概念是什么
    - 时间典型、联合典型等等
  - 无失真编码
    - 重点**霍夫曼**
  - 限失真
    - 率失真函数 $R(D)$ 的计算（注意 $D$ 都是失真上限，平均失真 $\bar d(q)$ 应小余 $D$）
    - 不同概率分布要会计算率失真函数
      - 高斯、伯努利、二元等概...
    - R(D) 的定义域

- 信道容量

  - 计算不同信道的 C
    - 离散、连续
    - 可能会考**连续**的，但是作业没做过！！！
  - 高斯信道、波形信道

- 信道编码（三种情况都会考）

  - 线性分组码
    - 不会给标准形式，不一定前面就是信息位、后面是校验位
    - 只考二进制
  - LDPC
  - 卷积码
    - 维特比译码
    - 给定电路，写出码字、格图

- 网络信息论

  - 多接入系统的信道容量计算
    - 可达区域，几个点，描述的什么含义
  - 分布式编码问题（第二次讲的时候没提到）

# 期末考点

> 考试中过程最重要，不一定要全对

- 可能考证明：某个熵小余另一个熵，掌握联合熵和互信息的公式

  - 不考几个可达性定理与逆定理的证明
  - 经常用的知识点
    1. 链式法则展开
    
    2. 条件越多，熵越小
    2. 增加一项让分母相同

- 肯定会考信道容量计算（不会太简单）
  - 信道特殊形式下的求解
  - 波形信道的容量

- 肯定不考联合典型译码那堆证明

- 用到过的矩阵：
  - 马尔可夫转移矩阵
  - 信道矩阵
  - 失真矩阵

- 霍夫曼编码：比如考扩展信元的方法

- 香农定理
  1. 信源压缩 —— 无失真：当信息传输速率 $R$ 大于信源熵 $H(S)$，信源可以被无失真地还原
     - 无失真变长编码定理：信源单个符号对应的平均码长大于信源熵，则一定能找到无失真编码
  2. 信道编码：当信息传输速率 $R$ 小于信道容量 $C$，信道可以实现无差错的传输
  3. 信源压缩 —— 限失真

- 马尔可夫信源的熵计算
  - 还有平稳信源、高斯信源等的计算

- 八个大题 —— 计算、简答
  - 没有填空/选择

# 一些有用的式子

- 各种 $R$
  - 等长渐进无失真信源编码的编码速率 $ \mathrm{R} = \frac {\mathrm{N}} {\mathrm{L} } log\mathrm{D} \ 比特/符号$
    - 等长编码中一个固定符号长度的信源序列对应一个固定码元长度的码字
    - 变长编码中一个信源符号对应一个变长码元长度的码字
  - 汉明码的传输速率 $R=\frac{H(X)}{\bar{K}} \ 比特/码元$
    - 实际上这里的 $R$ 有歧义，这是 ppt 的表示方法，有的地方是编码速率 $R = \bar{K}logD \ 比特/符号$
    - 或许这里的所有 $R$ 都可以表示为 $R = 单符号的平均码字长度 * log(码元的种数)$
  - 限失真信源编码的率 $R$ 与编码前后的平均互信息 $I(\hat X;X)$ 本质是一个东西 $R(D)=min_{p(\hat x_i|x_i)}I(\hat X;X) \ 比特/符号$ $\bar d \leq D$
    - 无失真信源编码对 $R$ 与 $I$ 其实也有关系，$R>H(X)>I(X;\hat X)=H(X)-H(\hat X|X)$
    - 限失真是因为 $R<H(X)\rightarrow +\infty$，所以才将 $R$ 和 $I(X;\hat X)$ 进行比较
  - 信道编码的码率 $ R=\frac{1}{n} \log M \ 比特/传输$ 
- 高斯分布相关
  - $H(X) = \frac{1}{2} log 2 \pi e \sigma^2$
  - $I(X;X+Z) = \frac{1}{2} log(1 + \frac{\sigma_x^2}{\sigma_z^2} )$ 
- 排列组合
  - 排列 $A_n^m=\frac{n!}{(n-m)!}$
  - 组合 $C_n^m=\frac{A_n^m}{m!}=\frac{n!}{m!(n-m)!}$：从 $n$ 中取 $m$，再除去 $m$ 的排序

- 转移概率通常指单个码元转移到其他的某个码元的概率
- $xlnx$ 的积分是 $\frac{x^2lnx}{2}-\frac{x^2}{4}$
- 换底公式 $log_ab=log_cb/log_ca$

# 补充知识

- 相干：相位上对准，是算法追求的最终目标
- 匹配滤波器：是一种相干积累，滤波方式与信源高度相关
- 带宽越宽，码元越窄，则码元因为时延更容易错开，因此多径影响更大 —— 多普里斯矩阵
- MLE：让释然函数 $p(y|\theta)$ 最大
  - 把要估计的量建模成确定量（确定未知变量）

- LSE：找一个估计函数，与样本的误差最小
- MAP：让后验概率 $p(\theta |y)$ 最大
  - 把要估计的量建模成随机变量，要给个先验概率分布（随机未知变量）
  - 先验概率给的好，结果就好