# the_first

**Repository Path**: sun-jingan/the_first

## Basic Information

- **Project Name**: the_first
- **Description**: 第一个仓库
- **Primary Language**: Unknown
- **License**: MulanPSL-2.0
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-10-01
- **Last Updated**: 2026-10-10

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 机器学习数学基础作业

本仓库包含三次作业，均以 Markdown 格式撰写。

## 目录

| 序号 | 作业 | 文件 | 内容概要 |
|:---:|---|---|---|
| 1 | 奇异值分解（SVD） | [`01-奇异值分解SVD.md`](./01-奇异值分解SVD.md) | SVD 的完整推导过程 + 自设计 $2\times2$ 矩阵的完整手算实例 |
| 2 | 贝叶斯过程 | [`02-贝叶斯过程与异常检测.md`](./02-贝叶斯过程与异常检测.md) | 贝叶斯过程/高斯过程理论 + 智能运维异常检测的数学建模过程 |
| 3 | 交叉熵 | [`03-交叉熵.md`](./03-交叉熵.md) | 交叉熵的定义、原理、应用 + 三个例子的完整推导 |

## 各作业要点

### 作业一：奇异值分解

- **推导主线**：$A^TA$ 对称半正定 → 可正交对角化 → $\sigma_i=\sqrt{\lambda_i}$ → $A=U\Sigma V^T$
- **自设计实例**：$A=\begin{bmatrix}1&1&0\\1&0&1\end{bmatrix}$（$2\times3$ 长方阵），完整手算 $A^TA$、特征值 $\lambda=3,1,0$、奇异值 $\sigma=\sqrt3,1,0$、$U$、$V$，并验证 $AV=U\Sigma$ 还原成功
- 展示了长方阵特有的零奇异值与零空间处理
- 全部数值均经程序验证

### 作业二：贝叶斯过程

- 从贝叶斯定理出发，说明"参数先验 → 函数先验"的升级逻辑
- 推导高斯过程回归的后验预测分布（含均值与方差的闭式解）
- **项目案例**：智能运维（AIOps）服务器指标异常检测
  - 组合核函数建模（RBF 核 + 周期核 + 噪声项）
  - 自适应异常判定阈值 $\mu_*\pm\kappa\sigma_*$
  - 与传统固定阈值法 / 点预测法的对比

### 作业三：交叉熵

- 从信息量 → 信息熵 → 交叉熵的定义链条
- **核心原理**：$H(p,q)=H(p)+D_{\mathrm{KL}}(p\|q)$，最小化交叉熵等价于最小化 KL 散度
- 三个推导例子：离散分布交叉熵手算、三分类 softmax 损失、二分类交叉熵
- 梯度推导：$\partial\mathcal{L}/\partial z_k = q_k-p_k$

## 文件格式说明

所有作业使用标准 Markdown（`.md`），数学公式采用 LaTeX 语法：

- 行内公式：`$...$`
- 独立公式：`$$...$$`

建议使用支持 LaTeX 的 Markdown 渲染器阅读（如 Typora、VS Code + Markdown Preview Enhanced、GitHub 原生渲染）。