# ml-mynote

**Repository Path**: qingge_dada/ml-mynote

## Basic Information

- **Project Name**: ml-mynote
- **Description**: 本项目是个人在机器学习中的学习汇总（包含机器学习课程本身的拓展）。于2020年12月创建。包含全过程的知识点笔记、学习资料与实践代码，将保持持续更新
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 2
- **Forks**: 0
- **Created**: 2021-05-02
- **Last Updated**: 2025-07-01

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README



# 项目说明

## 简介
这是一个综合性的机器学习和深度学习项目集合，涵盖了多个重要领域的知识，包括但不限于以下内容：

- **机器学习算法调优**
- **特征工程**
- **集成学习方法**
- **深度学习网络及训练技巧**
- **经典算法与高级优化方法的实践**

本项目旨在帮助开发者和研究人员了解并掌握机器学习和深度学习的核心技巧，同时提供实践案例，用于提升算法性能和优化模型训练速度。

## 主要内容

### 机器学习部分
- **LightGBM调参**：详细探讨了如何通过调参提高模型性能。
- **集成学习**：
  - Stacking
  - 投票融合法
- **数据处理与扩充**：包括如何构建衍生变量、数据筛选的随机性分析等。

### 深度学习部分
- **加速方法**：探讨提升深度学习训练速度的常用方法。
- **优化器与学习率调整**：对优化器的选择和学习率调整策略进行了实验和分析。
- **不同训练阶段的策略**：包括训练过程中的分阶段优化方法。
- **损失函数**：对不同损失函数的适用场景和性能进行了比较。
- **深度网络集成**：通过集成多个深度学习模型来提高预测效果。
- **TabNet实践**：使用TabNet网络解决实际问题。
- **模型保存**：探讨了如何高效保存和加载训练完成的模型。

## 使用的工具与技术
- **LightGBM**
- **TabNet**
- **PyTorch**
- **Jax/Flax**
- **AutoML**
- **TensorFlow**
- **Keras**
- **GPU 编程和 TensorRT 基础**

## 项目资源
- 项目中包含多个Jupyter Notebook文件，用于模型训练和测试。
- 多个图片文件用于展示实验结果和模型结构。
- 数据集文件（train_final.csv, test_final.csv）用于模型训练与验证。
- 模型文件（model.joblib）用于保存和复用训练好的模型。

## 学习目标
1. 掌握机器学习和深度学习的基本调参技巧。
2. 学习如何构建特征工程并优化模型。
3. 理解集成学习方法并将其应用于实际项目。
4. 掌握如何使用不同框架（如LightGBM、PyTorch、Jax）进行模型训练与优化。
5. 探索AutoML和NAS等前沿技术。

## 相关文件
- **Jupyter Notebook文件**：用于模型训练和调参。
- **图片文件**：展示了实验过程和结果。
- **数据文件**：包含训练和测试数据。
- **模型文件**：用于保存和复用训练好的模型。

## 开始使用
请确保已经安装以下依赖：
- Python 3.x
- Jupyter Notebook
- LightGBM, PyTorch, Jax/Flax
- Scikit-learn
- 相关深度学习和机器学习库

### 安装依赖
```bash
pip install lightgbm torch jax scikit-learn
```

### 运行Notebook
```bash
jupyter notebook
```

## 学习总结
- **Python编程技巧**：如何加速Python代码。
- **数据处理和可视化**：掌握高效的数据处理方法。
- **高级技术**：用于提升编程效率和模型性能的技术。
- **数学基础**：机器学习和深度学习所需的数学知识。
- **经典算法**：多种机器学习算法的原理和调优方法。

## 适用人群
- 对机器学习、深度学习有一定基础的开发者。
- 希望提升模型性能的算法工程师。
- 想要了解AutoML、Jax、PyTorch等前沿技术的研究人员。

## 参考资料
- [LightGBM官方文档](https://lightgbm.readthedocs.io/)
- [PyTorch官方教程](https://pytorch.org/tutorials/)
- [Jax官方文档](https://jax.readthedocs.io/)
- [AutoML基础](https://www.automl.org/)

## 许可证
本项目遵循MIT开源协议。

如需进一步了解项目内容，请参考各目录下的Notebook和文档文件。