# notebooks

**Repository Path**: Mamatjan1920/notebooks

## Basic Information

- **Project Name**: notebooks
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2024-07-19
- **Last Updated**: 2024-07-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

<h1>数据科学教程案例</h1>

## 目录

<div align="center">
  <b>基础教程</b>
</div>
<table align="center">
  <tbody>
    <tr align="center" valign="bottom">
      <td>
        <b>可视化</b>
      </td>
      <td>
        <b>机器学习</b>
      </td>
    </tr>
    <tr valign="top">
      <td>
      <ul>
<li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/Pandas%E7%94%BB%E5%9B%BE%E6%8A%80%E8%83%BD.ipynb">Pandas画图技能</a></li>
<li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/Seaborn%E7%94%BB%E5%9B%BE%E6%A1%88%E4%BE%8B.ipynb">Seaborn画图案例</a></li>
<li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/Bokeh%E7%94%BB%E5%9B%BE%E6%8A%80%E8%83%BD.ipynb">Bokeh画图技能</a></li>
      </ul>
      </td>
      <td>
      <ul>
<li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/sklearn%E8%BF%AD%E4%BB%A3%E8%AE%AD%E7%BB%83.ipynb">sklearn迭代训练</a></li>
<li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/numexpr%E6%95%99%E7%A8%8B.ipynb">numexpr教程</a></li>
<li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/%E6%97%B6%E9%97%B4%E5%BA%8F%E5%88%97%E5%BA%93.ipynb">时间序列库</a></li>
      </ul>
      </td>
    </tr>
</td>
    </tr>
  </tbody>
</table>


<div align="center">
  <b>进阶教程</b>
</div>
<table align="center">
  <tbody>
    <tr align="center" valign="bottom">
      <td>
        <b>NLP基础</b>
      </td>
      <td>
        <b>文本分类（意图识别）</b>
      </td>
    </tr>
    <tr valign="top">
      <td>
      <ul>
<li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/nlp/NLP-Pytorch%E5%9F%BA%E7%A1%80.ipynb">NLP-Pytorch基础</a></li>
<li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/nlp/%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB-FastText%E6%A8%A1%E5%9E%8B-%E8%8B%B1%E6%96%87%E5%88%86%E7%B1%BB.ipynb">文本分类-FastText模型-英文分类</a></li>
<li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/nlp/%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB-FastText%E6%A8%A1%E5%9E%8B-%E4%B8%AD%E6%96%87%E5%88%86%E7%B1%BB.ipynb">文本分类-FastText模型-中文分类</a></li>
<li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/nlp/%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB-FastText%E6%A8%A1%E5%9E%8B-%E4%B8%AD%E6%96%87%E8%BF%9B%E9%98%B6.ipynb">文本分类-FastText模型-中文进阶</a></li>
<li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/nlp/%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB-TextCNN%E6%A8%A1%E5%9E%8B.ipynb">文本分类-TextCNN模型</a></li>
<li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/nlp/%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB-BILSTM%E6%A8%A1%E5%9E%8B.ipynb">文本分类-BILSTM模型</a></li>
<li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/nlp/%E6%97%A0%E7%9B%91%E7%9D%A3%E5%8F%A5%E5%AD%90%E7%BC%96%E7%A0%81.ipynb">无监督句子编码(Mean/Max/TFIDF/SIF Pooling)</a></li>
<li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/nlp/transformer%E5%9F%BA%E7%A1%80.ipynb">transformer基础</a></li>
<li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/nlp/bert-cls-example.ipynb">BERT文本分类</a></li>
<li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/nlp/bert-ner-example.ipynb">BERT实体识别</a></li>
<li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/nlp/bert-nsp-example.ipynb">BERT文本匹配</a></li>
<li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/nlp/bert-qa-example.ipynb">BERT文本问答</a></li>
<li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/nlp/bert-choice-example.ipynb">BERT多项选择</a></li>
<li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/nlp/bert-mlm-example.ipynb">BERT Mask预训练</a></li>
<li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/nlp/bert-prompt-cls.ipynb">BERT + Prompt文本分类</a></li>
      </ul>
      </td>
      <td>
      <ul>
    <li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/Coggle202405%E6%84%8F%E5%9B%BE%E8%AF%86%E5%88%AB/01-%E5%AF%B9%E8%AF%9D%E6%84%8F%E5%9B%BE%E8%AF%86%E5%88%AB.ipynb">数据集读取</a></li>
    <li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/Coggle202405%E6%84%8F%E5%9B%BE%E8%AF%86%E5%88%AB/02-%E6%AD%A3%E5%88%99%E5%85%B3%E9%94%AE%E8%AF%8D.ipynb">关键词识别与正则匹配</a></li>
    <li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/Coggle202405%E6%84%8F%E5%9B%BE%E8%AF%86%E5%88%AB/03-TFIDF%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB.ipynb">TFIDF文本分类</a></li>
    <li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/Coggle202405%E6%84%8F%E5%9B%BE%E8%AF%86%E5%88%AB/04-%E8%AF%8D%E5%90%91%E9%87%8F%E8%AE%AD%E7%BB%83%E4%B8%8E%E4%BD%BF%E7%94%A8.ipynb">词向量训练与加载</a></li>
    <li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/Coggle202405%E6%84%8F%E5%9B%BE%E8%AF%86%E5%88%AB/05-FastText%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB.ipynb">FastText文本分类</a></li>
    <li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/Coggle202405%E6%84%8F%E5%9B%BE%E8%AF%86%E5%88%AB/06-LSTM%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB.ipynb">LSTM文本分类</a></li>
    <li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/Coggle202405%E6%84%8F%E5%9B%BE%E8%AF%86%E5%88%AB/07-TextCNN%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB.ipynb">TextCNN文本分类</a></li>
    <li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/Coggle202405%E6%84%8F%E5%9B%BE%E8%AF%86%E5%88%AB/08-BERT%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB.ipynb">BERT文本分类</a></li>
    <li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/Coggle202405%E6%84%8F%E5%9B%BE%E8%AF%86%E5%88%AB/09-BERT%E9%AB%98%E6%95%88%E5%BE%AE%E8%B0%83.ipynb">BERT高效微调</a></li>
    <li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/Coggle202405%E6%84%8F%E5%9B%BE%E8%AF%86%E5%88%AB/10-T5%E5%8A%A0%E8%BD%BD%E4%B8%8E%E4%BD%BF%E7%94%A8.ipynb">T5加载与使用</a></li>
    <li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/Coggle202405%E6%84%8F%E5%9B%BE%E8%AF%86%E5%88%AB/11-T5%E5%BE%AE%E8%B0%83%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB.ipynb">T5微调与分类</a></li>
    <li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/Coggle202405%E6%84%8F%E5%9B%BE%E8%AF%86%E5%88%AB/12-Qwen%E5%A4%A7%E6%A8%A1%E5%9E%8B%E5%8A%A0%E8%BD%BD%E4%B8%8E%E4%BD%BF%E7%94%A8.ipynb">大模型Qwen加载与使用</a></li>
    <li><a href="https://github.com/coggle-club/notebooks/blob/main/notebooks/Coggle202405%E6%84%8F%E5%9B%BE%E8%AF%86%E5%88%AB/13-Qwen%E5%A4%A7%E6%A8%A1%E5%9E%8B%E5%BE%AE%E8%B0%83%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB.ipynb">大模型Qwen微调</a></li>
      </ul>
      </td>
    </tr>
</td>
    </tr>
  </tbody>
</table>




### TODO

- 【TODO】sklearn模型加速
- 【TODO】XGBoost/LightGBM/CatBoost
  - 分类任务/回归任务/排序任务
  - 自定义评价函数和目标函数 
  - 自定义数据集训练
- 【TODO】时序数据划分方法
- 【TODO】时序特征工程
- 【TODO】Pytorch线性回归
- 【TODO】Pytorch搭建CNN模型
- 【TODO】Pytorch自定义数据集
- 【TODO】Paddle线性回归
- 【TODO】Paddle搭建CNN模型
- 【TODO】Paddle自定义数据集
- 【TODO】TextRank中文关键词识别 + 文本摘要
- 【TODO】Rake中文关键词识别 + 文本摘要
- 【TODO】图像检索：颜色直方图
- 【TODO】图像检索：局部SIFT关键点 + 词袋编码/VLDA/FV
- 【TODO】图像检索：卷积特征/Vit特征
- 【TODO】图像细粒度检索：电商商品识别
- 【TODO】图像自编码器
- 【TODO】图像变分自编码器
- 【TODO】图像MAE自监督训练

## 其他代码

- [m3u8在线视频下载](https://github.com/coggle-club/notebooks/blob/main/notebooks/m3u8%E5%9C%A8%E7%BA%BF%E8%A7%86%E9%A2%91%E4%B8%8B%E8%BD%BD.ipynb)

## 环境说明

- 代码使用Py3 Notebook编写，如无标注深度学习框架均为Pytorch。
- 代码数据集部分需要额外下载，如需要请关注下面公众号询问。
- 部分代码需要GPU，推荐11GB或以上配置

## 关于我们

![](https://coggle.club/assets/img/coggle_qrcode.jpg)

- 竞赛日历：https://coggle.club/
- 知乎专栏：https://zhuanlan.zhihu.com/DataAI
- Github主页：https://github.com/coggle-club