# TimFinCrawlerAndModel

**Repository Path**: timtargaryen/tim-fin-crawler-and-model

## Basic Information

- **Project Name**: TimFinCrawlerAndModel
- **Description**: 自己的大web项目的爬虫（数据爬取）与模型（Ai时间序列预测与舆评情感分类）部分，同时也是py课设，就是围绕rnn股票预测和transformer encoder情感分类进行数据爬取、存储、拟合、推理、展示的
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 2
- **Forks**: 0
- **Created**: 2022-05-30
- **Last Updated**: 2025-03-04

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# TimFinCrawlerAndModel

## notebook里面是神经网络训练的代码
## webfin里面是爬虫的代码
### 股票爬虫
* 定位爬取的核心方法就一个
  ```find_element（s）_by_xpath() + //[@name/class/id='xxx']/```

* 还要对搜索框进行输入、点击、换页send_keys, handles标签页数组

* 股票爬虫的目标，从网页检查中易得爬取目标为"//div[@class='picForme']//tbody//tr//td//em[@id='open']"
    ![image-20220529193824610](https://img-blog.csdnimg.cn/img_convert/2c1d654bdd1eae443c2b15a44ee22b04.png)
    
* 股票爬虫成功爬入数据库mysql
    ![image-20220523110424678](https://img-blog.csdnimg.cn/img_convert/295793ad9d94714f78fc7dc2fc2e459b.png)
    
* 命令行需要股票代码

    ```!scrapy crawl stock -a tscode=000065```

### 金融舆评爬取(同理)
* ![image-20220419091647054](https://img-blog.csdnimg.cn/img_convert/25e5763b9a0a96b6bf47036232187962.png)
* ![image-20220529194333032](https://img-blog.csdnimg.cn/img_convert/87721963d1d79e21cd67612d5cad6117.png)