# DevTool

**Repository Path**: fcncdn/dev-tool

## Basic Information

- **Project Name**: DevTool
- **Description**: Firefox/Chrome浏览器插件
用户交互式的自动爬虫（单级）
- **Primary Language**: JavaScript
- **License**: MulanPSL-1.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 1
- **Created**: 2021-01-19
- **Last Updated**: 2021-09-01

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# DevTool

#### 介绍

Firefox/Chrome浏览器插件

用户交互式的自动爬虫（单级），可获取页面中形如列表、卡片等形式的数据，支持按钮刷新、瀑布流的数据刷新方式

目前可以获取结构固定的数据，比如单个微博的评论、淘宝关键字搜索结果等

代码写得比较烂，还在优化中。。


#### 软件架构
1. content script

    这部分是插件的前端，用于获取用户指定的页面元素

2. background

    插件自带的后台，用于content script和panle的数据交流

3. panel

    开发者工具的面板交互界面


#### 安装教程

1.  打开浏览器插件界面，允许开发者模式，选择导入本地插件

2.  打开目标页面，F12进入开发者面板，在面板顶端选中 "DevTool" 选项卡进入交互页面

#### 使用说明

1. 三个必要元素：重复子结构、目标数据、重复子结构的最大范围
2. 先指定一个重复子结构，默认选择其父元素作为最大范围，可以进行调节和预览
3. 然后在选择的子结构内选择要获取的目标数据，并进行预览
4. 选择网页数据刷新方式
5. 最后进行爬虫

#### 还没做的

1.  数据发送到指定服务器

2.  多级爬虫

3.  项目信息保存，下次可复用  

4.  子结构选择算法优化（最长公共子序列）