# PyPipes

**Repository Path**: liyl000/PyPipes

## Basic Information

- **Project Name**: PyPipes
- **Description**: 使用python沟建一个灵活而强大的管道系统，可以把简单的管道组件像搭积木一样自由组合成各种不同用途的数据处理工具，比如网页爬虫、图片批量压缩、文件编码转换、数据过滤、数据迁移等等。 为实现特定的目标功能，您只要把已有的管道组件组装起来，或者把个人的核心代码简单地转换为管道组件即可。
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 2
- **Created**: 2021-08-05
- **Last Updated**: 2021-08-05

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

#PyPipes
使用python沟建一个灵活而强大的管道系统，可以把简单的管道组件像搭积木一样自由组合成各种不同用途的数据处理工具，比如网页爬虫、图片批量压缩、文件编码转换、数据过滤、数据迁移等等。
为实现特定的目标功能，您只要把已有的管道组件组装起来，或者把个人的核心代码简单地转换为管道组件即可。


###示例:

一、查找当前目录下的所有py或xml文件:
>python main.py find --directory ./ --extension py,xml


二、磁盘空间邮件提醒
>python main.py df --frequency day --daemon

说明:
* 每日发送磁盘空间邮件提醒，并且在剩余空间小于10G的情况下，每减少1G，立即发送邮件提示。
* 配置文件为task/df/config.xml，可按个人需要进行调整。
* 加--daemon参数表示以守护进程模式运行

更多神奇功能，敬请期待


###待做:
* 编写类似crontab定时规则的crontabStartup管道组件
* ~~增加守护进程模式运行(更多的适用性)~~
* ~~xml中的命令行变量标签支持默认值~~
* ~~xml中的管道变量标签支持当前管道{$_}~~
* 项目说明文档
* ppc/modules/writers.py添加logger(日志记录)组件
* ~~完整的采集示例(python main.py cmtg --config news)~~
* ~~监视硬盘剩余空间并发送提醒通知的示例~~
* 代码格式检查与整理功能示例(某些语言)
* 更多示例

###反馈
EMAIL:m@p58.net