11 Star 37 Fork 10

Gitee 极速下载 / pkuseg

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
此仓库是为了提升国内下载速度的镜像仓库,每日同步一次。 原始仓库: https://github.com/lancopku/PKUSeg-python
克隆/下载
multiprocess.md 831 Bytes
一键复制 编辑 原始数据 按行查看 历史
jingjingxupku 提交于 2019-04-09 15:47 . update readme

多进程分词

当将以上代码示例置于文件中运行时,如涉及多进程功能,请务必使用if __name__ == '__main__'保护全局语句,如:
mp.py文件

import pkuseg

if __name__ == '__main__':
    pkuseg.test('input.txt', 'output.txt', nthread=20)
    pkuseg.train('msr_training.utf8', 'msr_test_gold.utf8', './models', nthread=20)	

运行

python3 mp.py

详见无法使用多进程分词和训练功能,提示RuntimeError和BrokenPipeError

在Windows平台上,请当文件足够大时再使用多进程分词功能,详见关于多进程速度问题

Python
1
https://gitee.com/mirrors/pkuseg.git
git@gitee.com:mirrors/pkuseg.git
mirrors
pkuseg
pkuseg
master

搜索帮助