26 Star 61 Fork 8

Jtyoui / snsg

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
贡献代码
同步代码
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README

Neologism jtyoui

这是一个无监督训练文本词库与分词

训练代码(文本是UTF-8格式)

if __name__ == '__main__':
    neologism_words = analysis(file='西游记.txt', thread_num=10, flag=True)
    for k, v in neologism_words.items():
        print('key:{0} number:{1} frequency:{2} cond:{3} free:{4}'.format(k, v[0], v[1], v[2], v[3]))

接口参数

def analysis(file, thread_num=10, split_num=4, frequency=0.0001, cond=10, free=0.1, flag=False)
   """
:param file: 训练的文本
:param thread_num: 线程数
:param split_num: 匹配个数
:param frequency: 频率
:param cond: 凝聚度
:param free: 自由度
:param flag:是否是并且还是或者,默认是或者,满足一个就过滤
:return: 分析完毕的字典
"""

爬虫的新闻数据一部分截图(大概100M纯文本)

训练政治新闻后的结果

空文件

简介

该项目已经更换,在码云上不在更新,请更换地址如下。 展开 收起
取消

发行版

暂无发行版

贡献者

全部

近期动态

加载更多
不能加载更多了
Python
1
https://gitee.com/jtyoui/snsg.git
git@gitee.com:jtyoui/snsg.git
jtyoui
snsg
snsg
master

搜索帮助