代码拉取完成,页面将自动刷新
同步操作将从 SciEvan/nlp_xiaojiang 强制同步,此操作会覆盖自 Fork 仓库以来所做的任何修改,且无法恢复!!!
确定后同步将在后台操作,完成时将刷新页面,请耐心等待。
- 回译(效果比较好)
- EDA(同义词替换、插入、交换和删除)(效果还行)
- HMM-marko(质量较差)
- syntax(依存句法、句法、语法书)(简单句还可)
- seq2seq(深度学习同义句生成,效果不理想,seq2seq代码大都是 [https://github.com/qhduan/just_another_seq2seq] 的,效果不理想)
- 检索式ChatBot
- 像ES那样直接检索(如使用fuzzywuzzy),只能字面匹配
- 构造句向量,检索问答库,能够检索有同义词的句子
- 生成式ChatBot(todo)
- seq2seq
- GAN
- bert+bi-lstm(keras) approach 0.78~0.79% acc of weBank Intelligent Customer Service Question Matching Competition
- bert + text-cnn(keras) approach 0.78~0.79% acc of weBank Intelligent Customer Service Question Matching Competition
- bert + r-cnn(keras) approach 0.78~0.79% acc of weBank Intelligent Customer Service Question Matching Competition
- bert + avt-cnn(keras) approach 0.78~0.79% acc of weBank Intelligent Customer Service Question Matching Competition
- bert句向量、文本相似度
- bert/extract_keras_bert_feature.py:提取bert句向量特征
- bert/tet_bert_keras_sim.py:测试bert句向量cosin相似度
- normalization_util指的是数据归一化
- 0-1归一化处理
- 均值归一化
- sig归一化处理
- sim feature(ML)
- distance_text_or_vec:各种计算文本、向量距离等
- distance_vec_TS_SS:TS_SS计算词向量距离
- cut_td_idf:将小黄鸡语料和gossip结合
- sentence_sim_feature:计算两个文本的相似度或者距离,例如qq(问题和问题),或者qa(问题和答案)
python cut_td_idf.py
python sentence_sim_feature.py
python chatbot_fuzzy.py
python chatbot_sentence_vec_by_word.py
python chatbot_sentence_vec_by_char.py
run extract_keras_bert_feature.py run tet_bert_keras_sim.py
- chinese_L-12_H-768_A-12(谷歌预训练好的模型)
github项目中只是上传部分数据,需要的前往链接: https://pan.baidu.com/s/1I3vydhmFEQ9nuPG2fDou8Q 提取码: rket
解压后就可以啦
- chinese_vector
github项目中只是上传部分数据,需要的前往链接: https://pan.baidu.com/s/1I3vydhmFEQ9nuPG2fDou8Q 提取码: rket
- 截取的部分word2vec训练词向量(自己需要下载全效果才会好)
- w2v_model_wiki_char.vec、w2v_model_wiki_word.vec都只有部分
- corpus
github项目中只是上传部分数据,需要的前往链接: https://pan.baidu.com/s/1I3vydhmFEQ9nuPG2fDou8Q 提取码: rket
- webank(train、dev、test)
- 小黄鸡和gossip问答预料(数据没清洗),chicken_and_gossip.txt
- 微众银行和支付宝文本相似度竞赛数据, sim_webank.csv
- sentence_vec_encode_char
- 1.txt(字向量生成的前100000句向量)
- sentence_vec_encode_word
- 1.txt(词向量生成的前100000句向量)
- tf_idf(chicken_and_gossip.txt生成的tf-idf)
- python_Levenshtei
- 调用Levenshtein,我的python是3.6,
- 打开其源文件: https://www.lfd.uci.edu/~gohlke/pythonlibs/
- 查找python_Levenshtein-0.12.0-cp36-cp36m-win_amd64.whl下载即可
- pyemd
- pyhanlp
- 下好依赖JPype1-0.6.3-cp36-cp36m-win_amd64.whl
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。