代码拉取完成,页面将自动刷新
同步操作将从 Rocky/FoolNLTK 强制同步,此操作会覆盖自 Fork 仓库以来所做的任何修改,且无法恢复!!!
确定后同步将在后台操作,完成时将刷新页面,请耐心等待。
FoolNLTK training process
训练数据的格式和CRF++的训练数据一致,每一列用\t
分隔,每一个句子用\n
分隔
exmpale:
北 B
京 E
欢 B
迎 E
你 S
cd train
vim main.sh
在main.sh
中指定以下参数
# train file
TRAIN_FILE=./datasets/demo/train.txt
# dev file
DEV_FILE=./datasets/demo/dev.txt
# test file
TEST_FILE=./datasets/demo/test.txt
# data out dir
DATA_OUT_DIR=./datasets/demo
# model save dir
MODEL_OUT_DIR=./results/demo_seg/
# label tag column index
TAG_INDEX=1
# max length of sentlen
MAX_LENGTH=100
编译word2vec
cd third_paty && make
在main.sh
中指定 word2vec 路径
WORD2VEC=./third_party/word2vec/word2vec
默认使用word2vec 训练字向量
./main.sh vec
这一步产生需要的映射文件
./main.sh map
为了处理好内存,先把训练数据转换成tfrecord格式
./mainsh data
./main.sh train
训练好的模型导出成.pb文件,导出路径见 main.sh
中MODEL_PATH
下面这个命令会导出最新的模型文件
./main.sh export
训练好模型,现在可以直接调用
import fool
map_file = "./datasets/demo/maps.pkl"
checkpoint_ifle = "./results/demo_seg/modle.pb"
smodel = fool.load_model(map_file=map_file, model_file=checkpoint_ifle)
tags = smodel.predict(["北京欢迎你", "你在哪里"])
print(tags)
如果需要新增新的特征,要修改很多代码,请看懂后随意修改,没有东西是完全正确的当然也包括我的代码。
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。