1 Star 0 Fork 0

布谷鸟 / word

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
克隆/下载
demo-word-vector-corpus.bat 1.06 KB
一键复制 编辑 原始数据 按行查看 历史
ysc 提交于 2015-05-22 09:50 . 优化计算过程
@echo off
call mvn -Dmaven.test.skip clean install dependency:copy-dependencies
set JAVA_OPTS=-Xms12000m -Xmx12000m
set CLASS_PATH=target/classes;target/dependency/slf4j-api-1.6.4.jar;target/dependency/logback-classic-0.9.28.jar;target/dependency/logback-core-0.9.28.jar
set EXECUTOR=java %JAVA_OPTS% -cp %CLASS_PATH%
rem 1、从语料库中提取词,词之间以空格分隔,内容保存到文件 data/word.txt
if not exist data/word.txt call %EXECUTOR% org.apdplat.word.corpus.ExtractText data/word.txt
rem 2、对分好词的文件 data/word.txt建立词向量,将词向量保存到文件 data/vector.txt,将词汇表保存到文件 data/vocabulary.txt
rem 上下文长度为
set CONTEXT_WINDOW_LENGTH=2
rem 词向量长度
set VECTOR_LENGTH=30
if not exist data/vector.txt call %EXECUTOR% org.apdplat.word.vector.Word2Vector data/word.txt data/vector.txt data/vocabulary.txt %CONTEXT_WINDOW_LENGTH% %VECTOR_LENGTH%
rem 3、计算不同词向量之间的相似度,控制台编码为GBK
call %EXECUTOR% org.apdplat.word.vector.Distance data/vector.txt gbk
Java
1
https://gitee.com/835315159/word.git
git@gitee.com:835315159/word.git
835315159
word
word
master

搜索帮助