代码拉取完成,页面将自动刷新
P.S. 如果您按照以下步骤成功接入了新的大模型,欢迎发Pull Requests(如果您在自己接入新模型的过程中遇到困难,欢迎加README底部QQ群联系群主)
复制request_llms/bridge_llama2.py
,重命名为你喜欢的名字
修改load_model_and_tokenizer
方法,加载你的模型和分词器(去该模型官网找demo,复制粘贴即可)
修改llm_stream_generator
方法,定义推理模型(去该模型官网找demo,复制粘贴即可)
命令行测试
tests/test_llms.py
(聪慧如您,只需要看一眼该文件就明白怎么修改了)python tests/test_llms.py
测试通过后,在request_llms/bridge_all.py
中做最后的修改,把你的模型完全接入到框架中(聪慧如您,只需要看一眼该文件就明白怎么修改了)
修改LLM_MODEL
配置,然后运行python main.py
,测试最后的效果
复制request_llms/bridge_zhipu.py
,重命名为你喜欢的名字
修改predict_no_ui_long_connection
修改predict
命令行测试
tests/test_llms.py
(聪慧如您,只需要看一眼该文件就明白怎么修改了)python tests/test_llms.py
测试通过后,在request_llms/bridge_all.py
中做最后的修改,把你的模型完全接入到框架中(聪慧如您,只需要看一眼该文件就明白怎么修改了)
修改LLM_MODEL
配置,然后运行python main.py
,测试最后的效果
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。