Ai
1 Star 0 Fork 0

codeMonkey/retrievalQA

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
文件
克隆/下载
embedding_data.py 1.55 KB
一键复制 编辑 原始数据 按行查看 历史
codeMonkey 提交于 2023-10-16 10:56 +08:00 . 初始化
#
from zl_chatbot import *
bot = ZlChatBot().init_chatbot_from_vec_db(
[ './vector_storage/zhongliang_abstract',
'./vector_storage/zl_db/zhongliang_keyword',
'./vector_storage/zl_db/zhongliang_query'])
with open('data/output_fin.json', encoding='utf-8') as f:
data = json.load(f)
bot.add_new_json_data(data)
#
# import pickle
#
# with open('keyword_str_list_cache.pkl','rb') as f:
# data = pickle.load(f)
#
# data
# from typing import List, Any
# import torch
# import torch.nn.functional as F
# from langchain.chat_models import ChatOpenAI
# from langchain.embeddings import OpenAIEmbeddings, HuggingFaceEmbeddings
# from langchain.embeddings.base import Embeddings
# from langchain.schema import HumanMessage, SystemMessage, AIMessage
# from sentence_transformers import SentenceTransformer
#
# messages = [
# SystemMessage(content="你是一个信息抽取助手,你需要将给出文本中的关键词给抽取出来。"),
# HumanMessage(
# content='人工智能技术的应用广泛,改善了生活的方方面面。同时,数据安全和隐私保护也成为社会关注的热点问题。'),
# AIMessage(content='人工智能技术, 应用广泛, 改善生活, 数据安全, 隐私保护, 社会关注, 热点问题'),
# HumanMessage(content=f"""{"人工智能技术的应用广泛,改善了生活的方方面面。同时,数据安全和隐私保护也成为社会关注的热点问题。"}""")
# ]
# llm = ChatOpenAI()
# answer = llm.predict_messages(messages)
# keywords = answer.content.split(',')
Loading...
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
Python
1
https://gitee.com/codemonkey9527/retrieval-qa.git
git@gitee.com:codemonkey9527/retrieval-qa.git
codemonkey9527
retrieval-qa
retrievalQA
master

搜索帮助