# chat_logs **Repository Path**: shen-junran/chat_logs ## Basic Information - **Project Name**: chat_logs - **Description**: 企微会话存档质检 - **Primary Language**: Unknown - **License**: Not specified - **Default Branch**: main - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 0 - **Forks**: 1 - **Created**: 2026-07-07 - **Last Updated**: 2026-09-11 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README # 会话记录审核系统 (Chat Record Audit) 本项目定位为从企业微信中获取聊天记录并进行智能分析。系统利用多模态大模型技术,配合 RAG(检索增强生成)与大小模型协同机制,对会话内容进行合规性分析与深度风险审查。 --- ## 目录 (Table of Contents) 1. [系统架构](#1-系统架构) 2. [核心实现细节](#2-核心实现细节) 3. [数据接入规范](#3-数据接入规范) 4. [API 接口文档](#4-api-接口文档) 5. [输出结果示例](#5-输出结果示例) --- ## 1. 系统架构 系统整体处理流程如下: **聊天记录获取** $\rightarrow$ **多模态解析** $\rightarrow$ **小模型初筛** $\rightarrow$ **风险审查 (RAG + 大模型)** $\rightarrow$ **结果输出** ![image](README_refers/whiteboard_exported_image.png) --- ## 2. 核心实现细节 ### 2.1 会话切分 项目首先将聊天记录解析为单条消息,基于时间间隔(优先选择间隔最长处)将会话切分为片段。 * **标准**:每个会话片段最少 4 条消息,平均 20 条消息 。 ### 2.2 多模态解析策略 针对不同类型的媒体文件,系统采用差异化处理流程 : * **图片/表情 (Image/Emotion)**: * 删除过小或比例异常的文件。 * 统一转换为 JPEG 格式后编码为 base64 data URL(纯本地处理,不依赖云端对象存储)。 * 将内联 data URL 直接传入大模型。 * **视频 (Video)**: * *多模态模型*:本地按秒抽帧(最多 16 帧),帧画面以 data URL 内联传入模型。 * *视觉模型*:除抽帧画面外,还额外提取音轨 $\rightarrow$ 调用语音转富文本模型 $\rightarrow$ 将“文本+画面”信息传入模型。 * **音频 (Audio)**: * *多模态模型*:本地编码为 base64 data URL 传入模型。 * *视觉模型*:调用语音转富文本模型转换为文本。 * **文件 (File)**: * 解析文件内容(破解嵌套,识别其中的视频文件,音频文件等),将其视为一种包含多种模态消息的单向输出的聊天记录。 * 返回所有对文件中内容的次级审查结果的文本,作为该文件的最终审查结果。 ### 2.3 敏感词审查机制 系统引入了基于“规则+模型”的敏感词双重保障机制,作为风险识别的第一道防线: 1. **基于数据库的实时匹配**: * 接入数据库中的敏感词表(含客户方敏感词),对会话内容进行精确匹配。 * 一旦检测到出现即违规的高风险敏感词,系统将直接触发风险警告。 * 若为需要结合上下文确定是否违规的敏感词,大模型将会接手审核,基于语义判断是否存在违规风险。 2. **基于知识库的动态更新**: * 利用大模型定期分析**内/外规知识库**,总结提炼最新的合规风险词汇。 * 自动将新提炼的词汇更新至敏感词库中,实现敏感词表的动态迭代与扩充。 3. **支持人工管理敏感词库**: * 基于Human-in-the-loop的思想,人类专家可以对敏感词数据库进行管理,避免大模型在敏感词模块的失控或者幻觉。 ### 2.4 两级审查机制 1. **小模型初筛** : * 使用低成本、响应快的模型进行过滤。 * **无风险**:如软件操作介绍、制度介绍等,直接通过。 * **可疑**:模型总结风险点,拼接原始会话,通过工具调用的路径主动传入下一级。 2. **大模型深度审查** : * 针对初筛出的风险会话,使用更大参数量的模型进行细致审查。 ### 2.5 RAG 知识库增强 * **内/外规知识库**:基于法律法规切片计算 Embedding。审查时采用 MMR 算法检索 + Rerank 模型重排序 。 * **案例库 (Human-in-the-loop/可选)**:将审核失误的案例加入库中,再之后的调用中使用 RAG 构造 Few-shot,用于纠正模型逻辑 。 --- ## 3. 数据接入规范 ### 3.1 上传格式 * **文件类型**:`.zip` 压缩包(暂不支持 rar)。 * **包内结构**:包含成对存在的 `.json` 数据文件和同名文件夹(存放媒体文件)。 ### 3.2 JSON 数据结构 输入文件应为 Python List 格式,列表元素为字典。 | 字段 | 类型 | 说明 | | :--- | :--- | :--- | | `manager` | String | 本次对话中**销售/客服**一方的姓名(用于区分双方身份) | | `action` | String | 消息动作:`send` (发送), `recall` (撤回), `switch` (切换日志) | | `sender` | String | 发送人名称 | | `sender_id` | String | 发送人 ID | | `receiver` | String | 接收人名称(群聊时可为空) | | `receiver_id` | String | 接收人 ID(群聊时可为空) | | `room_id` | String | 群聊 ID;若为一对一私聊则为空字符串 `""` | | `msgtime` | String | 时间格式:`2026-01-06 12:09:00` | | `msgtype` | String | 类型:`text`, `image`, `emotion`, `video`, `audio`, `file` | | `msg` | String | 若为 text 则为原文;若为其他模态,则为文件名 | **数据样例:** ```json [ { "manager": "小陈(期货销售)", "action": "send", "sender": "小陈(期货销售)", "sender_id": "wx_xchen_001", "receiver": "杨姐", "receiver_id": "wx_yangjie_002", "room_id": "", "msgtime": "2026-01-05 19:45:00", "msgtype": "text", "msg": "杨姐晚上好,今天新年第一个交易日,首战即开门红,轻仓跟上做一做吗?" }, { "manager": "小陈(期货销售)", "action": "send", "sender": "小陈(期货销售)", "sender_id": "wx_xchen_001", "receiver": "杨姐", "receiver_id": "wx_yangjie_002", "room_id": "", "msgtime": "2026-01-06 12:09:00", "msgtype": "image", "msg": "image18.png" } ] ``` ## 4. API 接口文档 该项目提供 RESTful API 以供前端或第三方系统调用。 ### 4.1 上传项目文件 接收用户上传的 `.zip` 压缩包,解压后交由 Celery 异步任务处理,立即返回任务 ID。 * **接口地址**: `/upload` * **请求方法**: `POST` * **Content-Type**: `multipart/form-data` **请求参数:** | 参数名 | 必选 | 类型 | 说明 | | :--- | :--- | :--- | :--- | | `file` | 是 | File | `.zip` 格式的聊天记录包 | | `sensitivity` | 是 | String | 风险敏感度,三选一:`high`(从严)、`fair`(公正)、`low`(从宽),将影响系统提示词 | | `enable_rag` | 是 | Boolean | 是否启用 RAG 知识库增强审查;启用时调用 PostgreSQL + Embedding 服务,禁用时仅使用大视觉语言模型直出结果 | **请求示例 (cURL):** ```bash curl -X 'POST' \ 'http://127.0.0.1:8000/upload' \ -H 'accept: application/json' \ -H 'Content-Type: multipart/form-data' \ -F 'file=@/path/to/your/file.zip;type=application/zip' \ -F 'sensitivity=fair' \ -F 'enable_rag=false' ``` **响应示例:** ```json { "task_id": "550e8400-e29b-41d4-a716-446655440000", "message": "Task submitted successfully" } ``` ### 4.2 获取任务结果/状态 根据任务 ID 查询当前处理进度。如果任务完成,直接触发文件下载;如果正在处理,返回状态说明 。 * **接口地址**: `/result/{task_id}` * **请求方法**: `GET` **请求示例:** ```bash # 如果任务成功,此命令会直接下载文件并命名为 result.zip curl -X 'GET' \ 'http://127.0.0.1:8000/result/YOUR_TASK_ID' \ -H 'accept: application/json' \ -o "result.zip" ``` **响应状态说明:** 1. **排队等待 (Pending)**: ```json { "status": "processing", "message": "Task is waiting in queue" } ``` 2. **处理中 (Processing)**: ```json { "status": "processing", "message": "Task is currently running" } ``` 3. **任务失败 (Failed)**: ```json { "status": "failed", "error": "错误详细描述信息" } ``` 4. **结果文件丢失 (Error)**: ```json { "message": "Result file lost" } ``` --- ## 5. 输出结果示例 每个 `.json` 文件对应一轮对话的审查结果。顶层字段含义如下: | 字段 | 说明 | | :--- | :--- | | `违规风险` | 总体风险定性:`确定违规` / `可能存在违规风险` / `几乎无违规风险` | | `违规类型` | 违规标签列表,可多选:`违规推荐`、`诱导交易`、`不文明`、`夸大收益`、`未提示风险`、`黄色暴力`、`封建迷信` | | `高风险敏感词匹配` | 命中的高风险敏感词(按类别分组),若触发则直接跳过大模型审查 | | `中风险敏感词匹配` | 命中的中风险敏感词(按类别分组) | | `低风险敏感词匹配` | 命中的低风险敏感词(按类别分组) | | `大模型风险审查依据` | 未触发敏感词截断时的大模型审查结果(见下方样例) | | `审查意见` | 存在风险时的改正建议;无风险时为空 | | `metadata` | 本轮对话的元数据(ID、日期、销售/客户信息等) | --- ### 敏感词截断样例 检测到高风险词汇,直接触发截断,跳过大模型审查。 ```json { “违规风险”: “确定违规”, “违规类型”: [“不文明”], “高风险敏感词匹配”: { “不文明”: [“爆了”] }, “中风险敏感词匹配”: { “指导交易”: [“跟上”], “不文明”: [“操”] }, “低风险敏感词匹配”: {}, “大模型风险审查依据”: “触发敏感词截断,已跳过大模型审查”, “metadata”: { “conversation_id”: “QJ-2026-01-05-Xa3b”, “date”: “2026-01-05”, “manager”: “小陈(期货销售)”, “manager_id”: “wx_xchen_001”, “room_id”: “”, “customer”: “杨姐”, “customer_id”: “wx_yangjie_002”, “num_of_msgs”: 18 } } ``` ### 大模型审核样例 **样例一 — 确定违规**(启用 RAG,大模型调用 compliance_review 工具后汇总结果) ```json { “违规风险”: “确定违规”, “违规类型”: [“夸大收益”, “诱导交易”], “高风险敏感词匹配”: {}, “中风险敏感词匹配”: { “不文明”: [“操”] }, “低风险敏感词匹配”: {}, “大模型风险审查依据”: [ { “违规内容”: “外盘伦敦铜涨疯了,沪铜今晚预计高开500点以上”, “违规时间”: “2025-12-03 18:24:00”, “违反条款”: [ “第三条:不得使用”稳赚不赔”、”内部消息”、”核心技术”等虚假或夸大性词汇诱导客户开户或交易。”, “第一条:销售及客服人员在与客户沟通过程中,严禁以任何明示或暗示的方式向投资者承诺保本或固定收益。” ], “违规风险”: “确定违规”, “违规类型”: [“夸大收益”] }, { “违规内容”: “老师在内部分享的塑料和焦煤空单均获利止盈,老师通知止盈离场了,您今天如果白天买一手的话拿到晚上就赚大发了”, “违规时间”: “2025-12-03 21:16:00”, “违反条款”: [ “第四条:提供投资建议时,严禁向客户指明具体的买入、卖出点位或精确的止盈止损价格。”, “第一条:销售及客服人员在与客户沟通过程中,严禁以任何明示或暗示的方式向投资者承诺保本或固定收益。” ], “违规风险”: “确定违规”, “违规类型”: [“诱导交易”, “夸大收益”] } ], “审查意见”: “客服多次渲染账户盈利战果并暗示客户跟进操作,构成诱导交易与夸大收益。建议严格禁止分享历史盈利截图并在聊天中主动揭示投资风险。”, “metadata”: { “conversation_id”: “QJ-2025-12-03-Bk7z”, “date”: “2025-12-03”, “manager”: “小陈(期货销售)”, “manager_id”: “wx_xchen_001”, “room_id”: “”, “customer”: “杨姐”, “customer_id”: “wx_yangjie_002”, “num_of_msgs”: 24 } } ``` **样例二 — 可能存在违规风险** ```json { “违规风险”: “可能存在违规风险”, “违规类型”: [“诱导交易”], “高风险敏感词匹配”: {}, “中风险敏感词匹配”: {}, “低风险敏感词匹配”: {}, “大模型风险审查依据”: [ { “违规内容”: “收盘了,昨晚老师在内部分享的塑料和焦煤空单,均获利止盈离场”, “违规时间”: “2025-11-25 15:14:00”, “违反条款”: [ “第四条:提供投资建议时,严禁向客户指明具体的买入、卖出点位或精确的止盈止损价格。” ], “违规风险”: “可能存在违规风险”, “违规类型”: [“诱导交易”] } ], “审查意见”: “客服提及”内部分享”并晒出止盈结果,有诱导投资之嫌,建议删除此类话术。”, “metadata”: { “conversation_id”: “QJ-2025-11-25-Rp2m”, “date”: “2025-11-25”, “manager”: “小陈(期货销售)”, “manager_id”: “wx_xchen_001”, “room_id”: “”, “customer”: “杨姐”, “customer_id”: “wx_yangjie_002”, “num_of_msgs”: 11 } } ``` **样例三 — 几乎无违规风险** ```json { “违规风险”: “几乎无违规风险”, “违规类型”: [], “高风险敏感词匹配”: {}, “中风险敏感词匹配”: {}, “低风险敏感词匹配”: {}, “大模型风险审查依据”: “该段对话中客服仅与客户确认时间安排,未涉及期货交易指导、风险提示或诱导性内容,符合正常客户服务沟通范畴。”, “审查意见”: “”, “metadata”: { “conversation_id”: “QJ-2025-11-20-Wd4n”, “date”: “2025-11-20”, “manager”: “小陈(期货销售)”, “manager_id”: “wx_xchen_001”, “room_id”: “”, “customer”: “杨姐”, “customer_id”: “wx_yangjie_002”, “num_of_msgs”: 6 } } ```