# UIE

**Repository Path**: zed058/uie

## Basic Information

- **Project Name**: UIE
- **Description**: 基于最强中文NLP预训练模型——ERNIE文心大模型的中文NLP信息抽取
- **Primary Language**: Python
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 3
- **Created**: 2025-04-10
- **Last Updated**: 2025-04-10

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# UIE信息抽取

#### 介绍
##### 项目名称：基于NLP的中文信息抽取项目——合作公司关系网络构建                    
![ERNIE](resource/AIDLAChatGPT.png)   
![IndustryLM](resource/IndustryLM.webp)   
该项目从公司官网上的新闻中，抽取出有合作关系的公司。

#### 项目进度
<input type="checkbox" checked> 1.抽取企业信息和企业合作关系

- [ ] 2.数据准备与预处理：          
收集更多的新闻文本数据，确保数据的多样性和广泛性。              
对新闻文本进行预处理，如去除停用词、标点符号，以及进行分词等操作，以便于后续分析。           
- [ ] 3.模型准确率验证：           
手动标注数据集：随机抽取一部分提取出的公司合作关系数据，进行人工验证，标记出正确和错误的提取结果。           
计算准确率：将模型的提取结果与手动标注的结果进行对比，计算出模型提取合作关系的准确率。           
调整模型参数：根据准确率评估结果，调整ERNIE模型的参数或重新训练模型，以提高准确率。           
- [ ] 4.构建知识图谱：           
实体识别与关系抽取：除了公司之间的合作关系，还可以进一步抽取其他实体（如人名、地名、产品名等）以及它们之间的关系。           
图谱设计：设计知识图谱的模式（schema），定义实体类型和实体之间的关系类型。           
图谱构建：利用图数据库（如Neo4j）来存储实体和关系，构建初步的知识图谱。           
图谱优化与查询：对图谱进行优化，比如添加索引、设置合适的查询语句等，以便高效地进行图谱查询和分析。           
- [ ] 5.结果分析与可视化：           
分析结果：对构建好的知识图谱进行数据分析，比如合作关系的网络分布、合作频次等。           
可视化展示：利用可视化工具（如Gephi、D3.js等）将知识图谱进行可视化展示，便于更直观地理解和分析公司之间的合作关系。           
- [ ] 6.迭代与改进：           
收集反馈：将初步构建的知识图谱展示给相关领域的专家或用户，收集他们的反馈。           
模型与图谱优化：根据反馈调整模型参数或图谱结构，不断提高模型的准确率和图谱的实用性。           
- [ ] 7.应用场景探索：           
商业智能分析：利用提取的合作关系和构建的知识图谱进行商业智能分析，比如识别潜在的商业机会、分析市场竞争格局等。           
决策支持：为公司战略制定、市场投资等提供数据支持和参考。           
- [ ] 8.文档与报告：           
编写项目报告：详细记录项目的整个过程、方法、结果以及遇到的问题和解决方案。           
用户手册：如果该项目将作为一个长期运行的系统或服务，需要编写用户手册，指导用户如何使用该系统或服务。           

##### 项目对公司的价值描述：
在信息爆炸的时代，公司官网上的新闻动态是展示企业合作、业务拓展及市场动态的重要窗口。本项目旨在通过自然语言处理（NLP）技术，智能地从公司官网新闻中抽取出与合作公司相关的关键信息，进而构建一个合作公司关系网络。这一项目的实施将为公司带来多方面的价值：

1. 市场情报收集：通过自动抽取合作公司信息，我们能够更高效地收集市场动态和竞争对手情报，为公司的市场策略制定提供数据支持。
2. 关系网络可视化：构建的合作公司关系网络，可以直观地展示公司与众多合作伙伴之间的连接，帮助管理层快速理解公司在行业中的位置和影响力。
3. 商业机会挖掘：通过对合作关系的深入分析，我们可以发现潜在的商业合作机会，或者识别出已有合作中的优化空间，从而促进公司业务的发展和拓展。
4. 风险预警与管理：监控合作伙伴的动态变化，及时发现可能的风险点，为公司的风险管理提供有力支持。
4. 提升决策效率：自动化的信息抽取将大量减少人工搜集和整理信息的时间成本，使决策者能够更快速地基于准确的数据做出判断。
5. 增强企业竞争力：通过本项目构建的智能信息抽取系统，公司可以在第一时间掌握行业动态和合作伙伴的最新消息，从而在激烈的市场竞争中占据先机。        

综上所述，本项目不仅提高了公司内部的信息处理效率，还能为公司战略决策提供有力的数据支撑，帮助公司在复杂多变的商业环境中保持敏锐的洞察力和快速的反应能力。

#### 最强中文NLP预训练模型——ERNIE百度文心大模型     
根据《中国科学报》发布的信息，评测结果：ERNIE文心大模型3.5中文能力超GPT-4。        
https://mp.weixin.qq.com/s/QVdkmofRSTgjQ7UOFX7s1g           
![Evaluation](resource/640.webp)

#### 技术实现
1. ERNIE文心大模型
2. 百度智能云千帆大模型平台
3. Python编程语言       
4. Scrapy数据爬取
5. BeautifulSoup解析库
6. 百度PaddlePaddle深度学习框架
7. PaddleNLP自然语言处理开发库
8. UIE通用信息抽取

#### 软件架构
软件架构说明     

#### 安装教程

1.  xxxx
2.  xxxx
3.  xxxx

#### 使用说明

1.  xxxx
2.  xxxx
3.  xxxx

#### 参与贡献

1.  Fork 本仓库
2.  新建 Feat_xxx 分支
3.  提交代码
4.  新建 Pull Request


#### 特技

1.  使用 Readme\_XXX.md 来支持不同的语言，例如 Readme\_en.md, Readme\_zh.md
2.  Gitee 官方博客 [blog.gitee.com](https://blog.gitee.com)
3.  你可以 [https://gitee.com/explore](https://gitee.com/explore) 这个地址来了解 Gitee 上的优秀开源项目
4.  [GVP](https://gitee.com/gvp) 全称是 Gitee 最有价值开源项目，是综合评定出的优秀开源项目
5.  Gitee 官方提供的使用手册 [https://gitee.com/help](https://gitee.com/help)
6.  Gitee 封面人物是一档用来展示 Gitee 会员风采的栏目 [https://gitee.com/gitee-stars/](https://gitee.com/gitee-stars/)