# DeepTrend

**Repository Path**: minerva/deep-trend

## Basic Information

- **Project Name**: DeepTrend
- **Description**: DeepTrend is an autonomous AI agent designed to track and analyze the latest trends in specified fields by fetching, processing, and summarizing articles from various data sources. It leverages LLMs…
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-09-25
- **Last Updated**: 2025-09-25

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# DeepTrend AI 智能代理

DeepTrend 是一个自主AI代理，专门用于跟踪和分析AI与机器学习领域的最新趋势。它通过从多个数据源获取、处理和总结文章，利用大型语言模型(LLM)提供双语（英文和中文）摘要，为前沿研究和发展提供全面洞察。

## 🚀 核心功能

- **多源数据获取**：支持多个数据源，包括：
  - 📚 **arXiv**：最新AI/ML研究论文
  - 🤗 **Hugging Face**：热门模型和数据集
  - 📰 **AI新闻**：行业新闻和更新
  - 🏢 **OpenAI博客**：OpenAI官方公告
  - 🤖 **Anthropic新闻**：Anthropic研究更新
  - 📊 **Papers with Code**：带代码实现的热门研究

- **智能内容处理**：
  - 高级内容解析和提取
  - 图像URL检测和处理
  - 元数据提取（作者、日期、标签等）

- **双语AI摘要**：
  - 基于Groq高速LLM API
  - 生成英文和中文摘要
  - 智能重试机制，处理速率限制
  - 可配置等待时间限制（最大30秒），优化用户体验

- **智能缓存系统**：
  - 已处理文章1小时缓存过期
  - 基于内容新鲜度的智能缓存管理
  - 优化重复查询性能

- **综合报告**：
  - 详细趋势分析报告
  - 增强技术洞察报告
  - 数据源分布统计
  - 热门技术标签和研究方向

- **健壮的错误处理**：
  - API速率限制管理
  - 服务不可用时的优雅降级
  - 全面的日志记录和调试信息

## 📁 项目结构

```
DeepTrend/
├── agent.py                    # 🎯 主代理协调器
├── config/
│   └── settings.py             # ⚙️ 配置和API密钥
├── data_sources/               # 📡 数据源模块
│   ├── academic.py             # 📚 arXiv研究论文
│   ├── ai_news.py             # 📰 AI行业新闻
│   ├── community.py           # 👥 社区平台
│   ├── huggingface.py         # 🤗 HuggingFace模型/数据集
│   ├── industry.py            # 🏢 行业博客（OpenAI、Anthropic）
│   └── papers_with_code.py    # 📊 Papers with Code热门
├── processors/                 # 🔧 内容处理模块
│   ├── content_parser.py      # 📝 文章内容提取
│   └── summarizer.py          # 🤖 AI驱动的摘要生成
├── mcp_integration/           # 🧠 元控制器模式
│   └── mcp_controller.py      # 🔄 自我改进能力
├── cache/                     # 💾 缓存系统
│   ├── processed_articles/    # 📄 已处理文章缓存
│   └── *.json                # 🗃️ 原始数据缓存文件
└── output/                    # 📊 生成的报告
    ├── deeptrend_report_*.txt      # 📋 标准报告
    └── deeptrend_enhanced_*.txt    # 🚀 增强分析报告
```

## 🚀 快速开始

### 前置要求
- Python 3.8+
- Groq API密钥（提供免费层级）

### 安装步骤

1. **克隆仓库**：
   ```bash
   git clone https://gitee.com/minerva/deep-trend.git
   cd deep-trend
   ```

2. **安装依赖**：
   ```bash
   pip install -r requirements.txt
   ```

3. **设置环境变量**：
   在项目根目录创建`.env`文件：
   ```env
   GROQ_API_KEY="your_groq_api_key_here"
   ```

4. **运行代理**：
   ```bash
   cd DeepTrend
   python agent.py
   ```

### 📊 输出结果

代理生成两种类型的报告：

- **标准报告**（`deeptrend_report_*.txt`）：基础文章摘要和元数据
- **增强报告**（`deeptrend_enhanced_*.txt`）：高级分析和趋势洞察

报告保存在`output/`目录中，带有时间戳。

## 🔧 配置说明

### 数据源配置
您可以通过修改`agent.py`中的`queries_to_run`字典来自定义查询的数据源：

```python
queries_to_run = {
    "arxiv": {"query": "artificial intelligence", "max_results": 10},
    "huggingface": {"query": "multimodal", "max_results": 10},
    "ai_news": {"query": "latest", "max_results": 10},
    # 根据需要添加或删除数据源
}
```

### API设置
- **速率限制处理**：自动重试，智能退避
- **最大等待时间**：可配置超时（默认：30秒）
- **缓存持续时间**：1小时过期，优化性能

## 🔮 发展路线图与未来增强

- **🌐 额外数据源**：
  - Reddit AI社区
  - Hacker News AI讨论
  - Medium AI出版物
  - YouTube AI频道

- **🧠 增强AI能力**：
  - 高级趋势预测算法
  - 市场洞察情感分析
  - 自动化研究空白识别
  - 跨源关联分析

- **💾 数据持久化**：
  - 数据库集成，历史跟踪
  - 长期趋势分析
  - 性能指标和分析

- **🎨 用户界面**：
  - 交互式可视化Web仪表板
  - 实时趋势监控
  - 可定制报告模板
  - 移动响应式设计

- **🤖 高级MCP集成**：
  - 自优化查询策略
  - 自动化源可靠性评分
  - 动态内容过滤
  - 基于性能的源权重

## 🤝 贡献指南

我们欢迎贡献！请随时：

1. Fork仓库
2. 创建功能分支
3. 提交Pull Request

## 📄 许可证

本项目采用**GNU Affero通用公共许可证v3.0 (AGPL-3.0)**授权。

### 📋 许可证摘要

- ✅ **开源**：个人、教育和非商业用途免费
- ✅ **修改**：您可以修改和分发代码
- ✅ **署名**：必须包含原始版权和许可证声明
- ⚠️ **Copyleft**：衍生作品也必须采用AGPL-3.0许可
- 💼 **商业使用**：专有应用需要单独的商业许可证

### 🏢 商业许可

对于商业使用、SaaS部署或集成到专有软件中，请联系我们获取商业许可证：

📧 **联系方式**：ylfuestc@163.com  
💰 **商业许可证**：适用于企业和商业应用

AGPL-3.0确保任何使用此代码的网络服务也必须开源，这使其成为保护开源项目同时从商业用户获得收入的理想选择。

## 🙏 致谢

- **Groq** 提供高速LLM API
- **arXiv** 提供研究论文开放访问
- **Hugging Face** 提供出色的ML社区平台
- 所有让这个领域充满活力的AI研究人员和开发者！

---

**用❤️为AI社区构建**