# 物联网卡管理平台
**Repository Path**: huanglongliufangyan/cmp
## Basic Information
- **Project Name**: 物联网卡管理平台
- **Description**: 卡管理平台无缝适配了 移动,联通,第三方平台并对外提供统一的API 用户无须关心底层逻辑.平台功能包括:供应商管理,库存管理,库存统计,卡片分配,卡片管理,流量池管理,卡片预警管理,订单管理,订单统计等 一起交流学习QQ: 1308137826
- **Primary Language**: Java
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No
## Statistics
- **Stars**: 6
- **Forks**: 2
- **Created**: 2021-03-12
- **Last Updated**: 2025-12-27
## Categories & Tags
**Categories**: Uncategorized
**Tags**: 卡管理平台, 物联网卡管理平台
## README
## 物联网卡管理平台
## 介绍
卡管理平台无缝适配了 移动、电信、联通、第三方平台并对外提供统一的API 用户无须关心底层逻辑.平台功能包括:供应商管理,库存管理,库存统计,卡片分配,卡片管理,流量池管理,卡片预警管理,订单管理,订单统计等 基于策略模式,实现不同上游数据同步,自研轮询调度算法
## 软件架构
基于java+springboot+mysql+redis+mybatisPlus+ES+前端vuejs
## 学习交流请加: QQ 1308137826
### 【新增增值部分:】
📋 物联网卡运营商数据同步失败解决方案
## 一、背景与挑战
随着物联网设备规模的快速扩大，平台管理的iot卡数量已达数百万级。为保障卡片状态实时更新、套餐信息准确同步，需频繁调用运营商接口获取最新数据。
然而，在实际运行中发现：
运营商 API 存在严格限流机制（如 QPS 控制）。
大量请求因限流被拒绝，导致同步失败或返回空数据。
影响系统对卡片状态的判断，进而影响业务决策和用户体验。
## 二、问题分析
接口限流
运营商限制单位时间内的请求频率
同步失败
请求反复被拒绝或超时，未做重试处理
数据缺失
空响应未识别，未记录失败日志
缺乏监控
无法及时发现失败趋势和异常渠道
## 三、解决方案概述
为解决上述问题，我们提出一套高效、稳定、可视化的 IoT 卡数据同步解决方案 ，核心能力包括：
✅ 智能限流控制
✅ 失败自动重试机制
✅ 多维度数据分析与可视化
通过该方案，可显著提升运营商接口调用成功率，保障数据完整性，降低人工干预成本。
四、解决方案架构图
[IoT卡状态变化]
↓
[任务生成器] → [消息队列 Kafka/RabbitMQ]
↓
[限流控制器] → [运营商API调用]
↓
[结果处理] → [成功/失败记录] → [失败自动入队重试]
↓
[数据写入 ClickHouse / MySQL]
↓
[可视化大屏 + API 查询]
六、预期收益
数据准确性
同步失败率高，数据不完整
提升成功率至 98%+，数据完整可靠
运维效率
手动排查耗时，无统一视图
自动重试 + 实时监控 + 告警推送
资源利用
请求浪费严重，易被限流
智能限流 + 渠道分级 + 并发优化
业务支撑
无法及时感知异常卡片
快速定位问题，辅助运营决策
## 二、核心功能模块
### 1. 数据采集与持久化存储 💾
**Kafka消息集成**
- 从Kafka实时消费IoT卡API调用日志
- 支持结构化解析与字段提取
**ClickHouse高性能写入**
- 将海量IoT卡行为数据以高吞吐方式写入ClickHouse
**错误处理机制**
- 内置完善的数据校验、异常捕获与日志记录体系
- 保障数据完整性与可靠性
### 2. 智能重试引擎 🔁
### 3. Web API服务平台 🌐
**多条件API轮询日志查询**
- 支持按时间范围、ICCID、API类型、渠道ID等维度组合查询
- 支持导出与分页功能
**数据看板可视化**
- 直观呈现系统运行状态、API成功率、失败趋势、重试效果等关键指标
**异常卡自动识别与分析**
- 智能检测高频失败或异常行为的IoT卡
- 辅助运维人员快速定位问题根源
**丰富图表展示**
- 内置折线图、柱状图、饼图等多种形式
- 动态展示API成功率、错误分布、请求热力图等
**实时监控大屏**
- 支持按时间粒度、API接口、供应商维度实时追踪系统表现
- 提升运维效率
### 4. 多维数据分析洞察 📊
**错误原因深度剖析**
- 对API调用失败原因进行分类统计
- 帮助优化接口设计与系统配置
**渠道维度对比分析**
- 按供应商（渠道）分组统计API成功率、失败次数
- 评估各合作方服务质量
**API性能横向对比**
- 横向比较不同API的调用耗时、成功率、重试率等指标
- 识别瓶颈接口
**时间序列趋势分析**
- 展示关键指标随时间变化的趋势图
- 辅助容量规划与故障预警
**热力图可视化分析**
- 通过颜色深浅直观展示不同时段、不同API的请求量分布
- 发现潜在业务高峰
## 系统架构
```
┌───────────────┐
│ API调用数据 │
└───────┬───────┘
│
▼
┌───────────────┐
│ Kafka │
└───────┬───────┘
│
┌────────────┴─────────────┐
│ │
▼ ▼
┌───────────────────┐ ┌──────────────────┐
│kafka_to_clickhouse│ │iot_card_retry_ │
│ 模块 │ │ processor模块 │
└─────────┬─────────┘ └────────┬─────────┘
│ │
▼ │
┌───────────────────┐ │
│ ClickHouse │ │
│ 数据库 │ │
└─────────┬─────────┘ │
│ │
│ ▼
│ ┌──────────────────┐
│ │ Elasticsearch │
│ │ (卡片详情) │
│ └────────┬─────────┘
│ │
│ ▼
│ ┌──────────────────┐
│ │ RabbitMQ │
│ │ (重试队列) │
│ └──────────────────┘
│
▼
┌───────────────────┐
│ flask_api │
│ Web API服务 │
└─────────┬─────────┘
│
▼
┌───────────────────┐
│ Web前端界面 │
│ (数据看板/查询页) │
└───────────────────┘
```
