@zwlin
zwlin 暂无简介
iie-2室-大数据集成小组-基础类
测试仓库功能,testing
吞吐监控与限制组件
初步解析数据文件,发送至消息队列,用于去重
解压网闸过来的tar包,解析文件,发送至消息队列,移动文件至特定的文件夹。
dunp文件的分发与龙存转存程序
自助平台多媒体下载程序
数据接入后的初步简单质量核查
读取接入数据所入的消息队列,将数据落成成文件,每个文件包含所有数据类型的数据
加载至mpp
新闻自动化接入,java客户端
新闻自动化接入,接入服务。
微信用户数统计(相对去重客户端只除去发送)
微信交互次数入bdb缓存统计、20分钟一次更新mongo新旧库、回写队列
微信交互清洗,根据ct统计每天接收量、清洗量、发送交互数<_id,1>、发送<_id,ct>