交通物联网大数据处理

1.介绍

通过这个项目我们可以了解到，物联网数据实时处理和储存的框架中常见的难题。当中所使用的技术包括内存计算机技术以及如何应用到IOT框架中。

2.软件架构

基于hadoop开发

软件工具包括: spark，kafka，hbase

3.车辆物联网

物联网（IoT）是一种新兴的颠覆性技术，正日益成为科技巨头和商界关注的话题。物联网组件通常都是使用嵌入式传感器、软件或者智能设备的APP进行数据采集通过网络连接技术(5G)，与云平台中心进行数据交互。物联网设备产生的数据量大、随机性强，需要使用大数据分析引擎才能提取有用的关键信息和用户行为模式。

车辆物联网是物联网其中一个领域，根据Gartner的预测，到2020年，将有25亿车辆具备联网自动化功能，集成的服务当中包括导航系统、实时交通路况更新、天气警报以及与监控仪表盘和手机通信。车辆的实时信息,速度、燃油油位、当前路线名称以及所在地的经纬度，以流的形式到达数据中心，经过分析提取再返回到车辆的仪表板或监控中心的大屏幕上，可以从中分析以及监测特定路线的情况。本项目使用Apache Spark 来分析车辆物联网数据并实时回传到仪表板上。

交通数据监控APP

我们要开发的应用程序是一个使用Spark Streaming的物联网数据处理和监控应用程序。此应用程序将处理连接车辆发送的实时物联网数据，并使用这些数据监控不同路线上的交通。我们将把这个应用程序分成以下三个模块。分别使用maven 进行管理和构建。

物联网数据生产者iot_traffic_producer：联网车辆生成物联网信息，由消息代理(message broker)捕获，并发送到流媒体应用程序进行处理。在我们的示例应用程序中，iot_traffic_producer是一个用于联网车辆的模拟器应用程序，它使用ApacheKafka生成IoT数据事件。

IoT数据处理器iot-traffic_processer：这是一个Spark流应用程序，它使用IoT数据流并对其进行处理以进行流量数据分析。物联网数据处理器提供以下指标：

1. 获取不同路线上不同类型车辆的车辆总数，并将其存储在hbase数据库中。
2. 获取过去30秒内不同路线上不同类型车辆的车辆计数,并将其存储在hbase数据库中。
3. 获取给定的关注点（POI）半径内车辆的详细信息，并将详细信息存储在hbase数据库中。

**物联网数据仪表盘Iot Data Dashboard：**这是一个spring boot的应用程序，整合phoenix对hbase进行二次索引，每5秒使用sql查询数据利用websockets推送数据到前端，固定时间间隔对页面进行刷新。web 是使用bootstrap.js 进行响应式设计，能适应桌面以及移动设备使用。