Stormwww3338268com技术测量①③⑨⑧⑧②②O⑨OO系统处理
1赞
发表于 10/30/2019 4:15:49 PM
阅读(1458)
测量数据实时处理系统数据流转过程中,我们采用JSON格式保存测量数据,每条数据包含四个字段,分别是测量点编号(NO)、测量点类型(TYPE)、时间戳(TIMESTAMP),测量点数值(VALUE),以下是具体的测量数据示例:
StormTopology包含1个Spout和3个Bolt,主要功能描述如下:
(1)KafkaSpout是Storm提供的实体类,从指定的Kafka主题中读取测量数据,并以Tuple形式传递给后续的ParseSpout。
(2)ParseBolt继承自BaseBasicBolt,解析JSON格式数据,将测量点编号(NO)、测量点类型(TYPE)、时间戳(TIMESTAMP),测量点数值(VALUE)等数值保存在实体类对象中。
(3)MapBolt继承自BaseBasicBolt,基于测量点编号与设备编号的映射关系,将温度、风速、风向等测量点数值与具体设备相关联,便于大数据分析系统或可视化展示系统业务应用。
(4)HBaseBolt:继承自BaseBasicBolt,将计算得到的某一时刻分析数据或以设备为单位产生的温度、风速、风向等业务数据,存入HBase。
