基于大数据的用电安全智能监测技术研究及应用
一、项目背景
随着智能电网的提出,科学用电越来越受到社会各界的广泛关注。在学校中,如何规范学生用电、注意用电安全成为越来越受重视的问题。通过分析智能电表的各类用电数据,可以分析出用电习惯,并根据分析结果进行用电预测,对可能的大功率用电提早进行预警。为了有效地解决学生违规使用高功率电器,实现校园用电安全,“基于大数据的用电安全智能检测技术研究及应用”应运而生。
本项目主要研究基于大数据的数据存储与数据挖掘及机器学习的理论与方法,并将技术用于学习用电管理系统,通过大屏直观展示学校总体用电与各宿舍的详细用电情况,并通过数据挖掘与机器学习技术分析可能存在的大功率用电情况,通过系统提供的大功率电器使用预警功能,为学校用电安全管理提供有力保障。
二、研究内容、关键技术和创新点
1.研究与开发内容:
围绕应用大数据技术构建用电安全智能监测系统开展研究工作,采集用电数据,构建宿舍用电预测神经网络模型,并研发一套软件系统,主要包括几个方面内容:
(1)用电数据采集存储
通过ETL工具采集学校电控系统中的历史数据,经抽取转换成适合非结构化数据库hbase存储的格式。通过Flume进行宿舍用电数据的增量采集,并将采集数据存入到hbase中。
(2)结合spark进行宿舍用电的实时计算
提出一种计算区间用电量的分布式计算方法,实现学校每小时用电量、高峰区间用电量、日、月与年用电量的计算。
(3)构建宿舍用电神经网络模型
研究学校宿舍历史用电数据,分析各时间的用电行为,通过深度学习挖掘出各宿舍的用电习惯并构建宿舍用电预测模型,并对有可能的高功率电器使用进行预警。
(4)分析结果可视化
设计展示界面,通过echarts以图表方式直观展示分析结果,通过大屏展示计算分析结果。
2.项目的关键技术、技术难点、创新点:
(1)研究能够支持海量数据快速查询的分布式数据库行键设计
传统关系型数据库存储资源受限且不易扩展,且在海量数据中的查询速度较慢,因此,采用分布式数据库进行采集数据的存储,并通过良好设计的行键实现任意区间用电数据的查询,在设计行键时在批量查询能力与随机查询能力之间进行取舍,满足系统的快速查询与分析是本项目研究的首要问题。
(2)研究能够快速计算各区间电量的分布式算法
传统电力系统关于电量的计算主要集中于日、月、年等固定区间,这些区间电量只是平均用电量,未对特定区间用电情况进行计算,而在用电安全监测中,高峰期或者其最大用电功率期间的用电量更为重要。本项目研究如何应用spark构建快速计算各区间电量的分布式算法,满足各区间用电情况分析的需要,是本项目要解决的关键问题。
(3)挖掘用电特征用于构建用电行为预测模型
现有用户用电行为模型通常是基于一定时间的用户用电数据进行构建,并以此预测用户接下来的用电行为。然而用户用电行为通常还跟外部环境因素存在一定的关系,如节假日、天气条件等。因此,研究多种影响用电行为的因素并收集数据,通过深度学习方法构建用电行为预测模型来提高预测准确度,满足宿舍安全用电预警的需要,是本项目要解决的重要问题。
3.研发方案和主要技术路线。
(1)利用Flume和Kafka采集宿舍用电数据。
(2)利用hbase进行采集数据的存储。
(3)利用spark streaming进行学校用电的实时计算。
(4)利用神经网络模型对宿舍用电情况进行预测分析。
(5)结合Flask和echarts实现数据的可视化展示。
三、项目架构
本项目架构图如下:
项目可视化界面如下: