基于工业大数据的Hadoop分析挖掘系统

项目背景

     随着新工业革命时代的序幕徐徐拉开，物联网、工业互联网、人工智能等技术成为舞台上最受瞩目的新星。在这些新技术的推动下，工业领域中的大数据环境正在逐渐形成，数据从制造过程中的副产品转变成为备受企业关注的战略资源。大数据提供给我们分析问题的一种视角和解决问题的一种手段。通过对数据的洞察，可以预测需求、预测制造、挖掘不可见世界的价值、解决和避免不可见问题的风险，以及利用数据去整合产业链和价值链。基于工业大数据的数据挖掘系统，就是想要通过模拟工业领域中的大数据环境，对数据所反映出来的表面统计特征进行分析，和对隐藏在数据表面之下的相关性进行分析和挖掘。并在此基础上，与一些具有参考性的数据进行对照，矫正和检验分析结果，最终利用数据可视化技术把分析结果进行大屏展示，从而使工业大数据平台具有数据分类，环境检测、数据管理和环境预警的功能。

本项目工业大数据Hadoop分析挖掘系统，首先，通过收集工业敏感生产环境、工业实验环境等敏感场景的真实数据，其次，对真实的环境数据进行预处理，针对业务场景关心的指标进行监测与预警。最后，建立机器学习模型，对敏感场景下的环境数据进行建模分析，通过对不同指标赋予不同的权重，实时评估工业敏感环境。主要完成以下功能：

1. 整个基于Hadoop大数据平台状态大屏展示。
2. 对环境传感器的远程控制：包括位置，状态的展示。
3. 实时环境数据的采集与展示。
4. 历史环境数据的分析，主要包括压力/温湿度的对比，温湿度/压力的对比等等。
5. 实时数据在指标环境的预警。
6. 知识发现模型的建立与对敏感环境的评估。

项目功能

   1. 数据采集存储层

      通过可编程传感器PLC获得到的数据和仿真系统模拟获得到的数据，能真实的还原工业场景下设备产生的数据，允许有误差，但不能超过5%。数据集包括电流、电压、温湿度、二氧化碳浓度与光照强度等参数。基于PC的数据采集，通过模块化硬件、应用软件和计算机相结合，进行测量。采用了多种设备串接口：配备RS 232、RS485串口，可连接多个检测仪器实现自动数据采集；配备USB接口，方便数据的输出；配备RJ45接口，可通过网线接入网络。

   2. 数据分析层

     该工业大数据平台，是在由普通机器组成的大规模集群上实现高性能的以机器学习算法为核心的数据分析，为实际业务提供服务和指导，最终实现数据变现。与传统的在线联机分析处理OLAP不同，对大数据的深度分析主要基于大规模的机器学习技术。经过对数据采集层数据的分析，在能够客观准确的反应该设备真实状态的基础上，利用工业大数据发现工业过程中隐形损耗和未知的变化，从而在生产制造过程中避免。智能制造是工业大数据的产物，也是必然的发展趋势，通过对工业数据的有效分析，能够实现工业智能化设计、智能化生产、网络化协同制造、个性化定制、智能化服务等。

  3. 数据可视化

    使用基于Hadoop的可视化技术，首先利用Hadoop的Sqoop工具和Hive工具将处于不同数据服务器的数据传输一起，并进行多维数据分析，为可视化操作做好准备。然后结合当前流行的Echarts可视化工具，根据数据特征进行划分，选择合适的可视化技术进行可视化。

       具体来看，本项目主要实现的功能展示如下：

        1）实时工业场景下的数据展示与预警：

通过部署传感器设备，采集特定应用场景的环境数据，包括但不限于：温度、湿度、PM10、PM2.5等等。实时展示特定应用场景的环境数据，同时，超过指定指标数据范围可以有效预警，如下图所示：

       2）历史环境数据的数据分析：

      对历史工业环境数据的分析，主要包括：压力-温湿度-PM历史数据的环比分析，温湿度-PM/压力的数据分析，压力-温湿度-PM历史数据的同比分析等等，如下图所示：

       3）hadoop平台的信息展示：

       由于工业场景下的环境数据量大，同时，系统采用实时数据采集的手段，所以需要监控大数据平台的实际状态，如下图所示：

    4）传感器信息展示：

   系统可以有效查看采集传感器的运行状态与实际位置，如下图所示：

项目架构

    本项目主要架构如上图所示，前端展示界面主要通过HTML+CSS+Bootstrap进行界面的渲染，使用JavaScript进行界面的用户交互，后台采用Django Web框架作为MTV的技术实现，采用Pandas和Sklearn的决策树算法实现数据分析与分析模型建立，最后将大量的工业数据存储在HDFS上，通过Hive对大数据进行预处理，使用sqoop与关系数据库Mysql进行数据迁移。数据采集采用arduino+传感器的方式实现工业场景的数据采集。

应用场景

1.无菌车间环境检测

      无尘车间为了保证一定的环境湿度，在规定范围中保持处理空气过程，静电和粉尘的危害是直接造成无尘车间工业产品出现各种不良后果，通过该系统可以有效的监控无菌车间的生产环境。

2.智能设计

    工业场景下，传统的产品设计是基于设计师的灵感和经验，揣摩消费者的需求喜好，设计产品，针对性不强，不精确，工业大数据可以拉近消费者与设计师的距离，精准量化客户需求，指导设计过程，改变产品设计模式，缩短产品生产的周期。

3.智能生产

      智能化生产是新一代智能制造的主线。在生产阶段，对所采集的数据进行清洗、筛选、关联、融合、索引、挖掘，构建应用分析模式，实现数据到信息知识的转化。在制造阶段，为工厂资源管理提供数据支撑，并结合实时数据，对产品生产流程进行评估及预测，对生产过程进行实时监控、调整，并为发现问题提供解决方案。

4.个性化定制

    通过工业大数据技术及解决方案，实现制造全流程数据集成贯通，构建千人千面的用户画像，并基于用户的动态需求，指导需求准确转化为订单，满足 用户的动态需求变化。