需求与挑战 ·
习近平总书记在党的十九大报告中提出“推动互联网、大数据、人工智能和实体经济深度融合”，进一步突出了大数据作为国家基础性战略性资源的重要地位。掌握丰富的高价值数据资源日益成为抢占未来发展主动权的前提和保障。
数据作为越来越重要的生产要素，将成为比土地、石油、煤矿等更为核心的生产资源。如何加工利用数据，释放数据价值，实现企业的数字化转型，是当前企业在数据资产管理中面临的重要课题。
我们来看一个工业企业的数据治理的需求。已知明确企业的数据包括：1.运维数据、检测数据、报警数据以及这些类数据的历史数据，存储在某业务系统中，通过接口调用。2.不同下属单位的多套核心系统的维修、报警及状态数据，保存在不同的业务系统中，通过接口调用。3.多套核心设备检测系统的物联网数据，通过传感器采集并上传。4.某系统的GIS数据，以文件形式存储并集成。5.设备相关图像数据，以图像形式存储。6.视频数据，来自企业内部监控系统7*24小时的数据，存储在视频监控系统中。
对以上数据进行梳理会发现，企业数据包含以下几类：
● 时序数据：传感器产生的数据，存于物联网数据库中，形态可能是实时数据库、时序数据库等
● 结构化数据：已有系统积累的数据，包括维修、报警及状态数据。更多的企业可能是已经历史上建设好的业务系统 ERP、设备管理、物流、产销、安全生产等等系统。
● 半结构化数据： 如GIS文件等，本身以文件存储，但数据包含一定的结构和意义。
● 图像数据及视频数据
大多数工业企业数据治理起步晚、基础薄弱，存在缺乏统一数据视图、数据孤岛普遍存在、数据质量参差不齐、数据安全难以保障等问题。这些问题严重阻碍了数据的互联互通和高效利用，成为了数据价值难以有效释放的瓶颈。
因此，企业亟需对数据资产进行有效治理，持续积累数据资产、释放数据价值，以数据驱动企业的业务创新、运营管理的提质增效。
工业互联网平台数据治理能力梳理
针对工业企业数据的现状，工业互联网平台需要提供数据治理的能力，支持企业IT/OT数据融合，最终通过治理后的数据来为工业互联网应用如设备预测性维护、生产过程优化、企业经营管理应用等提供坚实的数据基础和支持。
工业互联网平台数据治理能力需要连接数据生产者与消费者，对企业数据进行统一的采集、存储与治理，为数据消费者提供高质量的数据。对企业数据进行全生命周期闭环管理，支持数据采集、存储、共享、使用、销毁全生命周期管理;支持异构、多源的企业数据融合，帮助企业积累数据资产、提升数据质量、实现数据贯通、保障数据安全、促进数据共享、持续提升数据价值。
从需求角度来看，工业互联网平台数据治理基础能力应包括：提供数据资产目录、数据地图、血缘分析、影响分析等典型应用能力;提供数据标准管理、数据质量管理、数据模型管理、元数据管理、数据安全管理等数据治理能力;提供数据接入、数据服务总线等数据集成能力。
1、全面盘点数据资产
形成企业数据资产地图，全面掌握数据资产现状;
帮助业务人员快速精确查到需要的数据;
帮助数据开发人员快速理解数据。
2、实现数据互联互通
建立企业数据标准，完善企业数据管理规范;
建立企业共享数据平台，存储企业数据，积累数据资产;
建立企业数据共享流程，促进企业数据共享。
3、提高数据获取效率
建立企业数据资产目录，快速建设需要的数据;
建立数据服务目录，快速共享数据服务;
建立数据计算工具，方便快速完成数据计算。
4、不断提升数据质量
建立闭环的数据治理管控体系;
设计数据质量标准;
动态稽核数据质量，生成数据质量稽核报告。
5、保障数据安全合规
完善企业数据安全策略;
建立企业数据安全措施、审计措施，支持数据全生命周期安全管理。
6、持续释放数据价值
建立闭环的数据治理管控体系;
设计数据质量标准;
动态稽核数据质量，生成数据质量稽核报告。
寄云NeuSeer工业互联网平台
数据治理实践
总体架构
寄云科技NeuSeer工业互联网平台提供全方位的数据治理服务，具备完成文件、数据库、图像、视频等相关数据的数据接入能力，支持通过实时数据接口、批量上传、爬虫、物联网数据采集处理等手段将数据接入到平台，通过数据融合、存储、治理，最终形成几类数据治理工作成果：数据资产目录生成、血缘分析、生命周期管理;数据质量管理、数据标准规范、数据质量报告;数据安全管理，数据访问安全，存储安全，共享安全，安全审计等;数据共享，共享流程管理，共享运营及共享评价。
数据接入
图 | 数据接入
1. 支持多元异构数据的模板化接入
OT数据
1. 调用时序数据API实时接入
2. 通过SFTP批量接入
IT数据
1. 调用结构数据API 实时接入
2. 通过ETL批量接入
3. 通过SFTP批量接入
4. 调用文件数据API批量接入
外部数据
1. 调用结构数据API 实时接入
2. 调用文件数据API批量接入
2. 数据源注册采集数据源基本信息及OT/IT元数据信息
数据融合
图 | 数据融合
支持流批计算，支持KAFKA/TSDB数据流计算，MPP、Hadoop文件的批计算，计算结果可以写回TSDB、MPP、KAFKA、Hadoop文件。
数据存储
图 | 数据存储
MPP支持结构化数据的存储与计算;TSDB支持IoT实时数据的存储与计算;HDFS支持非结构化数据的存储与计算。
数据治理
图 | 数据治理
支持数据采集、存储、共享、使用、销毁全生命周期管理，支持异构、多源的企业数据融合，帮助企业积累数据资产、提升数据质量、实现数据贯通、保障数据安全、促进数据共享、持续提升数据价值。
数据资产目录
图 | 数据资产目录
● 支持企业全部数据资产的分类目录、检索、查看、共享功能， 帮助数据使用者快速精确地找到自己需要的数据;
● 支持全域数据全生命周期管理与治理， 形成数据地图、数据资产目录，支持企业数据资产运营;
● 帮助企业快速感知企业数据分布。
数据共享
图 | 数据共享
支持数据共享，包括共享流程管理，共享运营及共享评价数据，实现数据的跨企业内外互联互通，汇聚共享。
数据标准
图 | 数据标准
● 支持企业数据标准的浏览、查询、下载;
● 支持企业数据标准的新建、审核、发布、废止及版本管理。
数据质量
图 | 数据质量
● 根据数据标准设定质量规则;
● 数据质量动态稽核;
● 生成数据治理稽核报告;
● 数据质量报警。
数据模型
图 | 数据模型
● 结构化数据物理模型的检索与查阅;
● 结构化数据物理模型的变更、审核、发布及历史版本管理。
元数据管理
图 | 元数据管理
● 采集并管理元数据;
● 定义分类、分层数据标签;
● 元数据质量稽核;
● 数据血缘分析、影响分析，实现数据关键信息的追踪和记录，帮助用户快速了解数据的来源于去向，有效评估数据元数据变化带来的影响。
数据安全
图 | 数据安全
数据安全对数据进行安全等级划分， 从采集，传输，存储和使用的各个环节对数据全生命周期的安全管理，支持数据安全使用和共享。
数据融合
● 结构化数据注册数据源后通过实时API、ETL方式接入数据服务总线;
● 实时数据注册数据源后， 通过实时数据接入Adapter接入数据服务总线;
● 文件、图片、视频等非结构化数据通过手工上传SFTP的方式接入;
● 盘点企业IT/OT所有数据源基本信息， 支持标准化模板数据接入;
● 多源数据的提取、分析、结果输出。
数据治理后的数据应用
问渠哪得清如许，为有源头活水来。数据治理的过程就是红旗渠的建设过程，经过数据治理平台处理后的数据，如同经过分类处理的各种资源，是后续各种企业应用的数据基础。这些数据可以用来支撑工业APP应用的开发，构建各种数据指标体系，针对业务优化场景去构建复杂分析模型。
寄云科技NeuSeer工业互联网平台，深度聚焦工业领域，以数据智能为核心，融合IT/OT数据，为企业提供方便的异构数据接入和融合、大数据处理与智能化分析，以及低代码的开发工具，简化和加速工业应用的开发与迭代,助力企业建立闭环的数据治理管控体系。广泛应用于设备性能管理、生产过程指标优化、实时生产决策、安全生产等应用场景，持续致力于为企业数字化转型与智能化升级提供有力抓手。
（转载）
