项目方案:
某集成电路制造有限公司,工厂运营数字化水平优良,系统完善。为解决数据孤岛,同时防止数据的重复建设,该企业需要建设公司级统一的数据仓库,让所有数据需求从统一口径抽取,节省人力和存储的资源,同时也方便后期运维,通过一个平台来治理数据指标和数据质量。
实施方案:
基于客户需求,格创东智将该企业的MES数据实时采集到大数据平台中,并在平台中实现数据的高速查询和分析,不仅帮客户将各个业务系统的数据实现了归集,也可以让用户自身去使用平台产品,通过数据的实时和离线两种方式将数据接入,在大数据平台中做数据的开发、汇整、展示及延伸。
该企业此前采用sqoop离线技术抽取mes系统数据进行计算,然后展示前端,数据延迟严重。通过格创东智大数据平台,采用实时技术,可以毫秒级感知数据的变化,进行秒级采集计算,将产线情况实时展示给车间人员,优势显著:
1、数据处理快:离线任务数据处理速率≥90万条/秒;实时任务数据处理速率≥100万条/秒
2、并发多:任务调度同时并发运行≥4000个
3、存储大:支持数据量的存储≥10PB
项目成果:
通过格创东智大数据平台,该企业实现了大数据平台的数据和MES数据实时同步,并可在不影响业务的情况下进行数据的实时查看、分析。同时,数据服务开发、订阅、分发、运营一站式管理,打破了业务数据壁垒,提升了数据一致性,有力支撑起数据资产价值化,效益显著:
1、完成YMS、AMS、RMS、SPC等近100个生产制造单体应用系统数据的零延时实时接入到数据湖;
2、将历史的数百个数据调度任务和脚本平滑迁移到大数据平台中,并能够进行数据治理;
3、基于数据湖,进行工业数据治理及数据分析应用,从虚拟量测、根因分析等入手,解决了12寸半导体fab的数据开发/分析/治理,进而提高质量和良率。
(来源:格创东智)