数据治理

在企业纷繁复杂的数据里,有一类数据事关全局,如:客户数据、产品数据、员工数据…这些数据被频繁复用、影响全局,正在成为数据治理中的难点、痛点。卓见云以这些共享的、静态的数据为抓手,建立一个统一的、共享的管理系统,通过治理和规范,打造强悍的数据治理能力。

 

  • 服务内容

    通过在客户内网构建数据源,结合集成了阿里云通用大数据总线集采服务(datahub)的sdk实现远程分布式大规模实时数据跨公网的安全加密传输服务。数据进入到数据总线后准实时归档到离线超大规模分布式处理服务MaxCompute作为长周期存储。

    数据采集

    简介

    离线批量数据接入: 

    离线的数据通道主要通过定义数据来源和去向的数据源和数据集, 􏰀供一套抽象化的数据抽取插件、数据写入插件,并基于此框架设计一套简化版的中间数据传输格式,从而达到任意结构化、半结构化数据源之间数据传输的目的。

     

     

    文件数据接入: 

    批量数据接入包括文件接入与数据库接入两种,文件接入包括从对方 服务器拉取以及对方通过 FTP 传输两种形式;  

     

     

    数据库数据接入: 

    数据库接入是通过数据集成工具主动拉取并直接写入到指定的离线 和在线存储系统。 

     

     

    实时数据接入: 

    流数据接入与分发子系统可以处理包括 IOT 物联网流数据、语音流、 视频流、图片流、消息流等一切流式数据的接入与分发工作,可以对各种移动设备,应用软件,网站服务,传感器等产生的大量流式数据进行持续不断的采集,存储和处理。􏰀供对流式数据的发布(Publish),订阅(Subscribe)和分发功能,能够轻松构建基于流式数据的分析和应用。

  • 数据整理

    简介

    数据整理主要包括元数据、数据标准、数据质量、数据集成、主数据、数据资产、数据交换、生命周期、数据安全多产品组成的一整套解决方案。

     适用场景

    服务内容

    所有相关的数据量大、数据精度高、需要对数据操作的各种业务需求,快速满足政府、企业各类不同的数据处理场景。

    数据上云服务:

    提供数据上云、云上数据架构设计等服务。

     

     

    数据管理服务:

    对业务数据、元数据等数据管理统一储存服务。

     

     

    数据ETL服务:

    数据的抽取、转换、加载对应各种业务要求,实现统一调度、统一监控,满足运维可视化需求。

     

     

    数据生命周期服务:

    数据生命周期记录数据从创建和初始存储,到它过时被删除的整个流动过程,对数据进行近线归档、离线归档、销毁和全生命周期监控等服务。

  •        协鑫集成科技股份有限公司致力于打造成全球领先的一站式智慧综合能源系统集成商。

           协鑫集成构建基于公共云的大数据与人工智能应用,帮助协鑫集成实现智能制造转型升级,降本增效。 将设备传感器采集数据和内部各个必要的业务系统的数据上云,长期稳定安全的存储。业务变化带来等反馈效果数据也通过同样手段收集回来云数据仓库,形成业务数据化等反馈闭环,使得业务不断快速迭代升级。智能制造的兴起,将大数据分析引入到制造革命中进行数据回流分析。通过对生产数据的采集并上传云端,可以对数据进行实时和长期分析,分析生成流程中可优化的部分。

    协鑫集成案例


1、搭建互联网大数据应用服务云平台:让企业更专注于业务;降低投资及运维成本;安全稳定;

 

2、查询和业务日志分析:提高工作效率;提高存储利用率;降低大数据使用门槛;

 

3、精细化运营:提升业务洞察能力;业务数据化;快速响应业务需求;

典型应用场景:

       DataWorks是阿里云重要的PaaS平台产品,为您提供数据集成、数据开发、数据地图、数据质量和数据服务等全方位的产品服务,一站式开发管理的界面,帮助企业专注于数据价值的挖掘和探索。

       DataWorks支持多种计算和存储引擎服务,包括离线计算MaxCompute、开源大数据引擎E-MapReduce、实时计算(基于Flink)、机器学习PAI、图计算服务Graph Compute和交互式分析服务等,并且支持用户自定义接入计算和存储服务。

       DataWorks对数据进行传输、转换和集成等操作,从不同的数据存储引入数据,并进行转化和开发,最后将处理好的数据同步至其它数据系统。

       我们利用DataWorks技术能力为您提供全链路智能大数据及AI开发和治理服务。

datawork的能力: