离线批量数据接入:
离线的数据通道主要通过定义数据来源和去向的数据源和数据集, 供一套抽象化的数据抽取插件、数据写入插件,并基于此框架设计一套简化版的中间数据传输格式,从而达到任意结构化、半结构化数据源之间数据传输的目的。
文件数据接入:
批量数据接入包括文件接入与数据库接入两种,文件接入包括从对方 服务器拉取以及对方通过 FTP 传输两种形式;
数据库数据接入:
数据库接入是通过数据集成工具主动拉取并直接写入到指定的离线 和在线存储系统。
实时数据接入:
流数据接入与分发子系统可以处理包括 IOT 物联网流数据、语音流、 视频流、图片流、消息流等一切流式数据的接入与分发工作,可以对各种移动设备,应用软件,网站服务,传感器等产生的大量流式数据进行持续不断的采集,存储和处理。供对流式数据的发布(Publish),订阅(Subscribe)和分发功能,能够轻松构建基于流式数据的分析和应用。