云数据集成平台CDIP

发布时间:2018-10-22 10:52:25



| 产品概述

       CDIP不仅可以屏蔽不同类型数据源的差别,还可从数据源中抽取数据,并实现不同来源、不同格式的数据之间的转换,使其成为有价值、有意义的数据。进而,将标准化数据加载到数据库(通过多种消息传输中间件进行加载,包含Kafka、Flume等),通过数据集成的规范和统一标准,保障数据的可用性,实现数据资源的集中、高效、便利化管理。数据使用方可通过API等方式获取数据。该平台具有跨异构数据、可靠、安全、低成本等特点,可实现异构数据间的抽取、转化和加载功能。

       云数据集成平台CDIP可对数据提供方的数据进行多种方式的抽取,包含各类文本文件、数据库文件、系统日志等其他数据源,把不同来源、不同格式的数据进行统一转换,将转换后的数据加载到数据仓库。数据使用方可通过API接口等方式获取数据。


| 产品功能

  · 数据集成方式

- 数据源管理  

CDIP可对接入的数据源进行综合管理,包含数据源名称、分类标题、数据源种类、数据类型、数据所在地、数据创建人等。

- 数据抽取   

可以通过“全量抽取”、“增量抽取”两种方式实现数据抽取。

- 数据转换    

CDIP支持数据抽取过程中的数据转换,通过过滤、去重、格式转换、分组等处理方式,将数据加工成可被数据仓库加载的标准数据。

- 数据加载     

按照数据仓库标准,将加工完成的数据加载到数据仓库。

  · 数据提供方式

    - 自行拉取

    数据使用方可通过JDBC、ODBC等方式进行数据库连接,自行拉取所需数据。

    - 平台标准API 

    平台提供标准API,以接口的形式对数据使用者进行开放,数据使用者可通过此种方式获取所需数据。


| 产品优势

云数据集成平台为大数据共享、海量数据处理、实时计算等提供了有力的支撑。

  · 丰富的数据源类型

- 文本存储(FTP / SFTP / OSS /多媒体文件等)

- 数据库(Oracle/ SQL Server / MySQL / PostgreSQL等)

- NoSQL(Memcache / Redis / MongoDB / HBase等)

- 大数据(GFS/HDFS等)

  · 多层次保护机制

    - 支持通道安全,支持SSL传输通道加密功能

    - 双活部署,保证数据库正常运行

  · 多种数据传递方式

- 通过Kafka、Flume等高级消息传输通道进行消息传递



联系我们
400-650-6380
邮箱
sales@gla.net.cn