云 起 大 数 据 平 台


云起大数据平台支持政府各委办局多源异构数据的接入和整合,连通数据孤岛、打破数据烟囱,构建政务大数据开放共享平台。支持智慧城市各平台、协会、组织的多源异构数据的接入和整合,构建行业数据标准和服务平台。

云起大数据平台目前包含数据整合:Kafka、Flume-ng、Sqoop关系数据库数据抽取、实时数据采集、文件数据采集和数据库实时复制功能;数据存储:Hadoop(HDFS)、HBase、Redis提供关系数据存储、非关系数据存储和分布式文件存储功能;数据计算:Hadoop(YARN + MapReduce2)、Spark、Storm、Hive、Impala括批量计算、流计算、内存计算等功能;数据分析:Hadoop(YARN + MapReduce2)、Spark(Spark、Spark-SQL、Mlib)包括自助式分析服务、数据挖掘服务、统一数据存取服务、数据接口服务和计算服务功能;安全管理:Knox、Sentry包括平台安全和数据安全功能;集群管理:Zookeeper括基础运维、资源管理、作业调度功能,在原有基础上进一步深化资源管理,新增多租户资源管理功能。

 

云起大数据平台已经在内蒙古呼伦贝尔市投入使用。