大数据处理平台
佳发大数据处理平台基于 HDFS、Hbase、Kudu 等从 GB 到 PB 级别的存储方案,提供数据全量接入,将业务数据从各类数据源导入数据仓库以及其他相关大数据环境,提供关系型数据库和日志的增量实时/准实时接入,将业务库中增量数据和应用日志实时导入到大数据环境,并通过数据可视化分析,对全省无线电使用状况进行实时监测。
上图为大数据处理平台部分页面展示
数据采集、存储与计算能力。随着数据量的飞速增长,数据来源和数据结构更为多样,数据处理方式需满足各个场景下的数据分析与应用需求。实现多数据系统的统一存储、管理和业务系统数据的统一。不再需要从多个业务系统数据库中提取数据再进行整合。
上图为大数据处理平台部分页面展示
增强自主分析能力,持续挖掘业务价值。建立更加灵活、便捷的可视化分析,提高数据分析自主性,增强数据分析效率,提高数据价值贡献。
上图为大数据处理平台部分页面展示
佳发大数据处理平台实现了高效的ETL开发和数据仓库建设,建设了统一的数据清洗、计算流程,满足了数据分析与数据挖掘、数据报表、报告等业务场景对数据消费的需求;搭建了同时满足离线计算和实时计算应用场景的大数据平台。随着互联网快速的发展,单纯的离线计算已经不能满足正常的业务需求,实时计算应用场景也已经成为了各个单位必须考虑的业务场景;提供了简单易用的操作界面,相关技术人员可以快速上手进行平台管理和维护;通过认证、授权、审计,提供全方位的数据安全技术保障;基于有数,不仅使数据库中的数据更加美观易懂,各业务部门还能通过自助式分析查询所需数据,更高效地支持业务决策。