企业级数据仓库平台

产品功能详情

EasyEDW企业级数据仓库平台基于星环TDH架构构建,形成层次清晰、功能完善的产品体系,涵盖数据整合、存储、加工、服务全流程,核心功能如下:

一、数据分层存储与管理功能

1. 源数据缓冲层(ODM):作为源数据接入缓冲枢纽,支持多类型数据统一接入,规范数据编码与格式,按业务系统划分目录、统一命名,简化数据更新流程。

2. 源数据历史层(HDM):采用ORC格式构建分区分桶表,通过两种方式保留源数据历史状态,实现数据全量备份与增量记录,配套日志表确保数据可追溯、可审计。

3. 公共数据模型层(CDM):在HDM层基础上清洗整合数据,下沉公共数据减少重复加工,分快照区与历史区存储,支撑多维度汇总分析。

4. 数据服务接口层(MDM):作为对外数据服务统一出口,提供接口表与视图,支持集群内外供数,命名规范统一,保障下游数据一致性。

二、数据加工与处理功能

1. ETL全流程自动化处理:构建单向数据流向,实现数据抽取、转换、加载全自动化,支持多种数据类型差异化处理,按规范分区存储数据。

2. 数据校验与质量管控:对入库数据进行合法性校验,校验失败触发重新供数,嵌入质量统计模块,记录关键指标,确保数据质量可控。

3. 集中作业调度管理:基于相关系统构建统一调度监控平台,支持按批次、依赖关系配置作业,异常告警并记录日志,保障全天候稳定运行。

三、数据服务与应用支撑功能

1. 多维度数据服务接口:提供多种访问接口,兼容主流BI工具,支持大规模数据高速查询分析,支撑各类专题分析应用。

2. 数据分析与挖掘支撑:集成内存分析引擎与实时数据库,支持并行统计、数据挖掘,兼容多种语法,满足交互式分析与实时查询需求。

3. 灵活的目录与权限管理:规范目录结构,严格控制目录权限,建立三级权限管控体系,保障数据访问安全。

四、系统管理与运维功能

1. 环境配置与部署:支持在单一TDH集群部署三个数据库,统一管理,提供标准化目录设计规范,便于维护扩展。

2. 数据归档与备份:自动压缩归档源数据,按规范分类存储,支持数据回溯恢复,通过ORC格式实现核心数据高效备份。

3. 监控与日志管理:基于ELK体系记录各类日志,支持问题快速定位,实时监控ETL作业状态,异常及时告警。


分享:
热线
热线电话
+86-10-57321188
微信咨询
微信扫一扫立即咨询
微信