您现在的位置是：网站首页> 编程开发> 大数据 编程开发
数据中台建设的目的和解决痛点
2021-08-20【大数据】
1791人已围观
简介数据中台建设目的数据中台建设的痛点数据中台对外赋能数据中台技术架构示意图使用的技术栈数仓分层数仓同步对比BI与Report的区别数据中台建设目的为业务提供服务提高数据研发效率降低学习曲线提高数据质量数据中台建设的痛点成本高周期长见效慢服务差数据中台对外赋能决策支持类数据分析类数据检索类数据共享开放类主题报表（月度/季度/年度/专题）BI商业智能日志分析数据API接出大屏数据可视化展示OLAP分析数
数据中台建设的目的和解决痛点
最后更新：2021-08-20 12:33:58
推荐指数：
数据中台建设目的
数据中台建设的痛点
数据中台对外赋能
数据中台技术架构示意图
使用的技术栈
数仓分层
数仓同步对比
BI与Report的区别
数据中台建设目的
为业务提供服务
提高数据研发效率
降低学习曲线
提高数据质量
数据中台建设的痛点
成本高
周期长
见效慢
服务差
数据中台对外赋能
决策支持类 | 数据分析类 | 数据检索类 | 数据共享开放类 |
|---|---|---|---|
| 主题报表（月度/季度/年度/专题） | BI商业智能 | 日志分析 | 数据API接出 |
| 大屏数据可视化展示 | OLAP分析 | 数据血缘分析 | 实时数据订阅 |
| 数据挖掘 | 数据地图 | ||
| 数据驱动的机器学习 |
数据中台技术架构示意图
使用的技术栈
模块 | 原有方式 | 新方式 | 说明 |
|---|---|---|---|
数据服务 | SpringBoot开发的数据接口 | DataWorks的数据服务 | DataWorks提供的数据服务采用Serverless架构，只需要关注API本身的查询逻辑，无需关心运行环境等基础设施，数据服务会为您准备好计算资源，并支持弹性扩展，零运维成本。 |
| 数据可视化 | PowerBI | FineBI | PowerBI是Microsoft开发的商业数据可视化分析工具。 Superset是一款由 Airbnb 开源的“现代化的企业级 BI（商业智能） Web 应用程序”，其通过创建和分享 dashboard，为数据分析提供了轻量级的数据查询和可视化方案。 |
| 数据存储 | Redis，HBase，SqlServer | ADB | ADB是阿里巴巴自主研发的海量数据实时高并发在线分析云计算服务，使得您可以在毫秒级针对千亿级数据进行即时的多维分析透视和业务探索。 |
| 数据集成 | SSIS，Sqoop | DataWorks的数据集成 | SQL Server Integration Services是生成高性能数据集成解决方案（包括数据仓库的提取、转换和加载 (ETL) 包）的平台。 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具。 DataWorks的数据集成是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。 |
| 数据开发 | Spark，Hive，PySpark，Python | DataWorks | Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。 Hive是一个基于Hadoop的数据仓库平台。通过hive，可以方便地进行ETL的工作。 |
| 数据仓库 | Sqlserver, HBase | ADB | - |
| 数据质量 | - | DataWorks的数据质量 | DataWorks的数据质量是支持多种异构数据源的质量校验、通知及管理服务的一站式平台。 |
| 数据监控 | - | DataWorks的数据监控 | DataWorks的数据监控可以自动标记核心数据的计算链路、评估链路风险，确保核心数据准时产出 |
| 数据地图 | - | DataWorks的数据地图 | DataWorks的数据地图是在元数据基础上提供的企业数据资产管理模块，涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。 |
| 数据报表 | SSRS，PowerBI | FineBI | SQL Server Reporting Services是微软企业级报表平台。 |
| 数据分析 | SSAS | FineBI | SQL Server Analysis Services可以创建多维数据库，并在之上进行数据挖掘操作。 |
*DataWorks是以all in one box的方式提供专业高效、安全可靠的服务的一站式大数据智能云研发平台。 同时能满足用户对数据治理的需求，赋予用户对外提供数据服务的能力。
数仓分层
名称 | 是否必须 | 说明 |
|---|---|---|
| ODS（Operation Data Store 数据引入层） | 是 | 将原始数据几乎无处理的存放在数据仓库系统，结构上与源系统基本保持一致，是数据仓库的数据准备区。主要完成基础数据引入到数仓的职责，同时记录基础数据的历史变化。 |
| CDM（Common Data Model，数据公共层又称通用数据模型层） | 否 | 包含DIM维度表、DWD和DWS，由ODS层数据加工而成。主要完成数据加工与整合，建立一致性的维度，构建可复用的面向分析和统计的明细事实表，以及汇总的指标。 |
| DIM（维度层） | 否 | 基于维度建模理念思想，建立整个企业的一致性维度。降低数据计算口径和算法不统一风险。维度层的表通常也被称为逻辑维度表，维度和维度逻辑表通常一一对应。 |
| DWS（汇总事实层） | 否 | 以分析的主题对象作为建模驱动，基于上层的应用和产品的指标需求，构建汇总指标事实表，以宽表化手段物理化模型。构建命名规范、口径一致的统计指标，为上层提供公共指标，建立汇总宽表。汇总事实层的表通常也被称为汇总逻辑表，用于存放派生指标数据。 |
| DWD（明细事实层） | 否 | 以业务过程作为建模驱动，基于每个具体的业务过程特点，构建最细粒度的明细层事实表。可以结合企业的数据使用特点，将明细事实表的某些重要维度属性字段做适当冗余，即宽表化处理。明细事实层的表通常也被称为逻辑事实表。 |
| ADS（Application Data Service 数据应用层） | 否 | 存放数据产品个性化的统计指标数据。根据CDM与ODS层加工生成。 |
数仓同步对比
BI与Report的区别
类型 | BI | Report |
|---|---|---|
| 支持范围 | 提供自助式的 OLAP 多维数据分析模式 | 支持灵活定制各种复杂报表 |
| 面向对象 | 主要面向业务人员，业务人员可以自己设计仪表板进行分析，自主分析得出结果，辅助企业业务决策 | 可以用来出固定格式的周报、月报、适合作为正式汇报材料 |
| 使用目的 | 关注长期的战略决策，更着重于商业趋势和业务单元的联系而非具体的数据和精确度本身 | 着重于短期的运作支持 |
很赞哦！ (0)
文章评论
验证码:
