首页 热点 要闻 国内 产业 财经 滚动 理财 股票

终于有人把数据仓库、大数据平台和数据中台彻底讲清楚了

2023-06-23 10:56:30 来源 : IT技术管理那些事儿

IT圈儿的科技热词每年都层出不穷,例如:

技术层面:人工智能、机器学习、深度学习、数字孪生、AI、云计算…… 平台层面:数据仓库、数据湖、湖仓一体、大数据平台、数据中台、低代码…… 企业层面:信息化、数字化、智能化、数智化、数据化……

总之就是你方唱罢我登场,各种概念满天飞。


(资料图)

这些概念的层出不穷主要还是各大厂商想要卖服务、卖产品、卖技术。广大企业要想不被这些厂商忽悠得腿瘸了,就需要全部理清这些概念,明白他们的区别。

今天的这篇文章就先帮大家分清楚数据仓库、大数据平台和数据中台这三个概念。

什么是数据仓库呢?

数据库的概念,大家应该都不陌生,而数据仓库其实就是数据库概念的升级版。

数据仓库是为了解决数据库负载有限、满足企业新增的分析需求而被设计出来的。 如果数据想要从各个数据库迁移到统一数据仓库中,就需要经历抽取、转化、加载(ETL),最终变身成可以直接被业务人员分析的结构化/半结构化的数据。 在数据仓库后面,企业常用BI分析数据,产生报表,辅助决策。

用一个 蔬菜储存的例子 来简单理解一下:

如果我们把地里的蔬菜看作是数据,那么土地就是数据库。在蔬菜成熟后,我们需要把蔬菜从地里摘下来放在地窖,那么地窖就是数据仓库。

在把蔬菜放到地窖需要拔菜、择菜、放菜这三个步骤,这三步就是ETL。存放到地窖里的都是干净健康的蔬菜,这些干净健康的蔬菜就是结构化/半结构化的数据。

一块地一般只种植一种蔬菜,但是一个地窖可以存放各种各样的蔬菜,所以数据仓库可以储存来自于多个数据源的数据。后续我们需要从地窖里拿蔬菜去做菜,这个做菜的过程就是用BI进行分析,做好的成品就是分析报表。

总而言之,数据仓库就是一个“为企业实现数据模型构建”的产品。

什么是大数据平台呢?

说到大数据平台,那必定要说说另一个和它一字之差的概念“数据平台”。

什么是数据平台?

前面讲了数据仓库存储的是结构化和半结构化的数据,那非结构化的数据该由谁来储存呢?对,就是数据平台。 数据平台是为了解决数据仓库不能处理非结构化数据和报表开发周期长的问题而产生的 ,它先是将企业所有格式的数据都抽取出来放到一起,形成一个大的数据集,再根据业务需求,单独提取其中的小数据集提供给数据应用。

那什么是大数据平台呢?

大数据平台是数据平台在大数据时代的概念衍生,其功能要远胜于数据平台。 大数据平台是一个以处理海量数据存储、计算以及流数据实时计算等场景为主的技术堆栈 ,包括数据采集、数据存储、数据计算、数据应用和任务调度,最典型的是基于Hadoop生态构建的大数据平台。 在非结构数据、实时数据和海量数据的计算和存储压力下,企业才选择从数据仓库转向大数据平台 。

用一个 汽车工厂的例子 来简单理解一下:

如果我们把汽车工厂生产汽车的过程看作是企业利用数据决策的过程,那么各种原材料就是数据,工厂中的设备就是大数据平台,工厂设备运作所必须的水和电就是大数据平台的框架Hadoop。Hadoop提供大数据生产所必须的计算和存储资源,大数据平台使得数据开发人员具备对数据的加工和处理能力,类比汽车工厂就是设备让工人具备了对原材料的加工能力。

总而言之,大数据平台就是一个“为企业解决海量、实时数据存储和计算问题”的技术平台。

什么是数据中台呢?

要理解“数据中台”,我们要先理解“中台”。

中台是相对于“前台和后台”来讲的 。前台直接和用户打 交道,包括用户直接交互的界面,比如手机app,还有服务端响应用户请求的业务逻辑,比如商品查询。后台虽然用户看不见摸不着,但是不可或缺,包括面向内部运营人员的管理系统、配置系统。后台为前台提供配置。

如果按照传统”前台-后台“架构,企业业务的增多会导致n多前台和n多后台产生。但实际上,在这么多的前台中,其实 有很大一部分模块或功能是重复的 。为了不重复造轮子,为了提高开发效率,就需要一个统一的平台来承接共性的功能模块,作为n多前台和n多后台的桥梁,于是中台就出现了。

中台这个概念最先起始于“鼻祖”阿里的“大中台、小前台”概念,随后业界又衍生出业务中台、技术中台、数据中台、安全中台、算法中台等等。这其中,最通用、最热门、最具行业共性的就是“数据中台”。数据中台的出现很好地解决 了企业数据后台开发无法快速跟上前台业务需求变化、业务系统数据孤岛且数据繁杂 这两大难题,帮助企业打通各业务系统的数据,让数据真正变成资产并服务于业务。

用一个 制作菜品的例子 来简单理解一下:

如果我们把成品饭菜看作是前台,那么做饭的厨房就是后台,各种蔬菜和调料就是数据。

一家饭店专门卖凉面、凉皮、凉粉等,这些菜用的调味汁是同样的调味料按照同样的比例调制而成的,为了更快出餐,饭店决定用一大桶调制好的调味汁代替一餐一次调味。这里调制一桶调味汁的过程就相当于构建了一个数据中台。因为一桶调料汁的完成,饭菜从厨房原材料到成品给到客户的速度加快了,这说明数据中台可以加速企业从数据到业务价值的过程,为业务提供速度更快的服务。

总而言之,数据中台就是一套可持续的“让企业的数据用起来”的机制。

小结

最后,给大家做个总结。数据仓库算产品,大数据平台算平台,数据中台算机制。相比数据仓库和大数据平台,数据中台离业务更近。数据中台的开发和建设既可以建立数据仓库基础上,也可以建立在大数据平台基础上,区别就在于企业的数据应用场景是否多元化。

关键词:
相关文章

最近更新
精彩推送
人得了乙肝会怎么样 2023-06-23 10:57:56