10分钟带你了解数据库、数据堆栈、数据湖、数据中台的区别与接洽（一）

编辑导语：作为一名数据小白，在日常学习和工作中经常会接触到数据。随着用户数据与业务数据的不断累加，数据管理与处理愈发紧张。本篇文章中，作者将一文说明数据库、数据堆栈、数据湖、数据中台的区别与接洽。

作为数据干系的产物小白，在日常学习工作中经常能看到大概听到各人在讨论数据库，数据堆栈，数据集市，数据湖还有近来比较火的数据中台，似乎这些名词都与数据存在着接洽，查看各类干系书籍，大部分书籍中的内容过于专业艰涩难明。
那么这篇文章团结我积累的干系方面知识，向各人介绍一下上述这些名词的区别与接洽，以及在各类企业及业务上的适用范围，如有禁绝确的地方，盼望各人举行指正。

一、作甚数据库

相信大部分有些许技术背景的同学们都对数据库有肯定的了解，数据库是“按照数据结构来组织、存储和管理数据的堆栈”，一般分为“关系型数据库”与“非关系型数据库”。

1. 关系型数据库

实际上过去的数据库一共有三种模子，即条理模子，网状模子，关系模子。
（1）首先条理模子的数据结构为树状结构，即是一种上下级的层级关系组织数据的一种方式：

（2）网状模子的数据结构为网状结构，即将每个数据节点与其他许多节点都连接起来：

（3）关系模子的数据结构可以看做是一个二维表格，任何数据都可以通过行号与列号来唯一确定：

由于相比于条理模子和网状模子，关系模子明白和使用最简单，最终基于关系型数据库在各行各业应用了起来。
关系模子的数学原理涉及到关系，元组，属性，笛卡尔积，域等等令人头秃的数学术语，这里各人如果感爱好可以看看干系的文献，我就不放出来催眠各人了，尽管数学原理非常复杂，但如果用日常学习工作的详细事件举例，就相对轻易明白。
我们以某公司的员工信息表为例，该公司的员工信息可以用一个表格存起来。并且界说如下：

同时部分ID对应这另一个部分表：

我们可以通过给定一个部分名称，查到一条部分的纪录，根据部分ID，又可以查到该部分下的员工纪录，如许二维的表格就通过ID映射建立了“一对多”的关系。
常用的关系型数据库有Oracle，Microsoft SQL Sever，MySQL，DB2。数据库的语言基本上围绕着“增删改查”来举行的，语法相对简单，各人有爱好可以下载MySQL自学，网上有许多免费的资料。

2. 非关系型数据库

非关系型数据库是以对象为单位的数据结构，非关系型数据库通常指数据以对象的形式存储在数据库中，而对象之间的关系通过每个对象自身的属性来决定。
简单来说非关系型数据库与传统的关系型数据库的区别在于非关系型数据库重要存储没有固定格式的超大规模数据，比方键值对型，文档型，列存储类数据，常见的非关系型数据库有Hbase，Redis，MongoDB，Neo4j等。如今我们通常所说的数据库指的是关系型数据库，非关系型数据库各人了解即可。

二、数据库→数据堆栈

1. 例子

随着企业的发展，线上的业务系统随着业务举行会源源不断的产生数据，一般这些数据会存储在我们企业的业务数据库中，也就是上面讲到的关系型数据库，当然差别的企业使用的数据库可能不尽相同比方上述的Oracle，Microsoft SQL Sever，MySQL等，但是底层的技术逻辑都大同小异，这些业务数据库支撑着我们业务系统的正常运行。
但是当我们线上的业务系统运行超过肯定时间后，内部积压的数据会越来越多，对我们的业务数据库会产生肯定的负载，导致我们业务系统的运行速度较慢，这些数据中有很大一部分是冷数据，由于业务系统一般对我们近期的一些数据比如当天或一周内这些数据调用比较频繁，对比较早的数据调用的频率就会很低。
同时呢目前由于数据驱动业务概念的兴起，各业务部分必要将业务系统的业务数据提取出来举行分析以便更好地举行辅助决策，但各部分需求的数据种类千差万别，接口错综复杂，过多的数据查询脚本以及接口的接入导致业务数据库的稳定性降低。
为了避免冷数据与历史数据收集对我们业务数据库产生的影响，妨碍我们业务的正常运行，企业必要定期将我们冷数据从业务数据库中转移出来存储到一个专门存放历史数据的堆栈里面，各部分可以根据自身业务必要举行数据抽取，这个堆栈就是数据堆栈。

2. 数据堆栈的特性

团结上述例子，我们得出数据堆栈的以下特性：

• 解耦：数据堆栈的诞生，本质是将数据的收集与分析举行解耦。
  
• 整合：数据堆栈起到了对差别平台，差别来源的数据的集成整合作用，通过抽取，清洗，转换生成由面向事件转化为面向主体的数据聚集。
  
• 稳定：数据堆栈的数据重要为决策者分析提供数据，一般仅允许查询，不允许修改删除，数据堆栈的数据仅定期必要由业务数据库转移，加载，刷新。
  
• 历史滞后：数据堆栈的数据会定期更新，每隔固定的时间间隔后，抽取业务数据库系统中产生的数据通过数据的转换集成，进入到数据堆栈中，所以数据堆栈的数据产出具有T+1的特性（离线数据堆栈）。
  

3. 数据库VS数据堆栈

再深入一些，我们此时要引入两个新的名词OLTP（On-Line Transaction Processing）联机事件处理与OLAP（On-Line Analytical Processing）联机分析处理，乍听两个名词感觉很高大上，我们此时要关注两个单词的区别，“Transaction”为事件，业务。
所以业务数据库也就是我们之前讲的关系型数据库属于OLTP类型，该类型侧重于基本的，日常的事件处理，是业务系统的“压舱石”，维持正常运行，而“Analytical”则为分析，数据堆栈就属于OLAP类型，该类型侧重于复杂的分析，查询利用，是业务系统的“船帆”，提供决策支撑。

三、数据堆栈

相信通过上述的案例，我们对数据堆栈有了大致的熟悉，一个简单的数据堆栈结构如下图所示，那么接下来我们讲讲数据堆栈的干系知识点：

1. ETL（extraction-transformation-load）抽取-转换-加载
（1）extraction（抽取）
不是所有出如今业务数据库中的数据都必要抽取，抽取必要在调研阶段做大量的工作，首先要搞清楚数据是从几个业务系统中来,各个业务系统的数据库服务器运行什么,是否存在手工数据且手工数据量有多大，是否存在非结构化的数据，某些数据对于分析没有任何价值，这类数据是否必要剔除，当收集完这些信息之后才可以举行数据抽取的计划。
（2）Transformer（转换）
也就是数据的清洗，数据堆栈分为两部分，ODS（利用数据存储）及DS（数据堆栈），通常的做法是从业务系统到ODS做清洗，将脏数据与不完备数据过滤掉，在从ODS到OW的过程中转换，举行一些业务规则的计算,聚合及数据转换。
a. 数据清洗：业务系统→ODS的过程，过滤那些不符合要求的数据，将过滤的结果交给业务主管部分，确认是否过滤掉还是由业务单位修正之后再举行抽取。
b. 数据转换：ODS→DS的过程，重要举行差别维度的数据转换、数据颗粒度的转换，以及一些业务规则的计算。

• 差别维度数据转换：将差别业务系统的相同类型的数据举行统一，比方编码转化：差别供应商在差别业务系统的编码差别；字段转换；度量单位的转换等。
  
• 数据颗粒度的转换：业务系统存储着颗粒度较细的数据，而数据堆栈的数据时用来分析的，不必要颗粒度很细的数据，所以会将业务系统数据按照数据堆栈的颗粒度举行转换。
  
• 业务规则的计算：企业有差别的数据指标以及业务规则，此时必要将这些数据指标计算好后存储在数据堆栈中，供数据分析使用。
  

（3）Load（加载）
将清洗及转换过的数据加载到数据堆栈，一般分为全量加载及增量加载。

• 全量加载：一次性对所有数据举行加载。
  
• 增量加载：首次举行全量加载，但是背面再继续全量加载的话，会浪费极大的物理资源与时间本钱。所以只考虑对新修改的纪录和新插入的纪录举行加载。
  

小结：ETL是数据堆栈开发中最耗资源的一环，因此该环节要整理各业务系统中紊乱无章的数据，工作量很大，但也是搭建数据堆栈的最紧张的环节。

2. ODS 利用数据存储

ODS（Operation Data Store）利用数据存储在业务数据库与数据堆栈之间形成一个隔离，其存在可以避免数据堆栈直接调用业务数据库的数据，保持数据在结构上与业务数据库一致，起到提高业务数据库稳定性，降低数据抽取复杂性的作用。
鉴于ODS上述特点，数据会按照特定时间源源不断地写入ODS中，且一经写入的数据不能被删除，修改。所以为了提高ODS的运行服从，一般ODS会考虑使用分布式文件存储系统。

3. DM数据集市

DM（Data Market）数据集市是以某个业务应用为出发点而建设的局部的数据堆栈，所以DM数据集市的特点在于结构清晰，针对性强且扩展性良好，由于仅仅对某一个范畴建立，轻易维护修改。
数据集市分为独立数据集市与非独立数据集市，其中独立数据集市有独有的源数据库与ETL架构。而非独立数据集市则没有自己的源数据，全部数据位于数据堆栈，开发人员通过权限的设置，为用户提供面向其业务的数据，该数据为数据堆栈的子集。

四、数据堆栈VS数据湖

对于管理企业的人员一般来说有两种特性，开放性与有序性，创业公司的人思想往往比较开放，但管理大型公司的人更注重秩序，同理这个概念可以使用在如今的数据结构中，开放意味着轻易接受新信息以及接纳新的观点，创业公司拥抱开放的原因他们必须学会冲破常规，在市场中创造新的价值。
有序则指的是采取已证实是乐成的模式，这通常意味着排除那些不太可能乐成的想法和信息。

1. 开放性→数据湖

开放性的特性直接指向数据湖的概念，数据湖是新数据可以不受任何限制地进入的地方，在这里，任何数据都可以存在，因此这里是发现新想法，用数据实验绝妙来源，但同时由于其对任何数据的开放性，使得其缺乏故意义的结构，对于数据量较大时，就显得有些混乱了。

2. 有序性→数据堆栈

有序性直接指向数据堆栈，在数据堆栈中，我们将维度和指标视为可查询的，这是可以统一管理，且更轻易被不断扩大的受众消费。

五、后续

由于篇幅所限，本篇文章为《10分钟带你了解数据库、数据堆栈、数据湖、数据中台的区别与接洽》的第一部分，第二部分会为各人介绍湖仓一体，数据中台的干系知识以及数据库、数据堆栈、数据湖与数据中台在各类企业及业务上的适用范围。
本文由 @快乐的给予 原创发布于人人都是产物司理，未经许可，克制转载
题图来自 Unsplash，基于 CC0 协议