数据仓库中,OLTP和OLAP系统的区别:
OLTP: 联机事务处理,随机读写,在事务处理中解决数据的冗余和一致性问题。
OLAP: 联机分析处理 ,批量读写,关注数据的整合,以及在一次性的大数据查询和处理中的性能。
数据分层
- ODS层:ODS层属于操作数据层,是直接从业务系统采集过来的最原始的数据,包含了所有业务的变更过程,数据粒度也是最细的。
- DWD层:是在ODS层基础上,根据业务过程建模出来的实时事实明细层,对于访问日志这种数据,会回流到离线系统供下游使用,最大程度地保证实时和离线数据ODS层和DWD层一致。
- DWS层:订阅明细层数据后,会在实时计算任务中计算各个维度的汇总指标。如果维度是各个垂直业务线通用的,则会放在实时通用汇总层,作为通用的数据模型使用。
- ADS层:个性化维度汇总层,对于不是特别通用的统计维度数据会放在这一层中,这里计算只有自身业务才会关注的维度和指标。
- DIM层:实时维表层的数据基本上都是从离线维表层导出来的,抽取到在线系统中供实时应用调用。