forklift-moving-crates-into-box

随着数据存储和聚合需求以及利用聚合数据中智能的相关需求增加,随时随地访问该数据的愿望也有所增加。数据仓库已履行聚合数据以提供单一商业智能来源的职责,但我们仍在提高我们的能力,以满足持续、不间断的连接需求,而无需安排因而停机维护、备份等。

这是复制技术(如更改数据捕获(CDC))发挥作用的地方 – 在后台执行任务,并确保我们始终可以访问支持实时智能的数据。

您可能还喜欢:创建 CDC 事件流从 Oracle 数据库到 Kafka 与金门

我们可以将数据仓库视为仓库,这是一个可以集成、存档和存储来自不同来源的数据以供分析的大面积区域;他们已经存在了几十年了…Teradata 是数据仓库的祖父,它基于一个设计原则构建数据库,其中所有内容都是并行的,没有限制性能和可扩展性的单一瓶颈。

20 世纪 80 年代和 90 年代的早期数据仓库的部署和维护成本高昂。然而,有了正确的重点和实施,从数据仓库获得的价值被证明是巨大的,案例研究记录了沃尔玛和AT&T等公司在数据仓库工作中取得的成功。

数据仓库对于希望优化核心业务流程、节约成本和将风险降至最低的组织来说,仍然是非常成功的分析解决方案。他们传统上专注于整合来自各种事务系统的数据。来自打包企业资源规划 (ERP) 应用程序、供应链管理 (SCM)解决方案和客户关系管理 (CRM) 软件的数据为数据仓库提供数据仓库,许多其他行业特定和自产数据也提供来源。

随着基于云的技术的激增,在企业的 BI 战略中,还有更多数据源和目标需要考虑。因此,将数据集成到数据仓库中仍然是数据仓库计划的重要考虑因素。

直到最近,ETL作业每天运行一次以填充分析系统。这种每天一次的方法效果很好,因为系统通常在白天(或晚上)有一段时间,当系统不是很活跃,允许数据提取作业运行,而不会影响源事务系统的性能。

然而,在我们的全球互联世界中,系统全天候处于活动状态,因此启动繁重的数据提取作业不太为接受。此外,组织认为,在更快地访问分析数据方面,获得竞争优势、降低欺诈率等都很有价值。实时数据对于现代企业至关重要。

通过基于日志的更改数据捕获 (CDC) 为实时数据仓库提供燃料

Data warehouses consolidate data for a single source of BI 数据仓库合并单一 BI 源的数据

借助实时数据仓库,公司可以基于更最新、更准确和事务一致的数据更快地做出决策。这是异构数据复制技术(如基于日志的更改数据捕获 (CDC))非常有用的地方。顾名思义,CDC 标识增量更改并将其与其他系统同步,或存储更改的审核跟踪。

CDC 有多种类型,包括基于触发器和基于日志的。事务数据库在事务日志中存储所有更改,以便在数据库因任何原因崩溃时恢复数据库的提交状态。

基于日志的 CDC 不需要其他表更新或查询处理 – 它直接从日志中读取,而不会影响事务,因此对数据库的影响较小。相反,基于触发器的 CDC 在需要更改数据捕获的表上创建触发器,并触发这些触发器会减慢事务速度。

由于基于日志的 CDC 对事务处理应用程序的影响最小,因此它可以应用于所有可能的方案,包括事务量极高的系统。使用基于日志的 CDC 进行实时数据复制,无需在源数据库和 ODS 之间定期进行批量加载。使用基于日志的 CDC,数据移动更快,对资源的压力较小。更改可以接近实时处理,在某些情况下,数据延迟以秒为单位甚至子秒为单位进行测量。

公司必须为其 BI 团队提供源源不断的实时数据,以便做出保持竞争力所需的战术性日常决策。使用基于日志的 CDC 为实时数据仓库提供支持,可实现这一目标,并帮助组织充分发挥其商业智能解决方案的潜力。

相关文章

Comments are closed.