← 返回蜂巢洞察

文章：何时应该使用液态聚类技术？对Lakehouse架构布局策略的比较分析

栏目 技术实践
分类 大数据
标签 布局 故障 架构 决策 数据

在湖仓架构的设计中，物理数据存储布局的决策具有至关重要的意义。作者在Delta Lake平台上针对四种不同类型的工作负载，对比了“液态聚类”技术、Z排序算法以及数据分区方案，并发现了两种目前尚未被记录在案的故障模式；这些故障模式很可能会影响当前的实际生产系统运行。同时，作者还提出了一套决策框架，帮助用户选择合适的存储布局策略。 作者：Kushal Kumar Vishwakarma

在湖仓架构的设计中，物理数据存储布局的决策具有至关重要的意义。作者在Delta Lake平台上针对四种不同类型的工作负载，对比了“液态聚类”技术、Z排序算法以及数据分区方案，并发现了两种目前尚未被记录在案的故障模式；这些故障模式很可能会影响当前的实际生产系统运行。同时，作者还提出了一套决策框架，帮助用户选择合适的存储布局策略。

作者：Kushal Kumar Vishwakarma

相关文章

技术实践

如何在问题真正发生之前发现运营中的异常变化？

在 我之前的文章中 ，我探讨了“操作符合性”这一概念：即如何判断观察到的实际情况是否满足既定的操作规范。 这就引出了一个很有意义的问题： 当前这个系统是否仍然符合这些规范？ 然而，生产环境中的系统是不会一成不变的。 流量会发生变化，依赖关系可能会恶化，证书也会过期，配置设置会被修改，功能开关的状态也会改变，数据量会不断增加，人们还会进行手动操作，各种代理程序也会执行相应的动作，基础设施也会被替换等等。 一个系统在部署后可能最初是符合规范的，但几小时或几天后就可能不再符合这些规范了。 这就是我想在这里探讨的问题。 “操作漂移”指的是系统的实际运行状态与既定操作规范之间的差异会随着时间逐渐增大。

阅读全文
技术实践

Pinterest利用事件时间戳来确定那些规模高达拍字节级别的数据分区的划分方式。

Pinterest为其数据库数据摄入框架引入了基于事件时间的划分机制。该机制利用Apache Flink来跟踪事件发生的时间，并通过Apache Iceberg元数据来生成一种不会随时间变化而改变的水印信息，从而帮助后续处理任务判断：持续摄入的CDC数据是否已经达到可以开始处理的完整程度。 作者：Leela Kumili

阅读全文
技术实践

智能代理的可靠性：为工具的使用、安全机制、循环流程以及工作流程的输出结果构建相应的测试框架 [完整书籍]

一个完美的最终结果并不能证明某个具有自主行为能力的人工智能系统的工作流程是正确的。 本书提出了一种基于代码的方法，用于验证系统执行过程及所产生的业务成果，并利用这些证据来决定是否允许该系统正式投入使用。 书中还提供了一个可运行的离线测试工具，用以演示各种核心技术。第19章专门区分了那些已经实现的功能与那些仍处于开发阶段、尚未投入实际应用的扩展功能。 目录 引言 第一部分：可靠性差距 第二部分：基础原理 第三部分：核心结论 第四部分：行为特征 第五部分：跨领域问题 第六部分：决策过程 第七部分：诚实性与普及度 结论 术语表 参考文献 生产就绪性检查清单 引言 那个“虚假的演示” 许多具有自主行为

阅读全文