Spotify建立了外部索引，以便能够对其数据湖中的数据进行低延迟查询。
Spotify为Apache Parquet数据湖引入了外部索引架构，这种架构能够在不将数据集复制到生产数据库的情况下实现低延迟的点查询。该方案将查找键与Parquet文件中的行位置对应起来，从而允许从云对象存储中进行有针对性的数据读取；同时，这些数据仍可被用于分析、机器学习、人工智能应用以及在线服务。 作者：Leela Kumili
Spotify为Apache Parquet数据湖引入了外部索引架构，这种架构能够在不将数据集复制到生产数据库的情况下实现低延迟的点查询。该方案将查找键与Parquet文件中的行位置对应起来，从而允许从云对象存储中进行有针对性的数据读取；同时，这些数据仍可被用于分析、机器学习、人工智能应用以及在线服务。
作者：Leela Kumili相关文章
Pinterest利用事件时间戳来确定那些规模高达拍字节级别的数据分区的划分方式。
Pinterest为其数据库数据摄入框架引入了基于事件时间的划分机制。该机制利用Apache Flink来跟踪事件发生的时间，并通过Apache Iceberg元数据来生成一种不会随时间变化而改变的水印信息，从而帮助后续处理任务判断：持续摄入的CDC数据是否已经达到可以开始处理的完整程度。 作者：Leela Kumili
阅读全文
文章：何时应该使用液态聚类技术？对Lakehouse架构布局策略的比较分析
在湖仓架构的设计中，物理数据存储布局的决策具有至关重要的意义。作者在Delta Lake平台上针对四种不同类型的工作负载，对比了“液态聚类”技术、Z排序算法以及数据分区方案，并发现了两种目前尚未被记录在案的故障模式；这些故障模式很可能会影响当前的实际生产系统运行。同时，作者还提出了一套决策框架，帮助用户选择合适的存储布局策略。 作者：Kushal Kumar Vishwakarma
阅读全文
光标技术利用S3 WAL机制，使Git存储系统的处理能力提升到每秒可接收超过300次推送请求。
Cursor推出了名为“Continuity”的Git存储架构，该架构以基于S3技术的预写日志作为数据存储的权威来源。这种设计将本地的NVMe仓库转换为缓存系统，并将副本协调机制与数据一致性保障机制分开处理。在模拟测试中，使用S3 Express One Zone时，Cursor能够实现线性扩展——当副本数量达到100个时，每秒仍可完成超过300次数据推送操作。 作者：Leela Kumili
阅读全文
专题文章系列：智能体驱动的AI架构
在这组文章中，我们试图将“智能代理型人工智能架构”定义为一种新型软件架构，并认为这种架构在未来几年内很可能会主导整个行业的发展。这些由行业专家撰写的文章涵盖了智能代理型人工智能架构的各个要素和方面。我们的目标是呈现当前正在塑造这种新型架构的最新发展趋势与进展，以便人们能够了解它是如何逐渐成为主流技术的。 作者：拉法尔·甘卡茨
阅读全文