← 返回蜂巢洞察

Spotify建立了外部索引，以便能够对其数据湖中的数据进行低延迟查询。

栏目 技术实践
分类 大数据
标签 parquet leela 架构 数据 生产

Spotify为Apache Parquet数据湖引入了外部索引架构，这种架构能够在不将数据集复制到生产数据库的情况下实现低延迟的点查询。该方案将查找键与Parquet文件中的行位置对应起来，从而允许从云对象存储中进行有针对性的数据读取；同时，这些数据仍可被用于分析、机器学习、人工智能应用以及在线服务。 作者：Leela Kumili

Spotify为Apache Parquet数据湖引入了外部索引架构，这种架构能够在不将数据集复制到生产数据库的情况下实现低延迟的点查询。该方案将查找键与Parquet文件中的行位置对应起来，从而允许从云对象存储中进行有针对性的数据读取；同时，这些数据仍可被用于分析、机器学习、人工智能应用以及在线服务。

作者：Leela Kumili

相关文章

技术实践

大规模产品实验：Airbnb、Netflix、Lyft和Uber是如何针对基于大语言模型的AI功能进行因果分析的

对于基于大语言模型的AI功能而言，因果推断已不再是理论上的概念。Airbnb、Netflix、Lyft和Uber都发布了详细的工程博客文章，详细说明了他们是如何衡量产品变更对用户行为的因果影响的。 他们所使用的技术方法（如差异分析法、回归不连续性分析以及双重稳健估计等）都是标准工具。 值得关注的是，这些团队是如何在大规模应用中运用这些技术的：在哪些情况下这些方法在实际操作中会失效，他们又是如何通过补充措施来确保估算结果的可靠性，以及他们是如何将这些数据与实际的产品决策联系起来的。 如果你正在开发基于大语言模型的功能，并且是根据用户点赞率和会话时长来做出产品决策的，那么这些文章一定会改变你对测量

阅读全文
技术实践

人工智能评估工程：从零开始构建一款可用于生产环境的大型语言模型评估平台【完整使用手册】

一个令人印象深刻的演示与一个值得信赖的系统之间的差距，其实是通过各种评估来衡量的。 我想先讲一个目前正在数百个工程团队中发生的真实案例。 有一个团队为法律研究开发了一个RAG应用程序。他们用40个精心挑选的问题对该程序进行了测试，结果看起来很不错，于是便向合作方展示了这个系统。合作方对它印象深刻，随后便决定将其正式投入使用。 然而在系统投入生产三周后，一名法律助理发现其中一个答案错误地引用了某项法规。工程团队查看了相关数据，发现“准确性得分”为0.91，这个数值看起来是正常的；他们还检查了答案的相关性，结果也符合标准。 但他们忽略了一个重要的指标：即“上下文完整性”。这个指标用于判断系统是否检

阅读全文
技术实践

在大型语言模型应用中，当你的两个模型都出现错误时，如何通过双重鲁棒性估计方法来进行产品测试与优化？

六个月前，你们推出的这款人工智能产品开始采用“用户主动选择参与”的模式。你们进行了倾向性分析，并考虑了用户的参与程度以及查询的准确性等因素，最终发现任务完成率确实提高了8个百分点。这一数据被纳入了季度业务报告中，大家都对此感到满意。 然而，严谨的数据科学家难免会提出一些棘手的问题：你们有多确定这个倾向性模型已经考虑到了所有可能影响结果的因素？如果遗漏了某些因素，那么逻辑回归模型得出的选择概率就会不准确；又或者，如果结果回归模型的设定本身就有误——因为任务完成率与查询准确性之间的关系并非线性的，线性模型根本无法准确反映这一关系——那又会怎样呢？ 你们有两个模型，但并不确定哪个是正确的，而这两个模

阅读全文