Netflix是如何扩展其实时服务架构的
Netflix详细说明了自己是如何重新设计其实时服务依赖关系映射系统“Service Topology”，以便使其能够支持大规模生产环境的。该系统通过三个阶段来区分数据的中转处理、内容丰富化处理以及持久化存储操作；它将产生的压力反馈给Kafka系统，而不是直接丢弃这些数据；同时，在进行大量内部数据传输时，它使用服务器发送的事件机制，而非gRPC协议。 作者：Eran Stiller
Netflix详细说明了自己是如何重新设计其实时服务依赖关系映射系统“Service Topology”，以便使其能够支持大规模生产环境的。该系统通过三个阶段来区分数据的中转处理、内容丰富化处理以及持久化存储操作；它将产生的压力反馈给Kafka系统，而不是直接丢弃这些数据；同时，在进行大量内部数据传输时，它使用服务器发送的事件机制，而非gRPC协议。
作者：Eran Stiller相关文章
大规模产品实验：Airbnb、Netflix、Lyft和Uber是如何针对基于大语言模型的AI功能进行因果分析的
对于基于大语言模型的AI功能而言，因果推断已不再是理论上的概念。Airbnb、Netflix、Lyft和Uber都发布了详细的工程博客文章，详细说明了他们是如何衡量产品变更对用户行为的因果影响的。 他们所使用的技术方法（如差异分析法、回归不连续性分析以及双重稳健估计等）都是标准工具。 值得关注的是，这些团队是如何在大规模应用中运用这些技术的：在哪些情况下这些方法在实际操作中会失效，他们又是如何通过补充措施来确保估算结果的可靠性，以及他们是如何将这些数据与实际的产品决策联系起来的。 如果你正在开发基于大语言模型的功能，并且是根据用户点赞率和会话时长来做出产品决策的，那么这些文章一定会改变你对测量
阅读全文
如何使用JavaScript构建基于浏览器的PDF过滤工具开发环境
PDF编辑并不仅限于添加签名或合并文档。有时，你只是想通过增加亮度、提升对比度、添加模糊效果、将其转换为灰度图，或者应用一些创意视觉效果来改善PDF的外观——而这一切都不需要打开Photoshop或安装任何桌面软件。 在这个教程中，你将使用JavaScript、PDF.js、Canvas API以及PDF-lib构建一个基于浏览器的PDF过滤器工具。用户可以上传PDF文件，预览每一页，叠加多个过滤层，应用预设效果，处理选定的页面，预览最终结果，重新命名文件，然后直接从浏览器中下载编辑后的PDF。 由于所有操作都在用户的设备上本地进行，因此上传的PDF文件永远不会离开用户的设备，这使得这个工具既
阅读全文
Spotify建立了外部索引，以便能够对其数据湖中的数据进行低延迟查询。
Spotify为Apache Parquet数据湖引入了外部索引架构，这种架构能够在不将数据集复制到生产数据库的情况下实现低延迟的点查询。该方案将查找键与Parquet文件中的行位置对应起来，从而允许从云对象存储中进行有针对性的数据读取；同时，这些数据仍可被用于分析、机器学习、人工智能应用以及在线服务。 作者：Leela Kumili
阅读全文
人工智能评估工程：从零开始构建一款可用于生产环境的大型语言模型评估平台【完整使用手册】
一个令人印象深刻的演示与一个值得信赖的系统之间的差距，其实是通过各种评估来衡量的。 我想先讲一个目前正在数百个工程团队中发生的真实案例。 有一个团队为法律研究开发了一个RAG应用程序。他们用40个精心挑选的问题对该程序进行了测试，结果看起来很不错，于是便向合作方展示了这个系统。合作方对它印象深刻，随后便决定将其正式投入使用。 然而在系统投入生产三周后，一名法律助理发现其中一个答案错误地引用了某项法规。工程团队查看了相关数据，发现“准确性得分”为0.91，这个数值看起来是正常的；他们还检查了答案的相关性，结果也符合标准。 但他们忽略了一个重要的指标：即“上下文完整性”。这个指标用于判断系统是否检
阅读全文