演讲主题：大规模应用大型语言模型：隐藏在背后的KV缓存优势
Khawaja Shams从分布式系统的角度探讨了如何高效地扩展大语言模型推理系统的规模。他介绍了优化GPU利用率、应对KV缓存内存使用瓶颈、利用分层存储技术、减少延迟以及采用分散式预填充与解码架构等方法，从而提升整体系统性能、降低成本并提高系统的可用性。 作者：Khawaja Shams
Khawaja Shams从分布式系统的角度探讨了如何高效地扩展大语言模型推理系统的规模。他介绍了优化GPU利用率、应对KV缓存内存使用瓶颈、利用分层存储技术、减少延迟以及采用分散式预填充与解码架构等方法，从而提升整体系统性能、降低成本并提高系统的可用性。
作者：Khawaja Shams相关文章
Netflix的Titus系统为容器提供了单租户虚拟机隔离功能。
Netflix推出了名为“Titus”的单租户模式：这种模式会在规模适当的EC2实例上单独运行一个任务。计算/平台团队仍然负责这些宿主系统的维护及补丁更新，因此各应用开发团队可以继续使用原有的API和部署流程。 作者：Claudio Masolo
阅读全文
演讲主题：梯子缺少了一些横档——当人工智能占据了中间环节时，工程发展的进程将会发生怎样的变化？
Alasdair Allan探讨了METR与Anthropic针对人工智能编码应用情况所进行的实证研究。他解释了“监督悖论”这一现象：对人工智能工具的依赖会阻碍初级开发人员的技能成长，可能导致相关制度框架的失效，进而威胁到有效管理自主系统所需的长期发展机制。 作者：Alasdair Allan
阅读全文
Cloudflare通过优化一致性哈希算法，释放出了100TB的RAM内存资源
Cloudflare最近公布了自己是如何通过优化pingora-ketama项目中Rust语言实现的均匀哈希算法，从而将其内部负载均衡服务所需占用的内存空间减少了100TB以上的。这些改进措施优化了哈希环的数据结构，并利用对哈希分布规律及冲突发生频率的统计分析，使每个后端服务器所需的哈希计算量减少了约90%。 作者：Renato Losio
阅读全文
谷歌利用Gemini 4 Argon技术，在一夜之间优化了Agent Development Kit中那包含20万行代码的Python代码库。
谷歌解释了为何让Gemini 4 Argon在无人值守的状态下运行11个小时后，能够为Google Agent Development Kit的代码库带来两项有益的优化结果：这些优化使得在长时间运行的场景中，内存中用于会话准备的资源占用量减少了约40%；同时，程序包的导入速度也加快了21%。 作者：Sergio De Simone
阅读全文