← 返回蜂巢洞察

文章:代理机制的演变:从链条到图结构,再到代码形式

具有自主能力的大语言模型系统已经从线性提示链发展为基于图的结构,最近更是发展出了能够执行代码的框架。线性提示链结构虽然简单,但可靠性较低;而基于图的结构则能够实现分支处理、重试机制以及验证功能;代码执行框架则通过实际运行来检验模型的输出结果。文章建议应对模型输出进行严格验证,并选择在可靠性、速度和成本方面都能满足要求的、设计最为简洁的方案。 作者:Karthik Ramgopal

具有自主能力的大语言模型系统已经从线性提示链发展为基于图的结构,最近更是发展出了能够执行代码的框架。线性提示链结构虽然简单,但可靠性较低;而基于图的结构则能够实现分支处理、重试机制以及验证功能;代码执行框架则通过实际运行来检验模型的输出结果。文章建议应对模型输出进行严格验证,并选择在可靠性、速度和成本方面都能满足要求的、设计最为简洁的方案。

作者:Karthik Ramgopal

相关文章

技术实践

谷歌的反重力SDK增加了对本地模型的支持,从而提高了令牌使用的效率并增强了代码的隐私性。

谷歌在Antigravity SDK中加入了对本地模型的支持,这使得开发人员能够在自己的机器上直接构建和运行相关工作流程,同时也可以灵活地结合基于云的模型来处理更高级的任务。这种设计为开发人员提供了更大的控制权,使他们能够更好地管理数据隐私、推理成本、网络依赖性以及计算工作负载的分配。 作者:Sergio De Simone

阅读全文
技术实践

Cloudflare的自动路由系统会根据最近一次的路由情况,为每一项请求分配相应的优先级。

Cloudflare通过AI Gateway推出了Auto Router公测版本:该系统会根据每个请求的复杂性、模糊性、重要性以及上下文相关性,从相应的分类模型中选择合适的模型来处理该请求。根据Cloudflare自己的测试数据,Auto Router在成功率方面比Claude Opus 5.5低10个百分点,但其成本仅为后者的三分之一;此外,实际使用者也提出了这样的疑问:在较长的交互过程中,这些因素如何能够保持有效性。 作者:Steef-Jan Wiggers

阅读全文
技术实践

演讲主题:快速行动,切勿辜负信任:与人携手共进,持续推动发展

Suhail Patel介绍了Monzo是如何构建其软件工程组织架构及技术体系的,这些机制使得系统能够每天安全地运行数百次。他还分享了自己对于微服务抽象模型、基于租户环境的测试环境配置、静态代码分析工具以及持续性能监控工具的看法,说明了一个强大的内部技术平台如何帮助工程师和大型语言模型快速进行迭代开发,同时确保系统的可靠性不受影响。 作者:Suhail Patel

阅读全文
技术实践

什么是模型蒸馏?开发者指南

随着时间的推移,知识以多种形式被传承下来。在古代美索不达米亚(今天的伊拉克)文字尚未被发明之前,法律、历史、神话、歌曲等各种信息都是通过口耳相传的方式从一代人传到另一代人的。这种传播方式要么是通过具体的指示来进行,要么是通过讲故事来实现的——尤其是那些民间传说以及发生在很久以前的事件。 但另一种常见的知识传递方式就是师徒之间的传授,无论是正式的还是非正式的。我们在历史上也能看到这样的例子:《圣经》记载,耶稣有十二个门徒,在他开始传道直到去世的这段时间里,每天都教导他们。苏格拉底教导柏拉图,而柏拉图又在雅典创立了一所学堂,并在那里教导亚里士多德长达二十年。亚里士多德在科学、逻辑学和政治学领域取得

阅读全文