微软为在AKS上运行的AI代理开发的三层大语言模型路由架构
微软发布了用于在Azure Kubernetes Service中路由代理流量的参考架构。该架构将相关问题归纳为三个关键方面:哪种模型会被用来接听电话、电话是如何被管理的,以及由哪块GPU来处理这些通话请求。 作者:Claudio Masolo

微软发布了用于在Azure Kubernetes Service中路由代理流量的参考架构。该架构将相关问题归纳为三个关键方面:哪种模型会被用来接听电话、电话是如何被管理的,以及由哪块GPU来处理这些通话请求。
作者:Claudio Masolo相关文章
Grafana Tempo 3.1版本新增了基于查询的跟踪数据筛选功能,同时还提供了能够考虑采样因素的TraceQL指标统计功能。
Grafana Labs发布了Tempo 3.1版本,这是对3.0架构的首次小型升级。该版本为Kafka客户端添加了TLS协议支持以及额外的SASL认证机制;同时允许操作人员使用TraceQL查询来筛选特定的数据记录,而无需列出所有的追踪ID;此外还引入了一种实验性的功能:在查询时可以自动修正针对采样数据的统计结果。 作者:Claudio Masolo
阅读全文
Meta公司将保密计算技术应用于那些具备私密数据处理功能的智能眼镜中。
Meta已将“私有处理技术”应用于AI眼镜。通过使用加密虚拟机、可信执行环境、远程认证机制、匿名身份验证方式、OHTTP路由技术以及基于TEE技术的存储系统,这些AI眼镜能够在云端处理人工智能相关的工作负载,并保持用户的持久性上下文信息。 作者:Leela Kumili
阅读全文
HashiCorp正式发布了版本号为8.0的Terraform Google Cloud Provider,并已全面开放供用户使用。
HashiCorp宣布,适用于Google Cloud的Terraform插件版本8.0现已正式上市。此次更新主要修改了两种Compute Engine资源的默认负载均衡设置,同时移除了那些与已停止使用的Google Cloud服务相关联的资源。 作者:Claudio Masolo
阅读全文
Docker沙箱工具包规范:将AI代理的相关权限封装成OCI镜像形式
Docker宣布,它将把“沙箱工具包规范”提交给CNCF,其目的是让AI代理能够访问的各种资源具备与代理本身相同的便携性。 作者:Claudio Masolo
阅读全文