← 返回蜂巢洞察

微软为在AKS上运行的AI代理开发的三层大语言模型路由架构

微软发布了用于在Azure Kubernetes Service中路由代理流量的参考架构。该架构将相关问题归纳为三个关键方面:哪种模型会被用来接听电话、电话是如何被管理的,以及由哪块GPU来处理这些通话请求。 作者:Claudio Masolo

微软发布了用于在Azure Kubernetes Service中路由代理流量的参考架构。该架构将相关问题归纳为三个关键方面:哪种模型会被用来接听电话、电话是如何被管理的,以及由哪块GPU来处理这些通话请求。

作者:Claudio Masolo

相关文章

技术实践

Grafana Tempo 3.1版本新增了基于查询的跟踪数据筛选功能,同时还提供了能够考虑采样因素的TraceQL指标统计功能。

Grafana Labs发布了Tempo 3.1版本,这是对3.0架构的首次小型升级。该版本为Kafka客户端添加了TLS协议支持以及额外的SASL认证机制;同时允许操作人员使用TraceQL查询来筛选特定的数据记录,而无需列出所有的追踪ID;此外还引入了一种实验性的功能:在查询时可以自动修正针对采样数据的统计结果。 作者:Claudio Masolo

阅读全文