技术实践
播客：利用llm-d、Wasm及TornadoVM在Kubernetes上实现分布式大语言模型推理
在这一集中，Edoardo Vacchi探讨了后端环境中WebAssembly的发展趋势，介绍了如何使用TornadoVM在GPU上运行Java应用程序，以及如何利用llm-d和vLLM在Kubernetes平台上优化分布式人工智能推理任务。Edoardo还解释了llm-d是如何管理缓存机制（包括键值缓存及前缀缓存）、请求路由机制，以及如何在多个Kubernetes集群之间进行批量推理运算，从而最大限度地提高GPU资源的利用率。 作者：Edoardo Vacchi
llm 推理 缓存