← 返回蜂巢洞察

谷歌推出了LiteRT Tensor API,用于帮助开发者构建、定制及优化设备端运行的机器学习模型。

谷歌推出了LiteRT Tensor API,这是一种轻量级的C++接口,它允许开发人员直接为设备上的运行环境构建、定制并优化机器学习模型。据谷歌称,该接口结合了原生模型开发的灵活性与跨平台可移植性。 作者:塞尔吉奥·德·西蒙内

谷歌推出了LiteRT Tensor API,这是一种轻量级的C++接口,它允许开发人员直接为设备上的运行环境构建、定制并优化机器学习模型。据谷歌称,该接口结合了原生模型开发的灵活性与跨平台可移植性。

作者:塞尔吉奥·德·西蒙内

相关文章

技术实践

Cloudflare开发了用于保障后量子时代网络安全的公共证书颁发机构

Cloudflare正在开发用于Merkle Tree Certificates的公共证书颁发机构,以此降低后量子时代密码学应用所带来的带宽开销。在Chrome浏览器中进行的实验表明:对于某些选定的域名而言,当50%的Chrome Beta 146用户使用这种新的Merkle Tree Certificates时,系统性能平均提升了9%。不过,这种技术的广泛普及仍然取决于浏览器的支持情况、相关机制的透明度以及经过大规模生产环境验证后的实际效果。 作者:Leela Kumili

阅读全文
技术实践

使用 Gemini 4 Argon 进行开发——快速掌握 API 相关知识的学习课程

谷歌刚刚推出了Gemini 4 Argon,这是专为复杂推理、高级编程、数学和科学领域设计的功能最为强大的模型。 为了帮助您尽快开始使用该模型,我们已经在 freeCodeCamp.org 的YouTube频道上发布了 Gemini 4 Argon API快速入门教程 。只需10分钟的时间,您就能学会如何使用JavaScript与这个模型进行交互,引导它的推理过程,并构建实际的应用程序。 您将学习到以下关键概念: 可配置的思维强度等级 了解如何将模型的推理能力设置为低、中或高三种级别,从而确保只消耗满足特定任务需求所需的计算资源。 previous_interaction_id 支持的多轮对话

阅读全文
技术实践

高速决策流程:从零开始构建的Jev算法以及仅用于预填充数据的推理机制

自回归机制用于生成标记通常速度较慢,且耗费大量内存。尤其是当你只需要模型来进行结构化的分类或路由决策,而不是生成整段文本时,这种方法的局限性更为明显。 为了帮助工程师们克服这些限制,freeCodeCamp刚刚发布了 Jev课程:从零开始学习仅基于预填充数据的推理与决策模型 这一教学资源。 这份深入的PyTorch教程会指导你构建那些运行速度极快、以决策为核心功能的系统架构,这些系统能够完全在预填充数据阶段完成对输入数据的处理。 你将学到什么 仅基于预填充数据的架构 学习如何消除逐个标记解码的环节,从而让系统能够直接根据提示信息进行超低延迟的分类与操作。 编码器与解码器的设计 从零开始使用Py

阅读全文
技术实践

DoorDash利用人工智能技术,将商品重新订购的延迟时间从16秒缩短到了2秒。

通过使用批量大语言模型进行预计算,并通过确定性验证来预测用户重复购买的需求,DoorDash将商品重新订购的延迟时间从16秒减少到了2秒。实时更新的的商品目录确保了用户选择的商品信息始终是最新的,而可编辑的购物界面则避免了不必要的模型调用。该公司表示,用户的购物清单查看次数增加了一倍,订单生成效率也提高了大约34%。 作者:Leela Kumili

阅读全文