← 返回蜂巢洞察

演讲主题:将工作流程编译成数据库:这种本应无法实现但却实际可行的架构

Jeremy Edberg与Qian Li探讨了为什么外部协调工具会降低系统的可靠性,以及如何利用现有的数据库来实现可靠的数据处理流程。他们介绍了DBOS Transact是如何利用标准表格、SKIP LOCKED队列以及唯一的主键来管理那些复杂且具备容错能力的人工智能工作流程的——这些机制能够在将延迟降到最低的同时,完全避免额外分布式系统所带来的运营开销。 作者:Jeremy Edberg, Qian Li

Jeremy Edberg与Qian Li探讨了为什么外部协调工具会降低系统的可靠性,以及如何利用现有的数据库来实现可靠的数据处理流程。他们介绍了DBOS Transact是如何利用标准表格、SKIP LOCKED队列以及唯一的主键来管理那些复杂且具备容错能力的人工智能工作流程的——这些机制能够在将延迟降到最低的同时,完全避免额外分布式系统所带来的运营开销。

作者:Jeremy Edberg, Qian Li

相关文章

技术实践

演示主题:如何通过一份数据同时完成从S3存储系统到GPU的计算任务——重新思考用于机器学习训练的数据加载方式

Onur Satici详细解释了如何利用Vortex这一由Linux基金会推出的开源列式文件格式来彻底改变高吞吐量数据加载的方式。他说明了如何通过层叠式的轻量级编码技术、基于文件结构的数据分段优化机制以及零拷贝内存传输技术,消除CPU与NVMe之间的性能瓶颈,从而让S3存储中的数据能够以高达60 Gbps的速度直接传输到GPU上,而无需在进行任何预处理操作。 作者:Onur Satici

阅读全文
技术实践

演讲主题:在边缘设备上运行人工智能技术:直接在浏览器中执行实际工作负载

詹姆斯·霍尔探讨了将人工智能相关工作负载从云服务提供商迁移至本地边缘设备的战略意义与技术可行性。他介绍了如何利用WebGPU、Transformers.js以及DuckDB等工具,在JavaScript环境中实现接近原生应用的性能表现。通过实际案例分析,他还说明了如何有效降低数据隐私风险、优化浏览器中的推理流程,并构建完善的评估体系。 作者:詹姆斯·霍尔

阅读全文
技术实践

DoorDash的Flux系统通过基于云技术的代理程序来处理多达13万项工程任务。

DoorDash已将工程代理的工作负载从开发人员的笔记本电脑转移到了其Flux云平台上。该平台在一个月内自动化处理了130,000项工程任务,每周还能支持超过25,000次自动化的代码审查流程。Flux利用隔离式的Firecracker微虚拟机、MCP网关、可重复使用的脚本以及多种调用机制来运行这些代理工作流程,同时确保这些流程具备受限的访问权限,并能实现集中式的审计功能。 作者:Leela Kumili

阅读全文