Netflix正在推动开源版本的Flink自动扩展功能的应用,以便能够支持超过30,000个流处理任务。
Netflix正在将旗下分布在多个AWS区域的3万多项流处理任务迁移至开源工具Apache Flink Autoscaler。这种基于操作员级别的调度机制有效弥补了Netflix原有集群级自动调度系统在处理复杂、具有状态依赖性的数据处理流程时所存在的局限性。据Netflix称,采用这一新方案后,某个团队的年度Flink计算成本降低了58%,每年因此节省约110万美元。 作者:Leela Kumili
Netflix正在将旗下分布在多个AWS区域的3万多项流处理任务迁移至开源工具Apache Flink Autoscaler。这种基于操作员级别的调度机制有效弥补了Netflix原有集群级自动调度系统在处理复杂、具有状态依赖性的数据处理流程时所存在的局限性。据Netflix称,采用这一新方案后,某个团队的年度Flink计算成本降低了58%,每年因此节省约110万美元。作者:Leela Kumili 相关文章
Meta公司将保密计算技术应用于那些具备私密数据处理功能的智能眼镜中。
Meta已将“私有处理技术”应用于AI眼镜。通过使用加密虚拟机、可信执行环境、远程认证机制、匿名身份验证方式、OHTTP路由技术以及基于TEE技术的存储系统,这些AI眼镜能够在云端处理人工智能相关的工作负载,并保持用户的持久性上下文信息。 作者:Leela Kumili
阅读全文
优步外卖重新优化了搜索流程,从而将端到端的处理延迟时间减少了50%。
Uber对Uber Eats的搜索系统进行了全面改造,最终使得端到端的处理延迟降低了50%。这些改进包括采用新的测量机制、减少数据检索的工作量、实现并行处理、重新设计广告数据的存储与传输方式、优化基础设施配置,以及调整代码编写流程。此外,Uber还在探索使用微批量处理技术、基于产品的数据检索方式以及HTTP多部分数据流传输技术。 作者:Leela Kumili
阅读全文
Meta公司的ZGateway在每秒处理超过10亿次操作时,能够将与ZippyDB的连接延迟减少19倍。
Meta推出了ZGateway这一专为ZippyDB设计的无状态代理服务器。该代理服务器负责集中处理连接管理、流量路由、缓存分配、负载均衡以及访问控制等功能。目前,ZGateway每秒能够处理超过10亿次请求,占ZippyDB总流量的约40%;根据Meta的模型估算,使用该代理后,持久连接的数量将会减少19倍。 作者:Leela Kumili
阅读全文
Dropbox对Riviera内容处理平台进行了升级优化,以支持人工智能相关的工作负载。
Dropbox已将Riviera从一项文件预览服务发展成了一个能够支持300多种文件格式、具备100多种内容处理功能的通用内容处理平台。该平台每秒可执行数十万次内容处理操作,目前支持搜索、回放、签名等功能,其API还允许为人工智能及信息检索相关工作流程实现异步数据提取。 作者:Leela Kumili
阅读全文