Netflix正在推动开源版本的Flink自动扩展功能的应用,以便能够支持超过30,000个流处理任务。
Netflix正在将旗下分布在多个AWS区域的3万多项流处理任务迁移至开源工具Apache Flink Autoscaler。这种基于操作员级别的调度机制有效弥补了Netflix原有集群级自动调度系统在处理复杂、具有状态依赖性的数据处理流程时所存在的局限性。据Netflix称,采用这一新方案后,某个团队的年度Flink计算成本降低了58%,每年因此节省约110万美元。 作者:Leela Kumili
Netflix正在将旗下分布在多个AWS区域的3万多项流处理任务迁移至开源工具Apache Flink Autoscaler。这种基于操作员级别的调度机制有效弥补了Netflix原有集群级自动调度系统在处理复杂、具有状态依赖性的数据处理流程时所存在的局限性。据Netflix称,采用这一新方案后,某个团队的年度Flink计算成本降低了58%,每年因此节省约110万美元。作者:Leela Kumili 相关文章
亚马逊网络服务推出了基于规格定义的组件架构,从而实现了灵活的数据处理流程。
AWS提出了一种以规范为导向的方法,通过将数据处理的意图与具体的处理逻辑分离出来,从而构建出灵活的数据工作流程。这种架构采用了声明性的规范、可重用的处理功能,并在执行前进行验证。AWS表示,这种方法能够将数据集的集成时间从数周缩短到几天,同时还能支持数据的可追溯性、版本控制、分类管理以及合规性要求。 作者:Leela Kumili
阅读全文
通过采用服务器驱动型架构,Airbnb将认证代码的长度缩短了60%。
Airbnb重新设计了其认证架构,采用了基于服务器处理的流程以及根据策略来选择相应的认证方式。这一新的“灵活认证系统”使与认证相关的代码量减少了60%,使得网页客户端的大小缩减了100 KB,同时大大提高了认证成功的成功率(成功率提升了2.6%),还有效减少了重复账户的创建现象(重复账户的数量减少了27%),此外,使用一次性密码进行认证所带来的成本也降低了11%。 作者:Leela Kumili
阅读全文
OpenTelemetry的工作原理:一份全面的指南
如果你是一名软件开发人员或DevOps工程师,那么你很可能已经听说过OpenTelemetry。在讨论可观测性、监控或分布式系统的调试时,这个术语经常会被提及。 你可能也知道它的基本定义,但了解OpenTelemetry是什么与真正理解它的运作原理其实是两回事。 读完本指南后,你将能够明白OpenTelemetry是如何从端到端工作的——从请求进入你的应用程序的那一刻起,直到这些数据被显示在可观测性后端系统中。你还会了解到追踪信息、时间跨度、上下文传播机制以及数据导出工具是如何共同构成一个完整的处理流程的。 如果你完全不了解OpenTelemetry,也别担心:接下来的部分会帮助你快速掌握相关
阅读全文
为什么你绝不应该在API请求中包含电子邮件地址
在开发环境中,你的注册接口看起来没有任何问题。用户完成注册后,你会将相关数据保存到数据库中,然后调用邮件服务提供商,并返回状态码 201 Created ,这样用户就会收到欢迎邮件。一切似乎都很顺利。 然而,当生产环境中的请求开始涌入时,问题出现了: 邮件发送接口现在需要2秒钟才能完成响应,而不是原本的200毫秒。因此,有些请求会超时失败。而在邮件服务提供商出现故障的情况下,所有注册请求都会返回状态码 500 。技术支持人员很困惑:为什么用户能够创建账户,但却始终收不到确认邮件链接? 其实问题并不出在你的邮件模板上,而在于你选择将邮件发送处理逻辑放在HTTP请求路径中这一决策。 在这篇文章中,
阅读全文