Canva分享了其基于S3架构的技术方案,该方案能够用于撤销数亿次会话中的会话信息。
Canva对会话撤销机制的基础设施进行了重新设计,使其能够在支持多达1亿个活跃会话的同时减少数据库查询次数。该架构使用Amazon S3来存储持久性的撤销记录,并将紧凑型内存索引分发到应用程序网关中。Canva表示,这种设计提高了部署速度,降低了对数据库基础设施的需求,同时还将撤销缓存所需的内存占用量减少了87.5%。 作者:Leela Kumili
Canva对会话撤销机制的基础设施进行了重新设计,使其能够在支持多达1亿个活跃会话的同时减少数据库查询次数。该架构使用Amazon S3来存储持久性的撤销记录,并将紧凑型内存索引分发到应用程序网关中。Canva表示,这种设计提高了部署速度,降低了对数据库基础设施的需求,同时还将撤销缓存所需的内存占用量减少了87.5%。作者:Leela Kumili 相关文章
Cloudflare从1.1.1.1这个DNS缓存服务中削减了100TB的内存容量
Cloudflare重新设计了自己用于存储Big Pineapple DNS缓存数据的内存结构,使得每个缓存项所占用的内存空间减少了56%,从而使其所有服务器总共节省了约100 TB的工作内存。这些基于Rust语言进行的改进还使缓存的插入速度提高了43%,查询延迟降低了19%;同时,Cloudflare能够在不增加额外内存的情况下提升其缓存容量。 作者:Leela Kumili
阅读全文
Pinterest利用事件时间戳来确定那些规模高达拍字节级别的数据分区的划分方式。
Pinterest为其数据库数据摄入框架引入了基于事件时间的划分机制。该机制利用Apache Flink来跟踪事件发生的时间,并通过Apache Iceberg元数据来生成一种不会随时间变化而改变的水印信息,从而帮助后续处理任务判断:持续摄入的CDC数据是否已经达到可以开始处理的完整程度。 作者:Leela Kumili
阅读全文
谷歌采用Pyrefly来提升Python类型检查的速度与准确性
谷歌已将其长期使用的Python类型检查工具Pytype替换为Pyrefly——这款开源工具最初是由Meta开发的。做出这一决定,主要是因为Pyrefly具有诸多优势:它的类型检查速度更快、准确性更高,同时还能降低基础设施维护成本。 作者:Sergio De Simone
阅读全文
人工智能数据中心的架构构成
像GPT-4和Claude这样的人工智能模型,需要庞大的、结构极其复杂的物理基础设施来支持其运行。我们刚刚在freeCodeCamp.org的YouTube频道上发布了一门全新的课程,这门课程会带你深入了解那些为人工智能革命提供动力的数据中心。 这门课程详细追踪了电力从电网传输到最终被用于执行矩阵运算的GPU这一整个过程。 该课程全面解析了人工智能数据中心的构成原理,向你讲解以下内容: 高压电力分配网络及备用系统是如何将稳定的电力输送到服务器机柜中的。 为防止庞大的GPU集群出现过热现象,先进的水冷系统以及全球性的散热机制是如何发挥作用的。 在模型训练和推理过程中,成千上万的芯片之间需要通过复
阅读全文