← 返回蜂巢洞察

Netflix是如何扩展其实时服务架构的

Netflix详细说明了自己是如何重新设计其实时服务依赖关系映射系统“Service Topology”,以便使其能够支持大规模生产环境的。该系统通过三个阶段来区分数据的中转处理、内容丰富化处理以及持久化存储操作;它将产生的压力反馈给Kafka系统,而不是直接丢弃这些数据;同时,在进行大量内部数据传输时,它使用服务器发送的事件机制,而非gRPC协议。 作者:Eran Stiller

Netflix详细说明了自己是如何重新设计其实时服务依赖关系映射系统“Service Topology”,以便使其能够支持大规模生产环境的。该系统通过三个阶段来区分数据的中转处理、内容丰富化处理以及持久化存储操作;它将产生的压力反馈给Kafka系统,而不是直接丢弃这些数据;同时,在进行大量内部数据传输时,它使用服务器发送的事件机制,而非gRPC协议。

作者:Eran Stiller

相关文章

技术实践

如何在 Cloud Run 上让文件仅被保存几分钟而不是几年

一份打印任务、一次性下载的内容或支持文件,通常只需要在有人使用完它们之后被删除即可。但大多数后端系统仍然会像Google Drive那样存储这些文件:给它们起个名字,不设置过期时间,并在数据库中记录相关信息,以便日后能够检索到这些文件。 本教程将向你介绍我在实际开发中使用的一种简单模式,这种模式适用于处理打印任务。这些原理并不局限于打印领域,你可以将其应用于任何需要临时存储数据的任务:接收数据、短暂保存它们、将它们交给授权的使用者,然后删除它们。 你不会得到一个完整的应用程序,而是会学到一些能够防止数据队列变成一个庞大的文件库的方法。 目录 你将构建什么 你需要什么 一个服务,而不是多个服务

阅读全文
技术实践

在你们解决数据问题之前,医疗领域的人工智能技术是无法正常运行的。

为临床环境开发人工智能其实比看起来要困难得多。这不仅仅意味着需要选择一个合适的模型或调整正确的参数。 当工程师们进入医院这个生态系统时,他们会很快发现:那些在其他行业中被他们广泛使用的工具,在这里往往无法正常使用。临床数据杂乱无章、极其敏感,而且分散在许多不同的系统中。妥善处理这些数据并非可有可无,而是整个系统能否正常运行的基础。 临床数据有多种形式。其中一部分是结构化的数据,比如存储在表格中的实验室检测结果;另一部分则是非结构化数据,比如医生手写的病历被扫描成PDF文件。所有这些数据都受到严格的隐私保护规定的约束,而且每一条数据都可能直接影响患者的诊疗效果。 与电子商务或广告领域不同,在这些

阅读全文
技术实践

光标技术利用S3 WAL机制,使Git存储系统的处理能力提升到每秒可接收超过300次推送请求。

Cursor推出了名为“Continuity”的Git存储架构,该架构以基于S3技术的预写日志作为数据存储的权威来源。这种设计将本地的NVMe仓库转换为缓存系统,并将副本协调机制与数据一致性保障机制分开处理。在模拟测试中,使用S3 Express One Zone时,Cursor能够实现线性扩展——当副本数量达到100个时,每秒仍可完成超过300次数据推送操作。 作者:Leela Kumili

阅读全文
技术实践

Python工作者在Cloudflare上已进入稳定运行阶段,但仍存在关于“冷启动”现象以及上游维护相关问题的疑问。

Cloudflare已经正式推出了基于PEP 783标准开发的Python Workers功能,这些功能是通过Workers connect API来实现的,同时也利用了操作系统中的socket系统调用。不过,该公告并未提供任何关于性能的数据。后来,一位urllib3项目的维护者质疑:究竟是谁在为这些上游开发工作提供支持?而Wasmer的创始人则要求提供有关“冷启动时间”的数据,他引用了Cloudflare之前发布的信息,称冷启动时间约为1.027秒。 作者:Steef-Jan Wiggers

阅读全文