Etleap最近推出了Iceberg管道平台,这一全新的托管型数据管道解决方案旨在帮助企业无需构建或维护复杂的定制系统即可采用Apache Iceberg技术。该平台将数据导入、转换、调度以及Iceberg表格操作整合为一个统一的系统,整个系统完全运行在客户的虚拟私有云环境中,从而为数据团队提供了基于Iceberg架构的生产级基础设施。
这一举措有效解决了数据平台管理者们普遍面临的一个问题:虽然Iceberg已成为现代数据湖和数据仓库中常用的表格格式,但它本身并不提供日常运营所需的管道系统。因此,各组织往往需要自行组合使用数据导入工具、dbt作业、调度程序以及定制的维护脚本。据Etleap称,这种分散式的开发方式不仅建设成本高昂,而且难以大规模应用,还会让团队无法专注于创造实际的业务价值。
“Iceberg为企业带来了诸多好处,但要真正将其优势发挥出来,就必须有一个完善的托管型管道系统作为支撑,”Etleap的首席执行官兼创始人Christian Romming说道。“我们的Iceberg管道平台正是为满足这一需求而设计的,它让数据平台团队能够无需自行构建和维护定制管道系统就能采用Iceberg技术。”
Etleap的平台用一个与Iceberg高度兼容的统一系统取代了原有的分散式架构。它将数据导入、建模、调度以及表格生命周期管理等功能整合到一个协调统一的系统中,同时完全运行在客户的云环境中。这样一来,既无需额外的控制层或外部基础设施,又能满足企业对治理结构和安全性的要求。
除了简化操作流程外,该平台还旨在将Iceberg与更广泛的数据生态体系连接起来。团队只需构建一次管道系统,就可以在分析、数据科学、人工智能应用以及数据共享等各种场景中重复使用相同的Iceberg表格。这种方式能够有效避免重复开发,提高数据一致性,并实现跨云环境和不同计算引擎的工作负载迁移,而不会影响性能。
Etleap表示,Iceberg管道平台现已正式上线,已有许多企业正在大规模使用该平台来运行他们的Iceberg相关项目。该公司认为,这一产品的推出有助于企业将Iceberg真正打造成坚实的数据基础,从而消除以往那些阻碍其普及的应用障碍。