AI前线导读:eBay使用Teradata已经有二十年的历史,这个数仓系统中积累了60PB数据和上万张核心表,他们支撑着eBay最核心的商务逻辑和站点功能。从今年开始,eBay开始将这个庞大的数仓由Teradata向Spark做迁移,使用eBay自己开发的工具,迁移过程中90%的工作都可以由自动化完成。与此同时,研究人员通过优化Spark框架,节省了一半的内存。

正所谓“数据迁移无小事”,是什么痛点促使eBay决定要启动数据仓库迁移这项工作?eBay在数据仓库迁移的过程中做了哪些尝试?又得到了哪些经验和教训?为了进一步了解eBay将数据仓库从Teradata迁移到Spark过程中的实践和经验,InfoQ与eBay大数据架构师俞育才聊了聊。

Comments are closed.