定义的数据迁移
数据迁移只是将数据从源系统移动到目标系统的过程。公司有许多不同的原因来迁移数据。当您收购其他公司时, 您可能需要迁移数据, 并且需要集成该公司的数据。或者, 您可能希望集成公司内不同部门的数据, 以便在整个业务中提供数据。您可能希望将数据从内部部署平台移动到云平台。或者, 您可能正在从过时的数据存储系统转移到新的数据库或数据存储系统。数据迁移的概念很简单, 但有时可能是一个复杂的过程。
数据迁移挑战
数据迁移是业务的必要组成部分, 但许多公司发现迁移的以下方面是一个挑战。
数据清理.数据可能有不同的格式, 来自不同的来源, 包括 rdbms、其他类型的数据库、s3 存储桶、csv 或来自流。由于数据来自不同的位置, 因此需要对其进行清理、规范化或转换, 使您能够与来自其他源的数据一起对其进行分析。
规划数据模型.在迁移过程中, 您可能需要更改数据模型。您可能会从内部部署数据仓库迁移到基于云的数据仓库, 或者从关系数据移动到混合结构化和非结构化数据。或者, 您甚至可以简单地将数据从一个关系数据库移动到另一个关系数据库。
保安.在迁移期间和迁移后, 安全性至关重要。此外, 如果要迁移敏感数据, 则需要满足合规性要求, 在迁移过程中很难支持这些要求。
迁移数据的方法
有许多不同的方法可用于迁移数据。
导出和导入。导出和导入时, 将以中性格式 (如 csv (逗号分隔值) 文件) 导出数据, 然后修改文件, 使其在导入目标数据库之前达到预期格式。这是最慢的数据迁移方法, 因为更改数据类型和结构的工作必须由数据科学家手动完成。
脚本编写。在这种情况下, 您将编写一个脚本, 将数据转换为适合目标数据仓库或存储的格式。这比手动导出和导入的过程要快, 但这仍然是一个非常繁琐的过程, 因为您可能需要为每个源和目标编写不同的脚本。
使用传统的 etl 工具。您可以使用第三方 etl 工具来移动数据。etl 工具旨在有效地提取、转换和加载数据。这些工具是为了将来自多个源的数据加载到各种目标中而构建的, 它们旨在处理大量数据。但是,并非所有 etl 工具都是平等构建的。许多数据需要分批移动, 并且主要为关系数据库设计, 而现在的许多数据源是非结构化的。此外, 它们通常对数据有非常严格的规则和期望, 如果架构、源或目标中的某些内容发生更改, 则会强制您重新处理所有数据。
使用现代 etl 工具。现代 etl 工具可以实时处理数据, 而不是成批处理数据。它们具有足够的灵活性来处理一系列源和目标, 并且可以动态修改映射以适应公司需求的变化。此外, 它们还可以根据不断变化的吞吐量进行向上或向下扩展