考虑到技术变化的速度, 我们认为, 要求 it 高管分享他们对2018年最大惊喜的想法以及对2019年的预测将是有趣的。以下是他们告诉我们的大数据:
mike vogt, 数据实践主管, spr
尽管今年很晚, 但霍顿工厂和克口德拉的合并让 2 0 1 8年感到意外。我们看到了从 hadoop 到数据湖的更大转变, 因为 hadoop 科学实验的数量没有显示出显著的商业价值或投资回报率。第一个 hadoop 集群于2006年1月28日在雅虎上线, 这代表了处理 “大数据” 能力的转型转变。虽然在2006年是一项伟大的创新, 但 hadoop 还带来了复杂的组件基础设施, 在许多情况下, 这对不处理互联网规模数据的企业来说是一个复杂的操作。除了希望拥有一个具有可预测成本的更简单的基础架构外, 将 python 作为通用数据语言的转变增加了数据湖的采用, 并得到 spark 数据管道的支持。
另一个令人惊讶的是, 将云服务 (如 azure、aws 和 gcp) 加速采用, 用于数据存储和数据管道。paas 产品尤其如此, 它解决了运营成本、上市时间和业务敏捷性等问题。
2019年, 这种加速采用数据湖和元数据的情况只会增加。具体而言, 这将包括元数据, 这些元数据将提供支持价值主张和为各项举措带来战略价值所需的关键背景信息。
这是很好的数据, 可以便宜地存储, 移动很快, 但如果没有信任, 信任是可能的, 而信任是通过元数据实现的, 更广泛地说, 是通过数据治理实现的, 预测和规定性模型肯定达不到战略信息资产的程度答应。此外, 在廉价云存储和基于 spark 的管道的支持下, 数据湖将继续在传统 hadoop 实现的基础上获得重要地位。
最后, 在数据湖、元数据和适当数据治理信息激增的推动下, 主流企业将继续采用机器学习。
丹·波特, 产品管理和营销副总裁,风信子
霍顿工厂和云德拉的合并让很多业内人士感到震惊。在强大的大数据和分析市场上, 两个直接竞争对手与非常多样化的商业模式走到一起, 并没有想到。有趣的是, 这种组合–开源 hadoop 大数据平台、数据仓库和 ai/ml 平台–将如何在2019年发挥出来, 以及整合对这一领域的其他玩家意味着什么。
dataops 是一种更加协作的数据管理实践, 在 it 领导者看来将变得更加重要, 因为它专注于改善业务经理和数据 it 团队之间实时数据负载的通信、集成和自动化。与 devops 如何改变应用程序的开发和测试方式类似, dataops 将彻底改变数据共享、集成和提供的方式, 从而形成更灵活、更高效的方法。使用 dataops 策略, 企业将能够移动数据并使用数据以变化的速度运行, 以保持高度的竞争力。
此外, 企业开始了解实时数据管道的价值, 在这些管道中, 源数据更改将流式传输到数据湖中, 并自动处理数据和元数据更改的合并, 以获得更高的恢复能力。数据湖现在成为一种更有价值的资源, 可以为不同的业务用户和需求提供可用于分析的子集linkedn. comn/inneil-barton-1829791/”target =” _ black “> neil barton, cto, 其中scape
企业领导人经常谈论投资新项目的 “价值时间”。我们在2018年看到的趋势之一是, 这如何蔓延到组织如何利用数据。2018年是这一关注的一年, 关注的是自动化及其对 it 团队的相关效率效益。
进一步消除发展进程中的手册、重复内容将是2019年的一个更重要的优先事项。随着业务速度的不断提高, 组织必须缩短释放数据价值所需的时间。自动化就是这样做的, 另外还使公司能够将宝贵的开发人员资源从常规的数据基础架构管理流程转移到增值任务上, 例如提供新的解决方案和服务, 从而更好地指导业务。
dale kim,高级董事, 产品/解决方案, arcadia data
今年让人意外的明显选择是宣布将 cloudera 和 hortonworks 合并, 因为我们很多人都认为每个公司都是一家长期可行的上市公司。另外, 一个很大的惊喜是, 正如分析师调查中所看到的, 业务团队从他们的现代数据架构中获得了多少分析成功。这些部署正被数据科学家和数据工程师所使用, 非技术用户越来越多地从中获得价值。
我们预计围绕分析处理会出现更清晰的类别, 因此我们仍然不会广泛谈论 ai、ml 和 bi。相反, 组织将追求特定的领域, 如 “数据湖 bi” 和 “基于微服务的 ml”, 这些领域需要新的和有区别的创新。