能对数据孤岛说再见吗?
2023-04-29 来源:飞速影视
可以说,大数据领域最令人头疼的问题是数据竖井的激增以及对它们进行整合的需求。为了实现业务目标,企业可能需要花费了数十亿美元和数百万小时的人力将不同的数据集拼接在一起,但这似乎永远都不够。
Cinchy公司通过采用一种非常简单的架构,可以避免所有的混乱和痛苦,实现更高的数据生产率。

数据集成可以比作企业的一根刺,随着时间的推移,它可能会变得更大、更痛苦。由于持续的数据爆炸,而每个应用程序都期望拥有自己的数据,这种想法对生产率构成了长期威胁。
数据爆发的巨大负担
当构建一个应用程序时,通常会建立一个应用特定的数据存储。接着就建立了一个特定于应用程序的数据模型,通过一大堆代码来做基本的数据管理、数据持久化和事务。不仅如此,有时候还必须弄清楚如何集成来自其他应用程序的数据,以及如何将数据从自己的应用程序共享到其他需要它的应用程序?
这对每一个应用程序来说都是一个巨大的负担,因此Cinchy构建了Dataware平台,这是一个抽象层,可以称作数据感知层。基本上其他软件不必担心如何存储数据以及存储在哪里。

Dataware平台本质上是把应用程序放到它们自己的位置上,这样它们就不再拥有数据,不再捕获数据和孤立数据。
数据感知再次兴起
数据感知的概念起源于20世纪80年代,当时计算机科学家首次开始考虑将物理数据存储与应用程序分离。
2011年,Derek McAuley、Richard Mortier和James Goulding发表了“数据感知宣言”,其中描述了“数据源的逻辑联盟”,以在面向服务的体系结构(SOA)环境中交付以消费者为中心的数据视图。
然而,由于技术还没有完全准备好,数据量也没有那么大,因此数据感知的概念被搁置了。但如今情况已经发生了变化,这种构思再次获得了支持。
基本数据重新考虑
数据感知平台需要从根本上重新思考数据和应用程序之间的关系。
在Dataware版本中,应用程序不再“拥有”自己的数据。开发人员不再在专用数据库、分布式文件系统或对象存储系统之上构建应用程序。相反,这些应用程序被设计为访问由Cinchy的数据感知平台定义的单一公共数据存储。
把它想象成一个数据连接的网络,就像互联网是一组相互连接的服务一样。连接和连接不需要你创建一个数据副本,只需要引用数据就可以了。其中唯一的限制是访问,访问权限可以被普遍控制。
在数据感知的世界中,仍然有不同的物理数据存储,因为物理定律仍然适用。数据确实需要转移到特定的地理位置,以确保用户获得快速、低延迟的体验。但这些数据存储将不是数据竖井,因为它们通过统一平台链接和管理,比如由Cinchy Dataware平台。
如果你在构建应用程序,你就需要与数据感知层进行持久化、事务化、访问数据、存储数据、更改数据等交互,而不是建立一个特定于应用程序的数据存储。
这样当构建应用程序时,可以根据自己喜欢的协议和格式使用数据感知,基本上可以访问信息、执行事务和修改信息。它们可以执行基本操作,也可以进行复杂的交易。
Dataware自动处理数据的分片,以确保它的安全,处理数据的地理位置,以确保它是可访问的。它维护可用性、冗余、备份和版本控制。
终结数据集成的开始
数据感知的概念需要很长时间才能实现。它不会在一夜之间从根本上改变企业数据架构。那些已经花了数百万美元来建立数据湖和数据仓库,并通过数据管道或ETL工具让它们充满最新数据的组织不会用新的架构取代它们。
Cinchy有超过100个付费客户,包括一些大型公司,如普华永道。那些决定采用数据感知平台的公司明白,要完全实现它的好处需要数年时间。当组织决定采用数据感知方法时,他们这样做不是为了单个业务结果,也不是为了建立单个业务能力,这是他们组织战略的一部分。从本质上改变了对数据角色的看法,把数据真正放在中心。当任何应用程序都可以轻松地访问数据时,关于如何存储和管理数据的细节对如何处理数据的决定不再重要。
Cinchy认为数据感知是解决根本问题的统一方法。为什么有数据仓库、数据集市、数据网格、数据结构和主数据管理等技术,所有这些不同的技术都是针对症状的。然而,如果从不同的角度考虑将来如何设计应用程序,就不需要这些变通办法了。那些还没有建立复杂的数据集成结构的年轻、较小的公司可以从采用数据感知架构中获得最大的好处。
本站仅为学习交流之用,所有视频和图片均来自互联网收集而来,版权归原创者所有,本网站只提供web页面服务,并不提供资源存储,也不参与录制、上传
若本站收录的节目无意侵犯了贵司版权,请发邮件(我们会在3个工作日内删除侵权内容,谢谢。)
www.fs94.org-飞速影视 粤ICP备74369512号