您好!欢迎来到聚一下资讯网

汇聚最前线的资讯报道,传播正能量,让网民们就可尽知天下事。了解最新热点,就上聚一下资讯网

聚一下资讯网

如何实现现代化的数据架构

发布时间:2020-08-05 12:21:28 编辑:小狐 来源:sohu

在如今这样“快鱼吃慢鱼”的市场环境中,那些数字化颠覆者往往能够利用AI算法、无数据平台、以及不间断分析等创新技术,去彻底颠覆传统的业务模型。同时,Covid-19在全球范围内的大流行,也加速了企业数字化的快速转型,新的服务产品需求也应运而生。因此,为了保持竞争力和敏捷性,服务型企业必须迅速地在现有基础架构上,部署新的数据技术,以推动包括:个性化报价、实时警报、以及预测性维护在内的市场驱动型创新。

如何实现现代化的数据架构(图1)

不过,在实施从流式处理到数据湖(data lakes)分析的过程中,许多企业发现他们现有的数据架构存在着各种历史遗留问题,以至于无法有效地或正确地利用海量数据。因此,为了实现新功能的快速部署,并简化现有的架构方法,企业需要在不影响核心技术栈的情况下,转变或重塑现有的基础架构。下面,我们来具体讨论在此类转变的实施过程中,需要注意的五个方面。

1.转向基于云服务的平台

在对各种完全不同的数据架构进行转型的方面,云服务具有一定的根本性和彻底性。它为企业了一系列快速且可扩展的工具,以及竞争优势上的赋能。云服务能够让企业及时且大规模地获取、部署和运行新的数据架构平台和应用程序。

关键技术:

无的数据平台 – 此类平台使组织能够构建和运行以数据为中心的应用,在赋予无限可扩展能力的同时,消除了现场配置和的工作负载与麻烦,进而降低了成本的支出。这些技术易用性,主要体现在它们可以在数分钟内,而非过去的数周之内,实现部署。这样可以大幅减少了总体业务的开销。

容器化数据解决方案 – Kubernetes技术不但能够使得企业解耦现有的业务、而且能够自动化其他数据存储的部署和计算力。据此,那些具有复杂设置的平台,仍然可以按需进行扩展,以满足业务的需求。

2.从批处理转移到实时处理

实时数据流功能为当前的各种业务应用了动力。例如:来自工厂车间的传感器,可以通过捕获到的实时数据,协助制造商去预测各类维护问题;保险公司可以根据来自智能设备的实时行为数据,去设置个性化的费率;消费者能以秒为单位,准确地跟踪从餐厅到家门口的订餐递送服务。由于云服务降低了数据和计算力的费用,也就大幅降低了实时数据在传输和交付上的成本,此类技术对于各种规模的企业都比较适用。

关键技术:

流分析方案 – 此类不但能够实时、直接地分析,还能够将历史数据与当前进行比较,以通过趋势分析,来生成预测和建议。

3.从商用现货(Commercial Off the Shelf,COTS)升级到定制解决方案

过去在软件选择性匮乏的时代,企业往往可以强势地通过COTS,让用户被动地接受产品。如今随着个性化需求的增长,者不得不转向定制的、高度模块化的数据架构。他们可以从同类开源的组件中选用最受欢迎的一款,并且能够根据实际需求,在不现有业务模式的情况下,进行升级和改造。

关键技术:

基于API的接口 – 在以DevOps方式实施数据管道时,API接口可以让不同的独立团队免受那些无关的复杂因素的影响,进而减少了人为错误的可能性,并加快了产品的面市时间。与此同时,随着需求的变化,他们也能够轻松地更换各类组件。

分析工作台 – 此类服务平台可实现在模块化组件(如:数据库和服务)之间进行端到端的通信。

4.解耦数据访问

通常情况下,API可以帮助我们解除数据访问时的耦合性问题,并能够通过封装,确保对数据进行直接访问和查看时的限制与安全。有了API,我们不但能够实现对通用数据集的快速访问,而且方便了团队之间对于数据的重用,以及高效的无缝协作。

关键技术:

API网关 – 您可以创建和发布以数据为中心的API,进而实现访问控制,实施使用策略,以及衡量服务的性能。

数据缓冲 – 许多组织都会用到某个数据平台,来缓冲核心外部的事务。该平台的实现方式既可以是针对每个团队预期工作负荷的一种数据湖,又可以是基于数据存储架构的一种存储库。

5.转向基于域的数据架构

许多组织不再将所有的企业数据都存储在某个单一的位置,而是会过渡到基于域的架构中,将数据集的所有权转移给使用它们的业务职能团队。此举的好处不但可以让那些业务域的数据能够以一种面向消费的方式推送给用户,而且能够有效地应对不断变化的流动性需求,并遵守持续的法律法规。

关键技术:

数据基础设施即平台 – 此类服务平台了用于存储和通用工具的功能。数据生产者能够快速地实现其数据需求,且无需自行构建平台。

数据分类工具 – 此类工具可以在无需获取完全访问权限的情况下,对数据进行搜索和浏览。该工具的数据目录通常还了对于元数据的定义,简化的界面,以及可以从任何地方访问到数据资产。

如何实现现代化的数据架构

数据和技术领导者需要能够通过快速地评估和部署新的技术,以确保跟上现代化数据创新的步伐。目前,业界有如下三种技术准备与实践,可方便企业构建出数据型组织(data-forward organization)架构:

对于组织而言,“和学习(test-and-learn)”是DevOps的敏捷实践方法。通过尝试不同的组件和概念,我们能够快速地确定出对于本组织行之有效的方法。

DataOps是DevOps针对数据的增强。它有助于加速新组件的设计、和部署,能够方便团队快速地实施变更,并按需方案与文档。

确保获得高级层的支持,并致力于打造积极的数据文化(data-positive culture)据此,技术人员不但能够提高工作效率并简化准备流程,还能够确保数据策略与组织的业务目标相一致。

本文相关词条概念解析:

数据

数据就是数值,也就是我们通过观察、实验或计算得出的结果。数据有很多种,最简单的就是数字。数据也可以是文字、图像、声音等。数据可以用于科学研究、设计、查证等。数据背景是接收者针对特定数据的信息准备,即当接收者了解物理符号序列的规律,并知道每个符号和符号组合的指向性目标或含义时,便可以获得一组数据所载荷的信息。数据作为信息的载体,当然要分析数据中包含的主要信息,及分析数据的主要特征。数据(Data)是载荷或记录信息的按一定规则排列组合的物理符号。

说点什么