千万级大数据治理架构却只用6步管理!100%复用

时间: 作者: 点击量:

企业数据其实是资产,那如何让资产产生作用,这是一门大学问。

主数据管理是数据资产管理最重要和核心的内容,本文通过“一平台、两体系、三性特征、四个统一、五个超越、六类服务 ”应用场景,比较体系化详尽的介绍主数据治理、共享和应用全过程。

主数据管理要点概览

主数据是数据之源,是数据资产管理的核心,是信息系统互联互通的基石,是信息化和数字化的重要基础。

千万数据却只用6步管理!这套数据治理架构如何100%复用?

 

1)一平台:搭建一个一体化数据治理和共享平台;

2)两体系:建立两个体系(数据标准体系和保障体系);

3)三性特征:确保主数据三性特征(唯一性、准确性、共享性);

4)四个统一:达到四个统一(统一标准、统一来源、统一接口、统一服务);

5)五个超越:实现五个超越(超越部门、超越流程、超越主体、超越系统、超越技术);

6)六类服务:提供六种数据服务(数据订阅/分发服务、主数据查询/申请服务、数据调用API服务、公共数据资源池、数据资源服务、数据即时服务)。

一、一体化数据治理、共享和应用详解

1.1 一平台

建立企业级的、一体化的数据治理和共享平台,确保数据资源中心的数据质量和安全管理。详细功能描述可以参照数据治理平台工具前世今生。

千万数据却只用6步管理!这套数据治理架构如何100%复用?

 

基于Spring boot框架, 引入Eureka、Zuul、Feign、Ribbon等Spring cloud相关组件,形成微服务解决方案,前端页面应用服务实现前后端分离。

千万数据却只用6步管理!这套数据治理架构如何100%复用?

 

云计算为数据管理工具提供了能够满足“共享服务”功能的新的架构模式,采用微服务技术满足数据管理工具的高可用性、稳定性和易用性。人工智能够主数据清洗提供了自动化思路,利用自然语言处理及数据标准库提升数据质量。

基于统一技术架构、统一指标数据驱动的元数据(业务元数据、管理元数据、技术元数据等)、统一治理工具、统一安全管控,通过不同的模块组合,形成不同的数据服务和治理解决方案;

千万数据却只用6步管理!这套数据治理架构如何100%复用?

 

二、两个体系

2.1 数据管理体系

千万数据却只用6步管理!这套数据治理架构如何100%复用?

 

数据管理体系包含:数据标准管理体系、数据管控体系、数据技术服务体系、数据质量要求、数据安全要求等。

2.2 数据运维体系

建五位一体数据运维服务体系,加强应用推广的组织和培训指导,有序推进数据共享、应用

千万数据却只用6步管理!这套数据治理架构如何100%复用?

 

三、主数据三性特征

3.1 唯一性

在一个系统、一个平台,甚至一个企业范围内,主数据实体要求具有唯一标识即数据编码,同名同义,保证同一个对象在应用的唯一性,如:统一员工和组织主数据,对所有系统的员工和组织进行规范。

3.2 准确性

3.3 共享性

跨部门、跨系统高度共享的数据,可以被多个认识主体接收和利用。

千万数据却只用6步管理!这套数据治理架构如何100%复用?

 

支持企业多业务类型、多地域经营的应用,在流程规范、系统集成、主题共享、系统数据一致性等方面都需要通过数据标准化来支撑,从而最终提高管理效率,加强管控落地。

千万数据却只用6步管理!这套数据治理架构如何100%复用?

 

数据治理工作在提升企业整体价值的同时,也为企业内部的数据共享等具体提供了良好的和可持续的数据基础,为数据的进一步挖掘和分析夯实基础。

四、四个统一

这块没什么价值,略过。

五、五个超越

5.5 超越技术

超越技术:由于主数据要满足跨部门的业务协同,因而必须适应采用不同技术规范的不同业务系统,所以主数据必须应用一种能够为各类异构系统所兼容的技术条件。

从这个意义上讲,面向微服务架构为主数据的实施提供了有效的工具。在不同环境、不同场景下,主数据的技术是可以灵活应对的。主数据的集成架构是多样的,如:总线型结构、星型结构、端到端结构;集成技术也是多样的,如:webservice、REST、ETL、MQ、kafka等;不论是架构还是技术,没有最好的只有更合适的。

企业在做技术选型的时候,要充分考虑企业的核心业务需求和未来的发展要求去构建自身的主数据技术体系。

六、六种数据服务

以下为6种比较常用的数据服务方式,其中,1-4是主数据应用的服务,5-6已经超越主数据的概念,可以针对交易数据,指标数据提供数据共享服务。

千万数据却只用6步管理!这套数据治理架构如何100%复用?

 

这里讲一个数据资源服务吧。

数据资源服务是各类数据高级应用,是将源系统数据大集中在数据资源中心,通过大数据技术工具,提供各类数据自助式服务。

通过相关工具(Sqoop等)将源系统的数据(HR、财务、业务等)抽取到大数据平台,经过整合、清洗、归并后形成各种主题数据,对外提供不同的数据服务(主数据、交易数据、指标数据);

百度搜索 微信好友提取 拓客软件 获客软件 qq好友提取 霸屏推广 访客手机号提取 QQ群监控软件 微信云控 imessage群发 微信号复制统计 抢客户软件 拓客 获客 微信好友列表提取 访客手机号码提取 微信云控系统 qq好友列表提取 舆情管家 刷投票 取消号码标记 征信修复 iMessage群发软件 微信复制统计 51获客 91拓客 身高管理 儿童健康网 益生菌 必学智库 VR观察 企业号

嘉祥新闻网 专访 安教通 农业经 水泥制品 VR观察

上一篇:营销大数据分析,从数据仓库到百万标签库,打造精细化营销数据管

下一篇:没有了

注册体验: