数据标准及其发展概览

时间:2023-03-29


一、数据标准的定义

数据标准是进行数据标准化的主要依据,构建一套完整的数据标准体系是开展数据标准管理工作的良好基础,有利于打通数据底层的互通性,提升数据的可用性。


1.根据信通院发布的《数据标准管理实践白皮书》中的定义:

数据标准(Data Standards)指的是保障数据的外部使用和交换的一致性和准确性的规范性约束。在数字化过程中,数据是业务活动在信息系统中的真实反映。由于业务对象在信息系统中以数据的形式存在,数据标准相关管理活动均需以业务为基础,并以标准的形式规范业务对象在各信息系统中的统一定义和应用,以提升企业在业务协同、监管合规、数据共享开发、数据分析应用等各方面的能力。


通俗来讲,对于企业而言,数据标准就是对数据的命名、数据类型、长度、业务含义、计算口径、归属部门等,定义一套统一的规范,保证各业务系统对数据的统一理解、对数据定义和使用的一致性。


2.根据全国信标委大数据标准工作组发布的《数据管理能力成熟度评估模型》中的定义:

数据标准:数据的命名、定义、结构和取值的规则,是组织数据中的数据规范和基准(业务含义、技术表达),为组织各个信息系统中的数据提供规范化、标准化的依据,是组织数据集成、共享的基础,是组织数据的重要组成部分。依据数据特征的不同,可以把数据标准具体划分成四大类:业务术语标准、参考数据和主数据标准、数据元标准、指标数据标准。


3.根据中国人民银行发布的金融行业标准《银行数据标准定义规范》中的定义:

数据标准是对数据的表达、格式及定义的一致约定,包含数据业务属性、技术属性和管理属性的统一定义。业务属性包括中文名称、业务定义、业务规则等,技术属性包括数据类型、数据格式等,管理属性包括数据定义者、数据管理者等。用以确保各种重要信息在共同使用和交换中的准确性、完整性和一致性,是数据质量管理的基础。


表1 数据标准分类及其属性介绍

da55547f8e5e89ae952b8fe04cc19157.png


总的来说,数据标准是为保证数据的共享一致性,对数据的表达格式、内容定义进行的规范性约束。通过对术语、数据元、主数据、参考数据及指标数据等类型数据的业务、技术及管理属性进行规定,保证数据在采集、处理、存储、交换、应用、管理等环节的质量及一致性。

二、数据标准发展趋势概览

1.从各级各类标准发布数量看数据标准发展

通过对全国标准信息公共服务平台及国家标准全文公开系统上有关于数据标准的信息进行系统梳理与统计,可以发现,在不同级别的标准中,各子类标准数量相差不大。但在用户普遍关注的数据采集、数据处理、数据存储、数据交换、数据传输、数据接口、数据管理等七个主要子领域中,子类之间标准发布数量具有较大差异,数据交互及数据采集类标准发布数量远高于其他类别,可见是国家及各行业、地方所主要关注的数据标准类别,对数据共享应用具有着重要作用。同时,数据存储及数据管理类标准数量较少,并未覆盖大量行业领域,具有一定的发布空间。


表2 各级各类数据标准发布统计表

5203215fc14f6eda3c830c1d04254100.png


438bfb789c73f4621b3902a2a4feb28b.png

图1 各级各类数据标准发布数量变化图


此外,由表3及图2可以看出,近年来,在数据标准发布方面,数据交换及数据接口类标准发布数量始终高于其他类数据标准,尤其数据交换类标准近两年发布增量及总量皆高于其他类别标准,可以看出数据交换类标准对于构建数据资产、保证数据质量、打破数据藩篱、促进数据共享应用具有着重要意义。


表3 各类标准随时间推移发布数量变化表

27f02549b6da6f520ee85d81eb5b85ff.png


1bec61cc423fe804b5c4b488cede81d8.png

图2 各类标准随时间推移发布数量变化图


2.从词频统计角度看数据标准重点关注方向

通过对网上开源数据进行获取,对国家标准及电子、电力、通信、公共安全、冶金、有色金属等17个行业标准,共计1131项数据相关标准名称进行统计了分析,分别计算了标准名称中所有词汇的出现频次,绘制了表4和图3。可以清晰的发现在各级各类数据标准中各行业发展普遍关注数据交换、数据格式、元数据、数据通信等重点研究内容及应用方向。


表4 数据标准高频词汇统计表

918c7acddc9a1f699576b082ce1d7148.png


f0d36effde08881485b2f716c506cad7.jpg

图3 数据标准高频词云图


数据标准通过对数据的表达、格式及定义等方面内容进行规定,保障了数据的一致性和准确性,对于解决数据存储结构不一致、数据定义不一致、数据理解不一致、数据来源不一致等问题具有重要作用。通过数据标准的建设,可消除数据跨系统的非一致性,从根源上解决数据定义和使用的不一致问题,为数据建设及企业发展带来诸多好处。此外,标准化工作者也能从近年来各类数据标准的发布情况及重点关注情况,了解到数据标准的发布缺口及实际需求,以此来确定数据标准的研究方向,通过不断促进数据标准的研究、发布及应用,保证数据资产质量,发挥数据标准对企业发展的积极作用。


图片

END


作者 | 郑佳明

编辑 | 刘凯茜

(来源:公众号中国船舶标准化)

版权所有