大数据标准化现状与发展思路研究：产业发展视角

  中国企业数据治理联盟（www.chinaedg.com/）

  进入》主数据管理     企业数据治理       信息资源规划       数据安全管理

  摘要

　　随着信息技术和经济社会的融合发展，数据已成为国家基础性战略资源，大数据对推动创新创业、转型升级，提升国家治理能力的作用日益显著。本文结合大数据研究现状，分析了国内外各标准组织开展的大数据标准化工作的情况和进展，在对比分析基础上剖析了我国大数据标准化研究工作所存在的主要问题。结合上述问题从大数据产业发展的角度，提出了未来我国大数据标准化发展的思路和建议。

　　关键词：大数据，大数据标准化，大数据产业

　　1引言

　　从2012年大数据元年到如今，大数据(Big Data)作为一场遍及学界和业界的技术革命，悄然改变着我们的学习、生活和思维方式。尽管业界对大数据并未给出一个统一的定义，但对于大数据的基本特征已经能取得广泛的共识，Yuri Demchenko等在大数据4V特征的基础上提出了5V的观点，即数据体量巨大(Volume)、数据种类繁多(Variety)、数据时效性强(Velocity)、数据价值密度低(Value)和数据真实性(Veracity)。在大数据及与大数据相关的数据挖掘、机器学习、人工智能等领域，目前已积累了丰富的实践和研究成果。当前，大数据发展不再局限于某一或者某几个学科领域，而是成为跨越计算机科学、数学、统计学、经济学和工程学等众多学科的交叉领域。大数据的5V特征使得对于数量巨大、高维和非结构化的数据进行采集、清洗、分析、呈现、存储等都带来较大的困难，数据规模的质变带来的问题迫切需要相应的技术标准予以指导和规范。业内认为大数据代表着数据作为一种资源在日常经济实践中扮演的重要角色，与其相关的环境包括技术、产业和政策等会交互影响，以数据采集存储、加工分析、数据服务等为主的大数据产业也逐渐成为信息技术产业中一个主要经济增长点。

　　根据互联网数据中心(IDC)统计和预测，2016全球大数据市场规模年增长率达40%，在2017年将达530亿美元。我国信息产业在“十二五”期间积累的信息资源、技术创新和应用突破等优势为“十三五”时期我国大数据产业进一步发展奠定了扎实的基础。从数据资源到产业体系，目前我国大数据产业发展已具备良好的基础，但也存在像技术创新不强与产业支撑体系较弱等问题。如何加快大数据标准化研究工作，充分发挥大数据标准化对于大数据产业发展支撑能力，是当前需要解决的重要现实问题。本文在分析国内外大数据标准化研究工作的基础上，对比国内外大数据标准化发展特征，总结出我国目前大数据标准化发展的3个特征，从标准对产业的支撑作用的角度对我国大数据标准化研究工作提出一些建议与展望。

　　2大数据标准化研究现状

　　随着大数据相关技术的发展与应用，国内外众多标准化组织启动了大数据标准的研究和制定工作， ISO、IEC、ITU等国际标准化组织，美国国家标准与技术研究院(NIST)、我国信息技术标准化技术委员会(TC 28)等组织相继建立了标准化工作组并开展相关工作。截至目前，各标准化组织已经出台了一系列大数据标准，取得了明显的进展。但就大数据整体技术体系和发展规模而言，当前大数据标准化研究仍处于起步阶段，与产业发展水平和需求仍不相称。本文就以上各标准化组织关于大数据标准化研究历程和目前取得的一些成果进行一个简单的梳理，旨在厘清当前大数据标准化研究现状。

　　2.1国外大数据标准化研究现状

　　ISO和IEC大数据标准化研究工作主要由其联合技术委员会——JTC1负责，包括ISO/IEC JTC1 WG9工作组和ISO/IEC JTC1 SC32分技术委员会。

　　ISO/ IEC J TC1 WG9工作组是于2014年11月成立的大数据工作组，主要负责研制包括参考架构和术语在内的基础性大数据标准;对潜在的大数据标准化需求进行识别和认定;保持和大数据相关的JTC1其他工作组之间的联系等。ISO/IEC JTC1 WG9的最近一次会议于2016年10月12日在北京召开，会议讨论了过去两年来WG9工作组一直在研制的大数据标准：ISO/IEC TR20547-1《信息技术-大数据参考架构-第1部分：框架和应用过程》、ISO/IEC TR 20547-2《信息技术-大数据参考架构-第2部分：用例和派生要求》、ISO/IEC TR20547-3《信息技术-大数据参考架构-第3部分：参考架构》、ISO/IEC TR 20547-5《信息技术-大数据参考架构-第5部分：标准路线图》，并决定这4个部分标准的研制进度，其中第2部分将于2017年6月发布。

　　ISO/IEC JTC1 SC32是数据管理和交换工作分技术委员会，是与大数据最为密切相关的标准化组织。该分技术委员会致力于研究信息技术系统下的数据管理和交换标准，以期协调不同行业之间数据交换。ISO/IEC JTC1 SC32主要研究的大数据标准内容包括：对现有数据标准和新制定的标准框架进行协调;研究用于持久性数据存储、并发式数据访问和交互式数据协议等标准;用于元数据构造和注册及各类信息资源交互方法、语言服务和协议等标准。SC32下包括4个工作组：WG1电子业务、WG2元数据、WG3数据库语言和WG4 SQL多媒体和应用包。

　　ITU曾在2013年11月发布了有关大数据的技术观察报告，该报告对彼时尚未新兴的有关大数据应用案例进行了剖析，对大数据的基本特征和大数据应用技术进行了深度的解释，并对大数据可能面临的挑战以及ITU-T要开展的标准化工作进行了初步的说明。ITU-T认为大数据面临的最大挑战在于数据保护、隐私和网络安全，以及相关法律法规的制定等问题。ITU-T目前开展的标准化工作包括大数据网络基础设施;网络数据抓取、挖掘和分析标准;开放数据标准等。其大数据标准化工作主要由SG13(第13研究组)负责展开，下设Q2(第2课题组)、Q17(第17课题组)和Q18(第18课题组)3个课题组，其中Q2主要研究“物联网大数据的能力需求”，已于2016年6月完成报批;Q17的主要研究课题为“基于云计算的大数据需求和能力”，该课题相关的标准已于2015年8月发布;Q18涉及的研究课题为“大数据即业务的功能架构”，相关的标准研制也于2016年10月报批。3个课题组以Q17牵头开展大数据标准化研究工作并负责向TSAG(电信标准化咨询委员会)汇报。

　　2.1.2国外主要国家大数据标准化研究现状

　　NIST(美国国家标准与技术研究院)针对大数据标准化工作成立了大数据公共工作组(N BD - PWG)，其工作宗旨是将业界、学界和政府在有关大数据定义、术语、安全参考体系结构和技术路线图的内容上形成一致性意见。工作组认为大数据技术在当前和未来应用中应满足互操作、可移植性、可用性和扩展性需求等要求。该工作组目前共有5个分组，分别是术语和定义、用例和需求、安全与隐私、参考体系结构和技术路线图，截至2016年底工作组已完成《大数据定义》《大数据分类》《大数据用例和需求》《大数据安全和隐私需求》《大数据参考架构调研白皮书》《大数据参考架构》和《大数据技术路线图》等输出物V2.0版本。

　　英国政府早在2011年就发布了大数据研究战略决策，其后又成立了世界上首个非盈利性质的开放数据协会(Open Data Institude，ODI)，在加快英国大数据开放和释放商业潜力等方面效果显著。但在大数据标准研究方面，BSI(英国标准协会)近两年才逐渐重视大数据标准研究工作，BSI认为目前英国已有超过35000条由BSI制定的标准，但与大数据及信息技术相关的标准则少之又少。在2016年上半年发布的研究报告中，BSI从6个方面对大数据潜在标准进行了归纳和研究，包括大数据指导标准、元数据标准、术语和条件标准、消费者数据管理标准、大数据交流标准以及大数据的制定标准等。

　　日本曾在2013年由安倍政府颁布“创建最尖端IT国家”战略，认为在2020年前日本信息产业都将以大数据为核心。在大数据标准方面，日本并未有专门机构来研究，日本政府在2013年底首次制定大数据相关标准，对大数据搜集和相关隐私规范进行了界定，后来又有日本大数据科学家资格标准，但就整体而言，日本目前尚未形成大数据标准体系。

　　2.2国内大数据标准化研究现状

　　在大数据浪潮下，我国大数据标准化研究工作在工信部和国标委的支持下也得以快速展开。2014年2月，全国信息技术标准化技术委员会(TC28)成立大数据标准工作组，主要负责研制我国大数据领域的标准体系，对大数据相关技术标准展开研究。国务院在2015年8月发布的《促进大数据发展行动纲要》明确指出要“建立标准规范体系，推进大数据产业标准体系建设，加快建立政府部门、事业单位等公共机构的数据标准和统计标准体系，推进数据采集、政府数据开放、指标口径、分类目录、交换接口、数据质量、数据交易、技术产品、安全保密等关键共性标准的制定和实施。加快建立大数据市场交易标准体系。开展标准验证和应用试点示范，建立标准符合性评估体系，充分发挥标准在培育服务市场、提升服务能力、支撑行业管理等方面的作用。积极参与相关国际标准制定工作”。为了加快大数据相关标准的研制，信标委大数据标准工作组于2015年7月成立7个研究专题组：总体专题组、国际专题组、技术专题组、产品和平台专题组、安全专题组、工业大数据专题组、电子商务大数据专题组，以此来研究大数据领域不同方向的标准化工作。截至2016年底，除去申请立项的大数据标准，工作组在研的国家标准名称和进展见表1。

　　中国电子技术标准化研究院联合信标委于2014年7月发布了《大数据标准化白皮书V1.0》，并于2015年12月和2 016年5月发布了《大数据标准化白皮书V2.0》和《大数据标准化白皮书(2016)》版本，对当前大数据的基本概念、特征与作用、发展现状与趋势分析、大数据关键技术、大数据标准化现状、大数据标准体系和我国今后一段时间内大数据工作重点的一些建议进行了详细且全面的阐述，这是我国大数据标准化工作的一个里程碑事件。

　　作为通信行业的标准化研究组织和管理单位，中国通信标准化协会(CCSA)近年来也相继开展了大数据标准化研究工作，目前CCSA在研的11个大数据标准化项目涉及大数据需求架构、大数据可视化技术、大数据环境下数据质量要求与数据质量评估方法，以及电信互联网大数据开放平台标准化研究等方面。

　　2.3国内外大数据标准化研究对比

　　从上述两节可以看出，随着大数据技术发展逐渐成熟，大数据标准化研究工作已有加速发展之势。就总体而言，尽管国内外研究程度不一，但大数据标准化研究工作仍处于起步阶段，而且这个阶段会随着大数据技术的持续创新而长期存在。大数据标准从本质上而言是一种技术标准，技术标准的一个重要特征是其成功与否很大程度上取决于技术与市场对该领域的双重影响。大数据标准作为一种需求导向型标准，技术与市场的内在驱动是其不断发展与完善的动力，目前大数据标准化研究工作正是因此而不断发展。技术标准在成为市场事实标准的过程中，通常会经过研发阶段、产业化阶段和市场化阶段[6]，当前大数据标准仍然处于大数据技术标准研发阶段，且大数据标准化工作与大数据处理技术耦合度较低，数据开放共享程度低，进一步推动大数据标准与技术的融合是未来发展需要面对的一个关键问题。

　　就国内大数据标准化研究现状而言，目前我国在该领域研究特征表现为在宏观体系架构上已有显著进展，如：信标委提出的大数据标准体系为整个大数据标准化工作指明了方向，但在具体某个大数据技术分支领域的标准上，我国目前的研究尚不充分。从《大数据标准化白皮书(2016版)》中整理出的目前已发布、已报批、已立项、在研以及拟研制的99项大数据相关的国家标准进行分类别统计，统计结果显示目前已立项、拟研制和在研的大数据相关标准有69项，总比例近70%(见表2)，分布在大数据标准体系的各个子类别中。可见我国大数据标准化研究工作虽有整体框架，但具体研究工作仍然总体处于研究阶段。而国外标准化组织在进行大数据标准化研究时，更侧重于对具体标准的研制工作，这一点可以从ISO/IEC JTC1 SC32和ITU-T对于不同大数据领域分为不同的工作组和课题组进行标准研究看出。

　　最后，我国大数据标准对产业的支撑能力相较于欧美国家弱，标准研究与产业应用还有较大差距。ITU-T和NIST都较早就形成了大数据标准化工作机制，在大数据基础标准、技术体系和核心架构上早已研制出一批能够对本国大数据产业有足够支撑力的大数据标准，大数据技术研发实验室、大数据产业创新平台和产业联盟等大数据产业支撑平台也逐渐完善，且大数据标准和产业平台之间存在较强的互动关系。反观我国现状，一方面大数据标准自身相对不成熟，另一方面标准制定和产业发展之间的关联性也较弱，因而总体上大数据标准对产业发展的支撑力不强。我们根据相关产业联盟工作范围和应用中涉及标准的多少来定义标准参与程度，表3列出了我国部分大数据产业联盟标准参与程度信息，可以看出目前国内各大数据产业联盟的标准参与程度总体偏低，足以证明我国大数据标准对产业的支撑力较弱。

　　3产业视角下我国大数据标准发展思路与建议

　　目前，我国大数据产业正处于高速发展期，不同种类的商业模式逐渐得到市场印证，新产品和新服务的不断推出使得大数据市场开始走向差异化竞争。根据“十三五”大数据产业规划统计，目前我国已有295家跨地区经营互联网数据中心(IDC)。云计算平台服务已趋于成熟，产业格局已初步显现，数据处理规模和处理能力已处于世界领先地位，为大数据提供强大的计算存储能力。一些新的产业模式和产业形态开始在大数据技术和应用领域涌现，逐步形成顶尖互联网企业引领，其他企业互动互惠的产业格局。在生产要素方面，大数据技术和产业服务吸收社会资本的能力逐年提升，与大数据领域相关的创业市场也成为热点。“十三五”时期国内外产业技术将不断迎来变革，国内大数据市场将面临集中爆发期，我国大数据产业发展将面临重要的机会和挑战。

　　针对目前我国大数据标准化研究现状和大数据产业发展现状，结合国内外大数据标准化研究比较分析结果，本文从大数据产业发展的角度提出未来我国大数据标准化研究工作建议。

　　3.1加快数据共享开放标准的研制

　　作为在数据量上仅次于美国的数据大国，我国目前仅有8%的互联网企业有关于数据租售服务的业务。虽然我国在大数据发展上具有较好的数量优势，但相较于网络大数据和企业大数据的应用，我国对政府大数据的利用是微乎其微的，企业几乎无法利用政府的数据进行决策来提高社会生产力，更遑论推进大数据产业的发展。因此，加快对大数据共享开放标准的研制是极为关键的一步。具体建议包括：建立类似于data.gov.cn这一国家级的数据开放网站。从数据可获性、可分类性、异源融合、安全性等多角度全面地设计和实施建设大数据开放平台，增强数据资源的可获得性;对数据资源的采集、存储和处理制定国家标准，提高标准数据集的开放共享程度。

　　3.2重点制定数据安全和隐私保护标准

　　大数据与数据安全、隐私保护本身就是一个矛盾体。随着数据分析与数据挖掘技术成为大数据时代的核心技术环节，如何确保数据安全和保护用户隐私成为各方都不可避免的问题。目前，我国在这方面不仅法律法规上相对滞后，在标准上也处于起步阶段，当前关于大数据安全和个人信息保护的标准均还处于拟研制和在研状态，现阶段的数据安全和隐私保护的标准化研究工作并不足以为我国大数据产业发展创造健康的外部环境。当前大数据技术仍在快速发展，新的技术使得数据安全和隐私保护需要与时俱进的标准，应尽早重点研制出数据安全和隐私保护方面的法律、法规和标准。

　　3.3加强以应用需求为导向的标准研究

　　2017年1月发布的《大数据产业发展规划》明确提出要加强大数据在重点行业领域的深入应用，规划指出要推动电信、能源、金融、商贸、农业、食品、文化创意、公共安全等行业领域大数据应用，推进行业数据资源的采集、整合、共享和利用，突出显现大数据在产业应用中的价值，加快传统行业与大数据生态的融合，利用大数据改革传统行业的经营管理方式。我们通过《大数据标准化白皮书(2016版)》中整理出的99项拟研制、在研、已立项、已报批的大数据标准，以应用需求为导向的标准项目仅有7项，包括2项工业大数据标准和5项电子商务大数据标准，其中有当前我国大数据标准化研究工作刚刚起步的原因，但也从侧面反映出当前大数据标准化研究工作并未以应用需求为导向。大数据应用需求是大数据产业的发展动力，也应该成为大数据标准化的发展动力。以市场应用需求为导向，将提升大数据标准对于大数据产业发展的支撑作用。因此，结合《大数据产业发展规划》，我国未来大数据标准化工作应以这些重点行业领域的应用为导向，重点研制出一批有关于行业应用需求的大数据标准。

　　3.4鼓励和探索大数据团体标准形成机制

　　作为由市场机制产生的标准，社会团体标准对于发挥社会组织作用和激发市场主体活力，以及更好地发挥市场在标准化资源配置中的作用具有显著影响。目前我国大数据标准制定工作方兴未艾，而由社会团体主导制定的大数据标准几乎没有，鼓励和探索大数据团体标准形成机制，把大数据标准产生机制由政府决定交给市场决定，既可防止大数据标准与市场发展相脱节，又可完善大数据标准形成机制，加快推进大数据标准化工作。

　　在具体建议上，我们认为，可率先在部分互联网经济和大数据产业发达的地区和城市进行大数据社会团体标准的试点工作，在试点实践中不断完善大数据社会团体标准的制定、实施及其他管理方法，在大数据团体标准成熟之后也可将其转化上升为地方标准乃至国家标准。

　　3.5建立和完善大数据标准测试和认证体系

　　在大数据标准研制过程中，当前还缺乏一套能够对大数据标准进行权威、多样化、面向商用的标准测试方法和认证体系，以促进大数据产业健康有序发展。此前信标委曾启动过《信息技术大数据系统通用规范》等标准的研制工作，成为我国第一个面向大数据商用系统的分级测评体系，但对于整个大数据标准体系而言还远远不够。在“十三五”期间，应加大对大数据标准试验验证和符合性检测平台的建设力度，对第三方机构独立建立测试认证平台给予政策优惠。

　　4结语

　　本文在对比分析国内外大数据标准化研究工作的基础上，从大数据产业发展的角度总结了我国目前大数据标准化工作所存在的问题，并从标准对产业发展支撑的角度对未来我国大数据标准化工作提出了建议。结合大数据标准化研究工作，合理布局大数据基础设施，构建大数据产业发展公共服务平台，建立大数据发展评估体系等都是未来繁荣大数据产业的应有之举。