上海天元项目数据分析师事务所有限公司
鉴于大数据具有海量、非结构化、多元性等特点,统计数据质量控制问
题更趋向于复杂化,既涉及技术性的因素,又包含非技术性的因素。因
此,对大数据与统计数据质量控制进行针对性探寻与研究就变得十分必
要
大数据对统计数据质量控制的影响
随着网络时代的迅猛发展,大数据在世界范围内飞速产生并不断扩张,
如何从大数据中及时提炼、挖掘有价值的信息,提高统计数据的精准度
与可利用性,对政府的宏观经济运行与决策具有更深层面的意义。
鉴于大数据具有海量、非结构化、多元性等特点,统计数据质量控制问
题更趋向于复杂化,既涉及技术性的因素,又包含非技术性的因素。因
此,对大数据与统计数据质量控制进行针对性探寻与研究就变得十分必
要。
大数据对统计数据质量控制的主要影响因素目前,大数据对统计数据质
量控制的影响因素,主要产生于“流程、技术和管理”三个维度的“数
据收集、数据存储、数据使用、数据库技术、数据质量检测技术、大数
据分析技术、管理者认知、管理人员配备、统计体制与标准”9个环节之
中。
流程维度:在数据收集阶段,尽管统计不断改进数据收集方式、统计标
准以保证数据质量,但不同的数据来源,必然存在差异性和矛盾性,尤
其是海量数据总体的无限扩展性,势必会给统计数据处理带来各种障碍
;在数据存储阶段,传统单一性的数据结构无法满足大数据对存储的需
求,很多以视频、图片等非结构化的数据对传统数据的存储造成麻烦;
在数据使用阶段,各类统计数据的衔接,信息技术、数据平台、共享以
及协同等层面都存在差异性等实际问题。
技术维度:在数据库技术方面,大数据呈现多样性且以指数形式递增,
大数据的复杂性必然给统计数据质量的检测、甄别以及价值挖掘等增加
难度;在数据质量检测技术方面,数据质量检测技术、数据质量检测算
法等都会直接或间接影响统计对数据的控制质量;在大数据分析技术方
面,传统的挖掘技术处理不同类型和格式的大数据,极易造成偏差,针
对大数据特点的检测及智能化工具相对匮乏,也会增加统计对数据的质
量检测、识别、分析与管控的技术难度等。
管理维度:在管理者认知方面,管理者对大数据重要性的认知程度不高
,或者没有健全完善的质量监督管理制度等都会对统计数据质量控制产
生负面影响;在管理人员配备方面,缺乏熟悉相关业务的复合型、高端
人才,则是阻碍大数据质量提升与控制应用等的重要因素;在统计体制
与标准方面,政府统计独立性受到制约,统计数据因与政府政绩、考核
相关联而容易受到干预,统计标准的统一程度、统计过程与数据的透明
度等也还存在一定的提升空间。
做好下一步工作的几点建议? 首先,强化三大平台建设,提升统计分析
处理能力。一是建立综合数据管理平台,规范升级统计流程,组建以社
区为模块的统计数据采集平台;二是建立数据分析研究平台,不断增加
对统计大数据研发的投入,促进统计科研成果向实体效益的有效转化,
激发统计生产力;三是构建公众统计数据平台,打造“阳光统计”,增
加统计调查数据的透明度,更好地服务公众和社会,提高政府统计的公
信力。
其次,注意抓好高端人才队伍建设,加强对统计大数据的深入挖掘。有
计划地吸收引进懂研发、精业务的复合型高端人才,激励更多的统计人
才实现从统计专家向统计数据专家、数据分析师的转变与跨越。同时,
注意利用智能分析技术实现统计大数据的价值挖掘、预测性分析以及可
视化开发,确保得到的统计成果更有实效性。
最后,通过推进部门联合,努力构建新型统计协作体系。加强部门之间
的相互配合,强化统计工作的基础框架和底层设计,从大数据的源头推
进数据的规范化、标准化;通过推进部门协作,建立大数据的价值挖掘
与分享机制,最大限度地提高统计大数据的使用效率。