随着企业管理和信息技术的迅速发展,信息系统扮演着越来越重要的角色,涉及企业大大小小的业务。然而,
在企业信息化建设过程中,由于业务人员操作不当、系统缺陷等原因,出现了种种数据质量问题。为帮助企
业解决数据质量管理问题,提高企业生产效率,本文将从数据质量管理的意义入手,提出数据质量框架和数据
质量管理模型,为企业开展数据质量管理提供参考依据。
1 企业数据质量管理的意义
良好的数据是企业发展的关键,也是业务发展战略的重要组成部分。数据在所有业务的各个方面都无处不在
,例如管理供应链、制造、营销和客户服务。[1]因此,数据是企业的核心,而数据质量是企业业绩和盈利能
力的关键。[2]企业将数据视为生成多种信息资产的原材料[3],良好的数据能够使企业获得业务的成功,并
从中获取最大的利益和价值,而劣质的数据对企业造成的损失是巨大的,直接影响业务信息系统的实用化水
平和系统的决策支持能力,最终影响企业的管理能力,损害企业的经济利益和社会效益。因此,在当今数据驱
动的知识经济中,随着数据的不断发展,相关领域(如商务数据交换)数据体量的不断扩大,如何确保理想的数
据质量及解决与数据质量相关的问题,亦即数据质量管理,对企业来说至关重要。[4]
2 数据质量框架构建
本文所构建的综合性数据质量框架包括三个层面:数据质量的维度及维度定义、各维度下相应的数据质量标
准及标准定义、各个标准评定方法,如表1所示。为了便于信息管理者和不同利益相关方的理解和利用,该框
架将具有相似定义的16个标准分组到8个维度集群,每个维度及相应的标准都从数据本身、数据与实际情况
、数据用户及数据任务之间关系等不同角度对数据质量进行定义。
各个标准的评定方法包括定量测量和定性测量两种。对于某些标准,既可以用定量评定方法,也可以用定性
评定方法来确定数据质量水平。定性评定多以数据用户针对某一标准的反馈来决定,是主观的评定方法。虽
然定量评定可以得到一个固定的百分比,但仍应视作主观评定,因为针对不同系统任务,不同的利益相关方对
同一类数据的质量期望或要求可能不同。对多数企业而言,数据质量的关键点和难点在于企业内部会同时存
在多个信息系统、多个利益相关方和多个数据任务,且同一类数据有可能运用于多个系统中的不同任务,每
个任务对数据质量都有不同的要求。因此,文章将针对这种多用户、多任务、多数据的数据质量管理问题,
提出一种基本数据质量管理模型。
表1 数据质量框架 下载原表
表1 数据质量框架
3 数据质量管理模型及框架在企业中的应用
3.1 决策支持系统自适应方法
本文所提出的数据质量框架包括若干维度、标准、定义及评定方法,但最终重要的是如何将此框架在企业中
得到应用。不同的企业必须做好数据质量配置和治理工作以适应一系列突发事件。[5,6]同样,不同的业务
部门必须重新配置通用的数据质量框架以解决他们的数据质量问题,并且这个过程将延伸至每个可能的业务
部门和数据用户。企业设计开发决策支持系统(Decision Support Systems,简称为“DSS”),并将其与评估
和维护数据质量框架进行类比,可更直观地感受企业在不同任务中定制数据质量维度的过程。
为确保信息系统正常运行,必须把数据用户对数据质量标准的反馈和对现实世界的感知放在同等重要的地位
,因此,如果没有包含数据用户及其任务,就无法开展数据质量管理。DSS能通过学习和进化的自适应过程来
开展数据质量管理。DSS用户通过使用来理解系统,并通过探索新见解、新功能实现对DSS的优化。因此,研
究人员Keen为DSS设计了一个自适应框架,其中定义了系统、用户和系统构建者三者之间的关系。DSS用户根
据自身个性化需求来试用系统,了解其运行机制以及系统与用户需求的差距,从而进一步更好地细化其需求,
系统构建者则据此进一步完善系统并快速交付用户。用户学习和系统的个性化试用推动了系统和相应机制
的完善,通过不断完善用户的功能需求,从而实现整个系统的升级。
3.2 数据质量管理模型
类似DSS自我完善的过程被称为自适应方法,同样可以应用于企业数据质量管理,因为维护和控制数据质量的
过程同样可视为一种自适应过程。数据质量被认为具有“适用性”,意味着数据质量取决于用户对数据的使
用。当我们描述数据质量时,决策任务和决策者的选择等背景因素对数据质量起着重要作用,因此,决策者和
相关任务的结合确定了决策环境,换而言之,由于决策环境具有动态性,我们需要从决策者及其任务的角度考
虑DSS的数据质量。此外,由于来自第三方和社交媒体的潜在错误数据将不断涌现,数据质量不是一次性问题
,引入错误数据的过程或事件变化并不是唯一的,总会有新的更危险的方法来破坏数据。
数据用户会预先指定他们对数据质量的要求,但当实际执行其数据任务时,也会形成新的或改进对现有数据
质量的认知,这些数据也必然会由于各种原因或环境的动态性发生变化。不同用户有不同的需求,从而产生
不同的质量标准,因此数据质量管理需要数据质量顾问与数据用户密切合作,以了解他们的数据质量要求,使
数据质量达到用户的标准,并得到质量团队和数据用户的持续监控。
本文提出了数据质量管理模型,如图1所示。它描述了数据用户、数据质量顾问、数据任务和数据质量之间
的关系。数据质量是使用中需要的一项功能,数据用户通过个性化应用执行数据任务了解自身的数据质量要
求。数据质量顾问团队应与用户密切合作,了解他们的要求和数据质量维度、标准,据此调整数据质量。数
据用户通过个性化应用质量要求促使质量顾问团队根据用户对数据质量认知的变化进行调整。根据所提数
据质量框架和数据管理模型,本文给出了数据质量动态优化调整的方法,如图2所示。
图1 数据质量管理模型
图1 数据质量管理模型 下载原图
图2 数据质量动态优化调整流程
图2 数据质量动态优化调整流程 下载原图
由图1和图2可以看出,应更重视数据用户及其数据任务,这两个角色将直接定义并形成最终的数据质量需求
。数据质量因企业而异,即使在同一企业的不同部门也是如此,因此用户根据他们对预期任务的数据质量需
求来挑选他们认为重要的维度和标准。数据质量顾问团队根据用户最终确定的数据质量维度和标准,按照用
户对数据质量的反馈做最终的数据质量评定,并进行相应的数据质量改进工作。
4 结束语
在信息化时代,数据是企业至关重要的资源,其质量是企业提升业绩和盈利能力的关键。为了解决企业数据
管理质量问题,提高生产效率,需要从数据维度、质量标准、评定方法等方面全面构建企业数据质量框架,并
形成与之相适应的数据管理模型及数据质量动态优化调整流程,以满足不同用户和任务对数据质量的不要需
求。本文提出的数据质量框架和管理模型尚处于理论构建阶段,需在企业进行实际检验,做进一步的调整和
完善,实现数据管理的自动化。