新闻详细
新闻当前位置:新闻详细

数据质量有几种维度?分别是什么?,衡量数据业务等级质量的主要参数是

专业大数据挖掘分析——助力小微企业发现价值

电话+V: 152079-09430 ,欢迎咨询数据质量六大评价标准关联性,[大数据挖掘与分析],[大数据应用场景建设],[大数据接口共享],[大数据去除冗余],[大数据精准推送],[大数据广告价值],[助力小微企业成长更上台阶]

一、数据质量有几种维度?分别是什么?


  • 完整性

  • 数据完整性问题包含数据条目不完整,数据属性不完整等

  • 一致性多源数据的数据模型不一致,如命名不一致,数据编码不一致,含义不一致,生命周期不一致等

  • 准确性准确性也叫可靠性,不可靠的数据可能会导致严重的问题,会造成有缺陷的方法和糟糕的决策

  • 唯一性

  • 用于识别和度量重复数据,冗余数据,重复数据是导致业务无法协同,流程无法追溯的重要因素,也是数据治理需要解决的最基本的数据问题

  • 关联性数据关联性问题是指存在数据关联的数据关系缺失或错误,例如:函数关系、相关系数、主外键关系、索引关系等。存在数据关联性问题,会直接影响数据分析的结果,进而影响管理决策。

  • 真实性

  • 数据必须真实准确的反映客观的实体存在或真实的业务,真实可靠的原始统计数据是企业统计工作的灵魂,是一切管理工作的基础,是经营者进行正确经营决策必不可少的第一手资料。

  • 及时性数据的及时性(In-time)是指能否在需要的时候获到数据,数据的及时性与企业的数据处理速度及效率有直接的关系,是影响业务处理和管理效率的关键指标。

  • 逻辑检查不同表字段之间可能会有逻辑关联,需要稽核

  • 离群值检查部分数据可能会偏离其他数据,比如同一个商品金额大家都是100元,而有一条数据是1W

  • 自定义规则由需求方自定义相关规则

  • 波动稽核

  • 与上周环比稽核波动情况

  • 强弱规则

  • 每个规则的权重应该是不一样的,需要配置优先级,这对后续的告警方式是有帮助的

    我们最终的目的是希望做到页面可配置

    二、数据质量管理的数据质量管理评估维度

    由于数据清洗(DataCleaning)工具通常简单地被称为数据质量(DataQuality)工具,因此很多人认为数据质量管理,就是修改数据中的错误、是对错误数据和垃圾数据进行清理。这个理解是片面的,其实数据清洗只是数据质量管理中的一步。数据质量管理(DQM),不仅包含了对数据质量的改善,同时还包含了对组织的改善。针对数据的改善和管理,主要包括数据分析、数据评估、数据清洗、数据监控、错误预警等内容;针对组织的改善和管理,主要包括确立组织数据质量改进目标、评估组织流程、制定组织流程改善计划、制定组织监督审核机制、实施改进、评估改善效果等多个环节。
    任何改善都是建立在评估的基础上,知道问题在哪才能实施改进。通常数据质量评估和管理评估需通过以下几个维度衡量。完整性Completeness:完整性用于度量哪些数据丢失了或者哪些数据不可用。
    规范性Conformity:规范性用于度量哪些数据未按统一格式存储。
    一致性Consistency:一致性用于度量哪些数据的值在信息含义上是冲突的。
    准确性Accuracy:准确性用于度量哪些数据和信息是不正确的,或者数据是超期的。
    唯一性Uniqueness:唯一性用于度量哪些数据是重复数据或者数据的哪些属性是重复的。
    关联性Integration:关联性用于度量哪些关联的数据缺失或者未建立索引。配置管理ConfigManagement:此维度用于度量数据在其生命周期内的一切资源是否得到了控制和规范,即数据的计划、产生、变更直至消亡的过程中,与数据相关的计划、规范、描述是否收到控制。评估指标包括:评估配置项的细化粒度、评估基线准确度和频度以及变更流程是否合理完善等。
    培训Training:此维度用于度量数据的生产和使用者在数据生命周期内的一切活动中是否经过了知识和技能的培训、培训效果是否满足岗位需要;受训的知识和技能是否经过审核和确认,受训的内容是否与企业文化和价值观一致;培训流程是否合理完善等;
    验证和确认Verify&Validation:此维度用于度量数据在其生命周期内是否得到验证和确认。评估内容包括是否通过验证流程确保工作产品(数据)满足指定的要求、是否通过“确认”流程保证工作产品(数据)在计划的环境中满足使用的要求;“验证”和“确认”的流程是否完善;
    监督和监控Monitoring:此维度用于度量产生和使用数据的流程在数据的整个生命周期内是否真正受控。脱离监控的信息、技术、计划、流程、制度,会导致数据质量低下。监督和监控的流程是否完善。

    三、衡量数据业务等级质量的主要参数是

    衡量数据业务等级质量的主要参数如下:

    数据质量六大评价标准关联性

    数据的质量可以从八个指标进行衡量,每个指标都从一个侧面反映了数据的品相。这八个指标分别是:准确性、及时性、即时性、真实性、精确性、完整性、全面性和关联性。

    拓展资料:

    1、数据的准确性

    数据的准确性(Accuracy)是指数据的采集值或者观测值与真实值之间的接近程度,也叫误差值,误差值越大,数据的准确度越低。数据的准确性由数据的采集方法决定的。

    2、数据的精确性

    数据的精确性(Precision)是指对同一对象在重复测量时所得到的不同观测数据之间的接近程度。精确性,也叫精准性。精确性与数据采集的精度有关系。精度越高,要求数据采集的粒度越细,误差的容忍程度也越低。

    3、数据的真实性

    数据的真实性,也叫数据的正确性(Rightness)。数据的正确性取决于数据采集过程的可控程度。数据采集过程可控程度高,可追溯情况好,数据的真实性就容易得到保障,而可控程度低或者无法追溯,则数据的真实性难以保证。

    为了提高数据的真实性,采用无人进行过程干涉的智能终端直接采集数据,能够更好地保证所采集的数据的真实性,减少人为干预,减少数据造假,从而让数据更加正确地反映客观事物。

    4、数据的及时性

    数据的及时性与企业的数据处理速度及效率有直接的关系,为了提高数据的及时性,越来越多的公司采用管理信息系统,并在管理信息系统中附加各种自动数据处理功能,在数据上传到系统中之后自动完成绝大部分报表,从而提高了数据处理的效率。计算机自动处理中间层数据是提高企业数据处理效率的有效手段。

    企业除要保证数据采集的及时性和数据处理的效率外,还需要从制度和流程上保证数据传输的及时性。数据报表制作完成后,要及时或者在要求的时间范围内发送到指定的部门,或者上传到指定的存储空间中。

    5、数据的即时性

    数据的即时性是指数据采集时间节点和数据传输的时间节点,一个数据在数据源头采集后立即存储并立即加工呈现,就是即时数据,而经过一段时间之后再传输到信息系统中,则数据的即时性就稍差。

    6、数据的完整性

    数据的完整性是指数据采集的程度,即应采集的数据和实际采集到的数据之间的比例。一家企业中的数据的完整性体现着这家企业对数据的重视程度。要求采集的数据而实际上并未完整采集,这就是不完整的数据,这往往是企业对数据采集质量要求不到位导致的。

    另外,对于动态数据,可以从时间轴去衡量数据的完整性。比如,企业要求每小时采集一次数据,每天应该形成24个数据点,记录为24条数据,但是如果只记录了20次,那么这个数据也是不完整的。

    7、数据的全面性

    数据的全面性和完整性不同,完整性衡量的是应采集的数据和实际采集到的数据的差异。而数据全面性指的是数据采集点的遗漏情况。

    腾讯QQ和微信的用户数据记录了客户的交流沟通数据;阿里巴巴和京东的用户数据记录了用户的购买交易数据;百度地图记录了用户的出行数据;大众点评和美团记录了客户的餐饮娱乐数据。对全面描述一个人的生活来说,这些公司的数据都是不全面的,而如果把他们的数据整合起来,则会形成更加全面的数据。

    所以说,数据的全面性是一个相对的概念。过度追求数据的全面性是不现实的。

    8、数据的关联性

    数据的关联性是指各个数据集之间的关联关系。例如员工工资数据和员工绩效考核数据是通过员工关联在一起来的,而且绩效数据直接关系到工资的多少。采购订单数据与生产订单数据之间通过物料的追溯机制进行关联,而生产订单又是由员工完成的,即通过员工作业数据与员工信息数据关联起来

    【GSFAI BANK FINANCING】尊享直接对接老板

    电话+V: 152079-09430

    专注于为大数据运营推广及打包交易配套流程服务方案。为企业及个人客户提供高性价比的数据确权、数交所交易及应用场景内外共享解决方案,解决小微企业难题

    数据质量六大评价标准关联性
    Copyright2023未知推广科技