1.配景
数据，曾经成为互联网企业十分依赖的新型紧张资产。数据质量的优劣间接干系到信息的精准度，也影响到企业的生活和竞争力。Michael Hammer（《Reengineering the Corporation》一书的作者）曾说过，看起来不起眼的数据质量题目，实践上是分离商业流程的紧张标记。 数据质量办理是揣测、提j9九游和验证质量，以及整合构造数据的办法等一套处置原则，而体量大、速率快和多样性的特点，决议了大数据质量所需的处置，有别于传统信息管理方案的质量办理方法。
本文基于美团点评大数据平台，经过对数据流转历程中各阶段数据质量检测后果的收罗剖析、规矩引擎、评价反应和再监测的闭环办理历程动身，从面对应战、建立思绪、技能方案、出现结果及总结等方面，介绍美团平台酒旅奇迹群（以下简称美旅）数据质量羁系平台DataMan的搭建思绪和建立理论。
2.应战
美旅数据中心日均处置的离线和及时作业j9九游达数万量级， 怎样愈加公道、j9九游效的监控每类作业的运转形态，并将本来疏散、孤岛式的监控日记信息经过规矩引擎会合共享、联系关系、处置；洞察要害信息，构成事前预判、事中监控、过后跟踪的质量办理闭环流程；沉淀妨碍题目，搭建办理方案的知识库系统。在数据质量羁系平台的计划建立中，面对如下应战：
l 缺乏一致监控视图，离线和及时作业监控疏散，影响性、联系关系性不敷。
l 数据质量的权衡尺度缺失，数据校验滞后，数据口径不一致。
l 题目妨碍处置流程未闭环，“点”式办理征象常在；缺乏一致归档，没无形成系统的知识库。
l 数据模子质量监控缺失，模子反复，底子模子与使用模子的联系关系度不敷，构成信息孤岛。
l 数据存储资源增加过快，不克不及监控细粒度资源内容。
DataMan质量羁系平台研发正基于此，以下为详细建立方案。
3.办理思绪
全体框架
构建美旅大数据质量监控平台，从可理论运用的视角动身，整合平台资源、技能流程中心要点，重点着力平台支持、技能控制、流程制度、知识系统构成等偏向建立，确保质量监控平台矫捷推进落地的可行性。数据质量监控平台全体框架如图1所示：
图1 质量监控平台全体框架图
建立办法
以数据质量检点办理PDCA办法论，基于美团大数据平台，对数据质量需求和题目举行全质量生命周期的办理，包罗质量题目的界说、检点监控、发明剖析、跟踪反应及知识库沉淀。数据质量PDCA流程图如图2所示：
图2 数据质量PDCA流程图
要害流程
质量羁系平台建立理论使用及代价表现，离不开办理流程、技能完成和构造职员的严密联合，次要包括如下8大流程步调：
（1）质量需求：发明数据题目；信息提报、搜集需求；检点规矩的需求等；
（2）提炼规矩：梳理规矩目标、确定无效目标、检点目标正确度和权衡尺度；
（3）规矩库构建：检点工具设置装备摆设、调理设置装备摆设、规矩设置装备摆设、检点范畴确认、检点尺度确定等；
（4）实行检点：调理设置装备摆设、调理实行、检点代码；
（5）题目检点：检点题目展示、分类、质量剖析、质量严峻品级分类等；
（6）剖析陈诉：数据质量陈诉、质量题目趋向剖析，影响度剖析，办理方案告竣共鸣；
（7）落实处置：方案落实实行、跟踪办理、办理方案Review及尺度化提炼；
（8）知识库系统构成：知识履历总结、尺度方案沉淀、知识库系统建立。
质量检点尺度
l完备性：次要包罗实体缺失、属性缺失、记载缺失和字段值缺失四个方面；
l正确性：一个数据值与设定为正确的值之间的分歧水平，或与可承受水平之间的差别；
l公道性：次要包罗款式、范例、值域和商业规矩的公道无效；
l分歧性：体系之间的数据差别和互相抵牾的分歧性，商业目标一致界说，数据逻辑加工后果分歧性；
l实时性：数据堆栈ETL、使用展示的实时和疾速性，Jobs运转耗时、运转质量、依赖运转实时性。
大数据平台下的质量检点尺度更需思索到大数据的快变革、多维度、定制化及资源量大等特征，如数仓及使用BI体系的质量妨碍品级分类、数据模子热度尺度界说、作业运转耗时尺度分类等和数仓模子逻辑分层及主题分别组合如下图3所示。
图3 质量检点尺度图
美旅数仓分别为客服、流量、运营、订单、门店、产品、到场人、风控、结算和公用等十大主题，按Base、Fact、Topic、App逻辑分层，构成系统化的物理模子。从数据代价量化、存储资源优化等目标评价，分别物理模子为热、温、冷、冰等四类尺度，联合使用自界说其详细尺度范畴，完成其机动性设置装备摆设。
作业运转耗时分为：优、良、一样平常、存眷、耗时等，每类耗时界说的尺度范畴既切合大数据的特征又可满意详细剖析必要，且作业耗时与数仓主题和逻辑分层深度整合，完成多角度质量洞察评价。
针对数万的作业信息从数据时效性、作业运转品级、办事工具范畴等视角，将其妨碍品级分为S1：严峻度极j9九游；S2：严峻度j9九游；S3：严峻度中；S4：严峻度高等四项尺度，各项均对应详细的实行战略。全体数据质量的检点工具包罗离线数仓和及时数据。
羁系中心点
数据质量功效模块设计的次要功效如上图4所示，包罗：监控工具办理、检点目标办理、数据质量历程监控、题目跟踪办理、保举优化办理、知识库办理及体系办理等。此中历程监控包罗离线数据监控、及时数据监控；题目跟踪处置由题目发明（支持主动检点、人工录入）、题目提报、义务推送、妨碍定级、妨碍处置、知识库沉淀等构成闭环流程。
办理流程
流程化办理是推进数据题目从发明、跟踪、办理到总结提炼的公道无效东西。质量办理流程包罗：数据质量题目提报、数据质量题目剖析、妨碍跟踪、办理验证、数据质量评价剖析等次要关键步调；从关连职员的角度剖析包罗数据质量办理职员、数据质量反省职员、数据平台开辟职员、商业及BI商分职员等，从流程步调到办理职员构成职责和脚色的矩阵图。如图5所示：
图5 数据质量流程图
题目汇总： 数据质量提报、ETL处置及监控历程上报、数据质量反省点等多方泉源，此中ETL处置局部为步伐主动化上报，增加人为干涉。
题目剖析： 经过划定的脚色和岗亭的职员对汇总题目剖析和评价，由一致大众账号主动推送提示音讯至责任人。
题目工单： 对收罗的题目颠末剖析归类，次要划为信息提醒和妨碍题目两大类，信息提醒无需工单天生，妨碍题目将发生对应的工单，后推送至工单处置人。
妨碍定级： 针对天生的题目工单判别其妨碍级别，其级别分为：S1、S2、S3、S4等四类（如图3所述），针对尤为严峻的妨碍题目需Review机制并继续跟踪CaseStudy总结。
知识库系统： 从由数据题目、办理方案、典范案例等外容中，提炼总结构成尺度化、齐备知识库系统，以质量题目中提炼代价，构成尺度，愈加无效的引导商业、标准商业，提j9九游源头数据质量，提拔商业办事程度。
质量流程办理：
l流程准绳：一致流程、步调波动。
l权限控制：流程节点与职员账户号绑定，若节点未设置职员账户即面向一切职员，不然为划定范畴的职员。
l权限办理：可联合美团平台的UPM体系权限办理机制。
4.技能方案
总体架构
DataMan体系建立总体方案基于美团的大数据技能平台。自底向上包罗：检测数据收罗、质量集市处置层；质量规矩引擎模子存储层；体系功效层及体系使用展示层等。整个数据质量检点点基于技能性、商业性检测，构成完备的数据质量陈诉与题目跟踪机制，创立质量知识库，确保数据质量的完备性（Completeness）、准确性（Correctness）、以后性（Currency）、分歧性（Consistency）。
总体架构图如图6所示：
图6 质量羁系DataMan总体架构图
l数据源及集市层：起首收罗数据平台质量相干的元数据信息、监控日记信息、及时日记、检测设置装备摆设中心日记、作业日记及调理平台日记等要害的质量元数据；经数据质量集市的模子设计、监控工具的分类，加工构成完备、紧联系关系、多维度、易剖析的数据质量底子数据模子，为下层质量使用剖析奠基数据底子。数据泉源自卑数据平台、及时数仓、调理平台等，触及到Hive、 Spark、Storm、 Kafka、MySQL及BI使用等相干平台数据源；
l存储模子层：次要功效包罗规矩引擎数据设置装备摆设、质量模子后果存储；以数据质量监控、影响联系关系、全方位监控等目的规矩引擎的推进方法，将加工后果数据存储至干系型数据库中，组成精简j9九游质数据层；
l体系功效层：包罗设置装备摆设办理、历程监控、题目跟踪、妨碍流程办理、及时数据监控、知识库系统的创立等；处置的工具包罗日记运转作业、物理监控模子、商业监控模子等次要实体；
l体系展示层：经过界面化方法办理、展示数据质量形态，包罗质量监控界面、保举优化模块、质量剖析、信息展示、题目提报、妨碍跟踪及丈量定级、体系权限办理等功效。
技能框架
前后端技能
图7 技能架构图
DataMan使用体系其前端框架（如上图7）基于Bootstrap开辟，模板引擎为FreeMarker，Tomcat（开辟情况）作为默许Web容器，经过MVC的方法完成与使用办事层对接。Bootstrap的上风基于jQuery，丰厚的CSS、JS组件，兼容多种欣赏器，界面作风一致等；FreeMarker为基于模板用来天生输入文本的引擎。背景基于开源框架Spring4，Spring Boot，Hibernate搭建，其集成了Druid，Apache系列和Zebra等数据库拜访两头件等，为体系的功效开辟带来更多选择和便当。
Zebra两头件
体系数据库毗连接纳两头件Zebra，这是美团点评DBA团队保举的官方数据源组件，基于JDBC、API协议上开辟出的j9九游可用、j9九游功能的数据库拜访层办理方案；提供如静态设置装备摆设、监控、读写分散、分库分表等功效。Zebra全体架构如图8所示：
图8 Zebra架构图
Zebra客户端会据路由设置装备摆设直连到MySQL数据库举行读写分散和负载平衡。RDS是一站式的数据库办理平台，提供Zebra的路由设置装备摆设信息的维护；MHA组件和从库监控办事辨别卖力主库和从库的j9九游可用。Zebra支持丰厚的底层毗连池；一致源数据设置装备摆设办理；读写分散和分库分表；数据库的j9九游可用。
数据模子
整个质量羁系平台数据流向为数据质量元数据信息收罗于美团平台，包罗数据堆栈元数据信息、质量检测元数据、调理平台日记信息、监控日记及及时元数据信息等，加工构成独立数据质量的集市模子，以此支持使用层体系的数据需求。使用层体系数据库接纳干系型数据库存储的方法，次要包括了规矩设置装备摆设办理信息、数据质量后果库等信息内容。数据流向层级干系图如下：
图9 数据流向层级图
数据平台层：基于美团大数据平台的数据质量元数据是质量剖析和羁系的泉源，是整个体系最底子紧张资源信息，此数据次要包罗：数仓元数据信息，如数仓模子表根本信息、表存储空间资源信息、表分区信息、节点信息、数据库meta信息、数据库资源信息等；运转作业调理日记信息，如作业根本信息、作业运转资源信息、作业调理形态信息、作业依赖干系信息及作业调理日记监控信息等；质量检测元数据信息次要泉源于SLA、DQC（美团外部体系）检测后果的信息。及时元数据收罗于调理平台及时作业运转的API接口挪用剖析。
质量集市层：DM数据质量集市的独立创立是依托底子元数据信息，依据质量羁系平台设置装备摆设的引擎规矩ETL加工构成。规矩库引擎如数仓使用主题的分别规矩、数仓逻辑分层束缚、数据库引擎分类、模子利用热度品级、模子存储空间分类、资源增加品级、汗青周期分类、作业紧张级别、作业运转耗时品级、作业妨碍分类、及数据质量尺度化界说等。
在办理偏向上，如模子或作业所属的商业条线、构造架构、开辟职员等；在时效上分为离线监控数据、及时数据集市等。从多个维度交织组合剖析构成模子类、作业类、监控日记类、及时类等主题的等易了解、复杂、快捷的数据质量集市层，强无力的支持下层使用层功效的数据需求。数据质量集市DM次要模子如图10所示：
图10 数据质量集市模子图
模子设计：“一致标准、复杂快捷、疾速迭代、保证质量”，基于美团平台元数据、平台日记、及时数据接口等泉源，经过订定的规矩、尺度，构成可权衡、可评价的数据质量集市层，次要包括大众维度类、模子剖析类、作业监控类、平台监控类等次要内容；
及时数据：针对及时作业的监控经过API接口挪用，后落地数据，及时监控作业运转日记形态；
数据加工：基于美团平台离线Hive、Spark引擎实行调理，以数仓模子分层、数仓十大主题规矩和数据质量规矩库等为束缚条件，加工构成独立的数据集市层。
使用剖析层：使用层体系数据接纳干系型数据库（MySQL）存储的方法，次要包括了规矩设置装备摆设办理信息、数据质量剖析后果、及时API落地数据、妨碍题目数据、知识库信息、流程办理及体系办理类等信息内容，间接面临前端界面的展示和办理。
5.体系展示
数据质量DataMan监控体系一期建立次要完成的功效包罗：团体事情台、信息监控、保举信息、信息提报、妨碍办理、设置装备摆设办理及权限体系办理等。体系结果如图11所示：
图11 体系结果图
团体事情台
在体系中将团体待存眷、待处置、待优化、待总结等与团体相干的题目和义务构成一致的事情平台入口，经过大众账号推送的方法，第临时间提示团体，关照反应题目的提出者，保证题目可跟踪，进度可盘问，责任到人的事情流程机制。
离线监控
体系可定时实行模子监控、作业监控、平台日记监控等元数据质量规矩引擎，展开数据堆栈主题模子、逻辑层级作业、存储资源空间、作业耗时、CPU及内存资源等细化深度剖析和洞察；依照质量剖析模子，以工夫、增加趋向、同环比、汗青基线点等多维度、片面整合打造一致监控平台。
及时监控
从使用角度将作业依照商业条线、数仓分层、数仓主题、构造布局和职员等维度分别，联合作业基线信息，及时监控正在运转的作业质量，并与作业基线构成比拟参照，预警不切合尺度的目标信息，第临时间关照责任人。及时作业运转与基线比拟监控结果如图12所示：
图12 及时作业运转监控图
保举信息
体系经过规矩引擎的设置和主动调理的实行，从存储资源设置装备摆设、数据模子优化、作业优化、日记错误超时、预警关照等方面思索，以订定的质量尺度为评价根据，主动检测评价，汇总题目，构成牢靠的保举优化内容，并在到达阈值条件后自动推送音讯，触发后续义务展开。
大众账号
经过“数据管理大众账号”呆板人发送音讯形式，将预判触发的预警关照、义务分派、义务提示和危害评价等信息第临时间关照响应的卖力职员，开启事情流程。
妨碍处置
支持主动提报和人工填报两种形式，以闭环事情流方法展开事情，确保题目妨碍可跟踪、可盘问、可定级、可稽核、可量化，以责任到人、落地可行的处置形式，严控数据质量，从基本上提j9九游数据质量，提拔商业办事程度。
DataMan质量羁系体系的投入运营，优化数据存储资源、提j9九游作业功能、低落义务耗时、推进了办理事情的标准化和精密化。信息保举功效以推送关照的情势将待优化、存危害和超时妨碍信息第临时间发送团体事情台，以事情流机制推进展开；模子监控、作业监控功效在数据存储、模子建立、作业耗时等场景公道的控制资源，节流了投资本钱。
题目提报和妨碍办理功效的无效联合，将题目发明、提报、义务分派、处置完成及Review总结沉淀等构成了责任到人、题目可询的闭环流程。随着体系的深化运转，将在及时数据监控、质量妨碍统计办理、数据质量稽核机制、数据资产质量威望陈诉、知识库系统尺度化及流程深化办理等功效方面继续推进和发扬代价。
6.总结
数据质量是数据管理建立的紧张一环，与元数据办理、数据尺度化及数据办事办理等配合构建了数据管理的系统框架。建立一个完备DataMan质量羁系平台，将从监控、尺度、流程制度等方面提拔信息办理才能，优先办理所面对的数据质量和数据办事题目，其结果表现以下几个方面：
l 监控数据资产质量形态，为优化数据平台和数据堆栈功能、公道设置装备摆设数据存储资源提供决议计划支持；
l 继续推进数据质量监控优化预警、及时监控的机制；
l 重点优先监控要害中心数据资产，管控优化20%中心资源，可提拔80%需求使用功能；
l 标准了题目妨碍的跟踪、Review、优化方案。从数据中提炼代价，从方案中构成尺度化的知识系统；
l 由技能检测到商业监视，构成闭环事情流机制，提j9九游全体数据质量，片面提拔办事商业程度。
数据质量是数据堆栈建立、数据使用建立和决议计划支持的要害要素，可经过美满构造架谈判办理流程，增强部分间衔接和和谐，严厉依照尺度或稽核目标实行落地，确保数据质量方能将数据的贸易代价最大化，进而提拔企业的中心竞争力和坚持企业的可继续开展。
###
### 
chen.>### 
### 
中国 西安 橡树星座B座29层
