分析技术专栏

数据清洗到底该先修哪一步?一份面向业务场景的优先级参考指南

数据清洗到底该先修哪一步?一份面向业务场景的优先级参考指南

为什么“全都修一遍”往往是最差的选择

很多团队启动数据清洗时,第一反应是把所有字段过一遍:缺失值补上、格式统一、重复记录删掉。听起来很完整,实际执行到一半就会发现人力不够、业务等不及,最后草草收场。问题不在态度,而在缺少排序逻辑。数据清洗本质是一次资源分配,江南在多个数据治理项目中反复验证过一个结论:决定清洗效果的不是修了多少条,而是先修了哪几类问题。

要把优先级排清楚,需要先回答三个问题:这类脏数据影响哪些业务动作?修它需要多少成本?修完之后能不能被多个场景复用?三个问题分别对应业务影响、修复成本、复用价值,构成一个简单但有效的判断框架。

三个维度:业务影响、修复成本、复用价值

业务影响看的是脏数据会不会直接导致错误决策。比如订单金额字段存在空值,会直接影响收入统计和提成核算,属于高影响;而客户备注里的错别字,几乎不影响任何分析结论,属于低影响。江南建议用“是否进入核心指标计算链路”作为快速判断标准,进入链路的优先处理。

修复成本包括技术难度和协调难度。格式统一、去重、空值填补这类问题通常技术成本低;而涉及跨系统口径对齐、需要业务部门确认规则的问题,协调成本高,往往要排期推进。成本高的不一定要往后放,但需要提前预留沟通时间。

复用价值指的是修好之后能被多少张报表、多少个分析场景使用。客户主数据、组织架构、产品分类这类基础字段,一次修好长期受益;某个临时活动表的特殊字段,修完可能只用一次。江南在评估时通常把复用价值高的基础数据放在靠前位置,避免反复返工。

  • 高影响、低成本、高复用:立即处理,通常是主数据与核心指标字段。
  • 高影响、高成本、高复用:立项推进,提前拉齐业务规则。
  • 低影响、低成本、低复用:批量脚本顺带处理,不单独投入人力。
  • 低影响、高成本、低复用:暂缓,记录在案即可。

一套可落地的清洗顺序参考

基于上述框架,江南通常建议按以下顺序推进:第一步处理主数据重复与缺失,因为客户、产品、组织三类主数据几乎贯穿所有分析场景;第二步统一核心指标的取数口径与单位,避免同一指标多个版本;第三步清理进入报表计算链路的事实表字段,包括金额、数量、状态等;第四步处理维度表的编码与层级关系;最后再考虑文本类字段的规范化。这个顺序不是铁律,但能覆盖大多数业务分析场景的共性需求。

执行过程中还有两个细节值得注意。一是建立清洗日志,记录每类问题的处理规则和处理量,方便后续追溯和复用;二是把高频出现的脏数据问题反推到录入环节,从源头减少重复清洗。江南在服务客户时会把这两步作为交付标准的一部分,因为清洗一次是项目,减少脏数据产生才是能力。

数据清洗没有一劳永逸的方案,但有可以复用的判断方法。先把影响业务决策的那部分修好,再逐步扩展到边缘场景,团队会发现投入产出比明显改善。

文章标签
数据清洗 数据质量 优先级判断 业务影响 江南
← 返回 分析技术专栏
Comments

网友评论共 2483 次浏览

来自读者的观点与补充,欢迎在栏目内继续交流。

数据小舟 1楼

我们上次就是全量清洗,做了三周业务方一直催,后来按影响面排了一下,两天就把核心报表的问题解决了。

110
林间有数 2楼

复用价值这个维度很关键,主数据修一次省好多事,之前没意识到。

237
报表搬砖人 3楼

想问下清洗日志一般记到什么颗粒度比较合适,我们现在只记了处理条数。

222
南山客 4楼

第四步维度表编码那块深有体会,层级一乱后面所有汇总都跟着错。

20
阿棠分析笔记 5楼

低影响高成本的暂缓这个思路挺好,以前总觉得问题不修完心里不踏实。

82

评论内容由网友发布,仅代表其个人观点。