分析技术专栏

从一张销售周报的返工说起:数据清洗流程里最容易被忽略的三个环节

从一张销售周报的返工说起:数据清洗流程里最容易被忽略的三个环节

一张周报为什么改了四遍

周例会上,区域经理程远舟把销售周报投到屏幕上,数字和上个季度对不上。负责出数的分析员林晓彤已经改到第四版,问题不在公式,而在源头:客户名称有全称和简称两种写法,订单金额有的含税有的不含税,还有几条记录的成交时间落在了空值里。这类场景在江南服务过的业务团队中并不少见,报表本身不复杂,难的是数据进入分析环节之前的整理。

数据清洗常被当成机械劳动,实际上它决定了后续所有分析的可信度。江南在多个数据整合项目中总结出一条经验:清洗不是一次性动作,而是一套可以写下来、反复执行的检查流程。

环节一:字段口径先对齐,再动手

很多返工源于口径没确认就开始处理。同样是“活跃客户”,市场部按近三个月有互动计算,销售部按近半年有成交计算,两个口径混在一张表里,结论必然打架。江南建议在清洗开始前做一份字段说明,至少写清三件事:

  • 字段的业务含义与计算方式,例如金额是否含税、是否扣除退款;
  • 取数范围与时间边界,例如按订单创建时间还是支付时间统计;
  • 责任人与确认方式,避免分析员自行猜测。

这份说明不需要很长,但要跟着报表一起留存。江南在交付统计报表开发项目时,通常会把字段说明作为附件随报表发布,后续换人接手也能快速理解。

环节二:缺失值要分类,不要一刀切

缺失值处理最常见的做法是直接删除或填零,这两种做法都可能引入偏差。林晓彤遇到的成交时间空值,如果直接删除,会低估当周成交量;如果填成当天,又会把历史订单算进本周。

更稳妥的做法是先分类:是录入遗漏、系统未回传,还是业务上本就不存在该字段。江南在数据质量管理实践中通常按以下顺序处理:

  • 能回溯到源系统的,优先补录,而不是在分析层修补;
  • 无法补录但比例较低的,标记后单独统计,不混入主口径;
  • 比例较高的,先排查采集环节,再决定是否调整指标定义。

把缺失值当成一个需要解释的现象,而不是需要消灭的麻烦,分析结论会稳很多。

环节三:异常值要复核,不要急着剔除

异常值往往藏着业务信息。某笔订单金额是均值的十几倍,可能是团购大单,也可能是单位填错。江南在处理业务数据整合时,习惯先做一次异常值清单,逐条标注可能原因,再和业务方确认。确认之后再决定保留、修正还是剔除,并把处理方式记录在案。

程远舟后来和林晓彤一起把这三个环节写成了一页检查清单,贴在周报模板旁边。下一周的周报一次通过,省下的时间用来做区域结构分析。数据清洗的价值不在于把数据变干净,而在于让每一次分析都有据可查。江南也把这套思路固化进了数据管理系统的流程配置里,让检查动作不依赖个人记忆。

文章标签
数据清洗 数据质量 分析流程
← 返回 分析技术专栏
Comments

网友评论共 19521 次浏览

来自读者的观点与补充,欢迎在栏目内继续交流。

用户名 1楼

报表打工人|字段口径那条太真实了,我们财务和运营的“有效订单”定义差了两个条件,每次对账都要吵一轮。

107
用户名 2楼

林间有风|缺失值分类这个说法第一次见,以前都是直接删,难怪月度趋势总是忽高忽低。

124
用户名 3楼

老周看数据|异常值清单是个好办法,我们上次把一笔测试单当成大客户,白高兴一场。

95
用户名 4楼

数据小柯|建议把检查清单模板化,新人接手的时候少走很多弯路。

90
用户名 5楼

南风知我意|周报返工四遍,说的就是我本人,收藏了。

184

评论内容由网友发布,仅代表其个人观点。