数据，是信息化的核心内容。数据清洗， 是整个信息化实施过程中不可缺少的一个环节，其结果质量直接关系到整个信息化的最终实施效果。在实际操作中，数据清洗通常会占据分析过程的50%—80%的时间。
一、预处理阶段
预处理阶段主要做两件事情：
一是将数据导入原始容器。一般是使用数据库的形式，我们称之为原始库。
二是数据预了解。一是看元数据，包括字段解释、数据来源、代码表等等一切描述数据的信息;二是抽取部分数据，人工查看，对数据本身有一个直观的了解，可以初步发现一些问题，为之后的处理做准备。
二、格式处理
数据源是软件系统、数据库等标准化的产品的话，通常在格式和内容方面，会与元数据的描述一致。而如果数据是由人工收集或用户填写而来，则有很大可能性在格式和内容上存在一些问题，简单来说，格式内容问题有以下几类：
1、时间、日期、文本、数值、全半角、货币单位等格式不一致
这种问题通常与输入端有关，在整合多来源数据时也有可能遇到，将其处理成一致的某种格式即可。
对于Excel等数据处理时，最好是采用原有模板，将采集来的数据拷贝到记事本等工具去除格式，再重新拷贝回模板中。
2、“非法”字符
某些内容可能只包括一部分字符，比如身份证号，可能存在头、尾、中间的空格，逗号等问题。这种情况下，需要以半自动校验半人工方式来找出可能存在的问题，并去除不需要的字符。
3、内容与字段属性不符
在人工采集的数据最容易出现此类问题，比如Excel中没有对齐，或者复制粘贴时格式、公式带过来了等等原因，导致姓名写了性别，身份证号写了手机号等各种千奇百怪的问题，都可能发生。 但该问题特殊性在于，采集工作安排不易，不能简单的以删除来处理，因此要详细识别问题类型，寻找解决办法。
格式问题是比较细节的问题，但很多分析失误都是栽在这个坑上，比如跨表关联或VLOOKUP失败、统计值不全(数字里掺个字母当然求和时结果有问题)、模型输出失败或效果不好(数据对错列了，把日期和年龄混了)。因此，请各位务必注意这部分清洗工作，尤其是在处理的数据是人工收集而来，要多做distinct去重查找数据内容的核验工作。
三、缺失值处理
缺失值是最常见的数据问题，处理缺失值也有很多方法，可如下分步骤进行：
1、确定缺失值范围：对每个属性都计算其缺失值比例，然后按照缺失比例和该属性的重要性，分别制定策略，可用下图表示：
2、去除不必要字段：这一步很简单，直接删掉即可……但强烈建议清洗每做一步都备份一下，或者在小规模数据上试验成功再处理全量数据，不然删错了会追悔莫及(多说一句，写SQL的时候delete一定要配where!Update必须先select)。
3、填充缺失属性值：某些缺失值可以进行填充，方法有以下三种：
Ø 以业务知识或经验常识推测填充缺失值
Ø 以同一指标的计算结果(均值、中位数、众数等)填充缺失值
Ø 以不同指标的计算结果填充缺失值
前两种方法比较好理解。关于第三种方法，举个最简单的例子：年龄、性别属性缺失，但是有身份证号，这还是多大的事么…
4、重新取数
如果某些指标非常重要，那就需要和业务人员重新获取数据。如14位、19位的身份证号码等等。
四、逻辑错误处理
使用简单逻辑推理就可以直接发现问题的数据，以下为几个常用到的方法：
1、去重
不是所有的重复都能这么简单的去掉，要根据业务的合理性进行处理。
举个栗子，某人员基础相关的数据，一个地方叫做“ABC管家渡“，某用户在系统里又录入一个”ABC官家渡“。不仔细看你都看不出两者的区别，而且就算看出来了，你能保证没有”ABC官家渡“这种地方的存在么……这种时候，要么去抱RD大腿要求人家给你写模糊匹配算法，要么肉眼看吧。
2、去除不合理值
年龄300岁，抚恤金200000万，这种的就要么删掉，要么按缺失值处理。
3、修正矛盾内容
有些字段是可以互相验证的，举例：身份证号是5102221956XXXX5718，然后年龄填28岁，性别填女，这显然是不合理的。在这种时候，需要根据字段的数据来源，来判定哪个字段提供的信息更为可靠，通过其对应的规则去除或重构不可靠的属性。
除了以上列举的情况，还有很多未列举的情况，在实际操作中要酌情处理。另外，这一步骤在之后的数据分析建模过程中有可能重复，因为即使问题很简单，也并非所有问题都能够一次找出，我们能做的是使用工具和方法，尽量减少问题出现的可能性，从而提高数据的可用性。
五、其他非需求数据处理
这一步说起来非常简单：把不必要的字段删了。
但实际操作起来，有很多问题，例如：
Ø 把看上去不需要但实际上对业务很重要的字段删了;
Ø 某个字段觉得有用，但又没想好怎么用，不知道是否该删;
Ø 一时看走眼，删错字段了。
前两种情况我给的建议是：如果数据量没有大到不删字段就没办法处理的程度，那么能不删的字段尽量不删。第三种情况，请勤备份数据……
六、关联性验证
如果你的数据有多个来源，那么有必要进行关联性验证。例如，同一个区县，存在“杨家坪”和“扬家坪”两个街道，同时具有“九龙街道”和“九龙镇”，那么需要调整部分数据了。
数据整合是个非常复杂的工作，一定要注意数据之间的关联性，尽量在分析过程中不要出现数据之间互相矛盾，而你却毫无察觉的情况。
