本文目录一览：
- 1、数据清洗的内容有哪些
- 2、数据清洗
- 3、什么是数据清洗？
- 4、数据清洗的意义
数据清洗的内容有哪些
数据清洗的内容包括：选择子集、列名重命名、缺失值处理、数据类型转换、异常值处理以及数据排序。
1、选择子集
在数据分析的过程中，有可能数据量会非常大，但并不是每一列都有分析的价值，这时候就要从这些数据中选择有用的子集进行分析，这样才能提高分析的价值和效率。
2、列名重命名
在数据分析的过程中，有些列名和数据容易混淆或者让人产生歧义。
3、缺失值处理
获取的数据中很可能存在这缺失值，这会对分析的结果造成影响。
4、数据类型的转换
在导入数据的时候为了防止导入不进来，python会强制转换为object类型，然是这样的数据类型在分析的过程中不利于运算和分析。
数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。
数据清洗方法：一般来说，数据清理是将数据库精简以除去重复记录，并使剩余部分转换成标准可接收格式的过程。数据清理标准模型是将数据输入到数据清理处理器，通过一系列步骤“ 清理”数据，然后以期望的格式输出清理过的数据。数据清理从数据的准确性、完整性、一致性、惟一性、适时性、有效性几个方面来处理数据的丢失值、越界值、不一致代码、重复数据等问题。
数据清洗
从两个角度上看，数据清洗一是为了解决数据质量问题，二是让数据更适合做挖掘。不同的目的下分不同的情况，也都有相应的解决方式和方法。在此简略描述一下，若有错误，请指出，不胜感激！
解决数据质量问题
解决数据的各种问题，包括但不限于：
数据的完整性----例如人的属性中缺少性别、籍贯、年龄等
数据的唯一性----例如不同来源的数据出现重复的情况
数据的权威性----例如同一个指标出现多个来源的数据，且数值不一样
数据的合法性----例如获取的数据与常识不符，年龄大于150岁
数据的一致性----例如不同来源的不同指标，实际内涵是一样的，或是同一指标内涵不一致
数据清洗的结果是对各种脏数据进行对应方式的处理，得到标准的、干净的、连续的数据，提供给数据统计、数据挖掘等使用。
那么为了解决以上的各种问题，我们需要不同的手段和方法来一一处理。
每种问题都有各种情况，每种情况适用不同的处理方法，具体如下：
解决数据的完整性问题：
解题思路：数据缺失，那么补上就好了。
补数据有什么方法？
通过其他信息补全，例如使用身份证件号码推算性别、籍贯、出生日期、年龄等
通过前后数据补全，例如时间序列缺数据了，可以使用前后的均值，缺的多了，可以使用平滑等处理，Matlab可以自动补全
实在补不全的，虽然很可惜，但也必须要剔除。但是不要删掉，没准以后可以用得上
解决数据的唯一性问题
解题思路：去除重复记录，只保留一条。
去重的方法有：
按主键去重，用sql或者excel“去除重复记录”即可，
按规则去重，编写一系列的规则，对重复情况复杂的数据进行去重。例如不同渠道来的客户数据，可以通过相同的关键信息进行匹配，合并去重。
解决数据的权威性问题
解题思路：用最权威的那个渠道的数据
方法:
对不同渠道设定权威级别，例如：在家里，首先得相信媳妇说的。。。
解决数据的合法性问题
解题思路：设定判定规则
设定强制合法规则，凡是不在此规则范围内的，强制设为最大值，或者判为无效，剔除
字段类型合法规则：日期字段格式为“2010-10-10”
字段内容合法规则：性别 in （男、女、未知）；出生日期=今天
设定警告规则，凡是不在此规则范围内的，进行警告，然后人工处理
警告规则：年龄》110
离群值人工特殊处理，使用分箱、聚类、回归、等方式发现离群值
解决数据的一致性问题
解题思路：建立数据体系，包含但不限于：
指标体系（度量）
维度（分组、统计口径）
单位
频度
数据
让数据更适合做挖掘或展示
目标包括但不限于：
高维度----不适合挖掘
维度太低----不适合挖掘
无关信息----减少存储
字段冗余----一个字段是其他字段计算出来的，会造成相关系数为1或者主成因分析异常）
多指标数值、单位不同----如GDP与城镇居民人均收入数值相差过大
解决高维度问题
解题思路：降维，方法包括但不限于：
主成分分析
随机森林
解决维度低或缺少维度问题
解题思路：抽象，方法包括但不限于：
各种汇总，平均、加总、最大、最小等
各种离散化，聚类、自定义分组等
解决无关信息和字段冗余
解决方法：剔除字段
解决多指标数值、单位不同问题
解决方法：归一化，方法包括但不限于：
最小-最大
零-均值
小数定标
什么是数据清洗？
数据清洗，就是把一些杂乱无章的，和不可用的数据清理掉，留下正常的可用数据。
数据清洗的意义
数据清理也称为数据清理，用于检测和纠正(或删除)记录集，表或数据库中的不准确或损坏的记录。广义上讲，数据清除或清除是指识别不正确，不完整，不相关，不准确或其他有问题的数据部分，然后替换，修改或删除该脏数据。
数据清洗的意义：简单来说，通常认为数据清理是无用途的部分（不完整，不影响结果的数据）。但这是一个有价值的过程，可以帮助企业节省时间并提高效率。
数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。
数据清洗从名字上也看的出就是把“脏”的“洗掉”，指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲突的数据显然是我们不想要的，称为“脏数据”。我们要按照一定的规则把“脏数据”“洗掉”，这就是数据清洗。而数据清洗的任务是过滤那些不符合要求的数据，将过滤的结果交给业务主管部门，确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。数据清洗是与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。