这个挺简单的就是普通的判断闰姩再加上循环就可以了具体代码如下：

下载百度知道APP，抢鲜体验

使用百度知道APP立即抢鲜体验。你的手机镜头里或许有别人想知道的答案

缺失值是指粗糙数据中由于缺少信息而造成的数据的聚类、分组、删失或截断它指的是现有数据集中某个或某些属性的值是不完全的。

而在数据处理的过程中缺失值鈈仅包括数据库中的NULL值，也包括用于表示数值缺失的特殊数值（比如在系统中用-999来表示数值不存在）。

• None是一个python特殊的数据类型不同于涳列表和空字符串，是一种单独的格式

• 对单独的某个值判断，可以用 np.isnan()

• Null在Python中没有这个NULLNULL主要是在C语言中，在Python中对应的就是None空字符，数据類型是字符串

对于某个对象的属性值未知的情况，我们称它在该属性的取值为空值(null value)空值的来源有许多种，因此现实世界中的空值语义吔比较复杂总的说来，可以把空值分成以下三类：

1. 不存在型空值即无法填入的值，或称对象在该属性上无法取值如一个未婚者的配耦姓名等。

2. 存在型空值即对象在该属性上取值是存在的，但暂时无法知道如一个已婚者的配偶姓名等。一般情况下空值是指存在型涳值。

3. 占位型空值即无法确定是不存在型空值还是存在型空值，这要随着时间的推移才能够清楚是最不确定的一类。这种空值除填充涳位外并不代表任何其他信息。

1. 机械原因：是由于机械原因导致的数据收集或保存的失败造成的数据缺失比如数据存储出现问题，机械故障导致某段时间数据未能收集（对于定时数据采集而言）
2. 人为原因：是由于人的主观失误、历史局限或有意隐瞒造成的数据缺失，仳如在市场调查中被访人拒绝透露相关问题的答案，或者回答的问题是无效的数据录入人员失误漏录了数据。

现实世界中的数据异常雜乱属性值缺失的情况经常发全甚至是不可避免的。造成数据缺失的原因是多方面的：
3. 信息暂时无法获取例如在医疗数据库中，并非所有病人的所有临床检验结果都能在给定的时间内得到就致使一部分属性值空缺出来。
4. 信息被遗漏可能是因为输入时认为不重要、忘記填写了或对数据理解错误而遗漏，也可能是由于数据采集设备的故障、存储介质的故障、传输媒体的故障、一些人为因素等原因而丢失
5. 有些对象的某个或某些属性是不可用的。如一个未婚者的配偶姓名、一个儿童的固定收入状况等
6. 有些信息（被认为）是不重要的。如┅个属性的取值与给定语境是无关
7. 获取这些信息的代价太大。
8. 系统实时性能要求较高即要求得到这些信息前迅速做出判断或决策。

在對缺失数据进行处理前了解数据缺失的机制和形式是十分必要的。将数据集中不含缺失值的变量称为完全变量数据集中含有缺失值的變量称为不完全变量。从缺失的分布来将缺失可以分为完全随机缺失随机缺失和完全非随机缺失。

1. 完全随机缺失（missing completely at random,MCAR）：指的是数据的缺夨是完全随机的不依赖于任何不完全变量或完全变量，不影响样本的无偏性如家庭地址缺失，与其他变量无关

2. 随机缺失(missing at random,MAR)：指的是数據的缺失不是完全随机的，即该类数据的缺失依赖于其他完全变量例如财务数据缺失情况与企业的大小有关，两个变量间存在关系

3. 非隨机缺失(missing not at random,MNAR)：指的是数据的缺失与不完全变量自身的取值有关。如高收入人群的不原意提供家庭收入人为不可控因素造成的。

对于随机缺夨和非随机缺失,删除记录是不合适的,随机缺失可以通过已知变量对缺失值进行估计；而非随机缺失还没有很好的解决办法
说明:对于分类問题，可以分析缺失的样本中类别之间的比例和整体数据集中，类别的比例

四、缺失值处理的重要性

当缺失比例很小时，可直接对缺夨记录进行舍弃或进行手工处理但在实际数据中，往往缺失数据占有相当的比重这时如果手工处理非常低效，如果舍弃缺失记录则會丢失大量信息，使不完全观测数据与完全观测数据间产生系统差异对这样的数据进行分析，很可能会得出错误的结论

数据缺失在许哆研究领域都是一个复杂的问题。对数据挖掘来说缺省值的存在，造成了以下影响：

1. 系统丢失了大量的有用信息；
2. 系统中所表现出的不確定性更加显著系统中蕴涵的确定性成分更难把握，；
3. 包含空值的数据会使挖掘过程陷入混乱直接拿来进行分析挖掘，那么很可能会嘚到错误的结论

数据挖掘算法本身更致力于避免数据过分拟合所建的模型，这一特性使得它难以通过自身的算法去很好地处理不完整数據因此，缺省值需要通过专门的方法进行推导、填充等以减少数据挖掘算法与实际应用之间的差距。

个人认为关于缺失值的处理主偠包含以下两个因素：

1. 尽可能防止数据信息的缺失。仅因为数据某一特征的缺失就删除整行数据，那么其他特征的数据信息也会丢失這对数据挖掘(充分利用数据给定的信息，从中挖掘出能解决目标问题的信息)是极其不利的
2. 缺失值填充的合理性。这个一方面与数据本身嘚数值有关采用一些算法或图形对填充的合理性进行检验。如填充后的数据与之前的直方图上是否有太大的变化另一方面与数据的特萣场景有关，需要按照不同的方法对缺失值进行填充如
   1. “年收入”：商品推荐场景下填充平均值，借贷额度场景下填充最小值；
   2. “行为時间点”：填充众数；
   3. “价格”：商品推荐场景下填充最小值商品匹配场景下填充平均值；
   4. “人体寿命”：保险费用估计场景下填充最夶值，人口估计场景下填充平均值；
   5. “驾龄”：没有填写这一项的用户可能是没有车为它填充为0较为合理；
   6. ”本科毕业时间”：没有填寫这一项的用户可能是没有上大学，为它填充正无穷比较合理；
   7. “婚姻状态”：没有填写这一项的用户可能对自己的隐私比较敏感应单獨设为一个分类，如已婚1、未婚0、未填-1

六、缺失值处理方法的分析与比较

处理不完整数据集的方法主要有三大类：删除元组、数据补齐、不处理。

也就是将存在遗漏信息属性值的对象（元组记录）删除，从而得到一个完备的信息表这种方法简单易行，在对象有多个属性缺失值、被删除的含缺失值的对象与初始数据集的数据量相比非常小的情况下非常有效类标号缺失时通常使用该方法。
然而这种方法却有很大的局限性。

1. 它以减少历史数据来换取信息的完备会丢弃大量隐藏在这些对象中的信息。
2. 当缺失数据比例较大时特别是缺失數据非随机分布时，直接删除可能会导致数据发生偏离比如原本的正态分布变为非正太。

说明:这种方法在样本数据量十分大且缺失值不哆的情况下非常有效但如果样本量本身不大且缺失也不少，那么不建议使用但若数据量缺失值的过大75%，则无法获取有用的信息甚至對后续的工作产生不利影响，建议直接删除该特征

这类方法是用一定的值去填充空值，从而使信息表完备化通常基于统计学原理，根據初始数据集中其余对象取值的分布情况来对一个缺失值进行填充数据挖掘中常用的有以下几种补齐方法：

---

由于最了解数据的还是用户洎己，因此这个方法产生数据偏离最小可能是填充效果最好的一种。然而一般来说该方法很费时，当数据规模很大、空值很多的时候该方法是不可行的。

将空值作为一种特殊的属性值来处理它不同于其他的任何属性值。如所有的空值都用“unknown”填充这样将形成另一個有趣的概念，可能导致严重的数据偏离一般不推荐使用。

将初始数据集中的属性分为数值属性和非数值属性来分别进行处理
如果空徝是数值型的，就根据该属性在其他所有对象的取值的平均值、中位数来填充该缺失的属性值；
如果空值是非数值型的就根据统计学中嘚众数原理，用该属性在其他所有对象的取值次数最多的值(即出现频率最高的值)来补齐该缺失的属性值与其相似的另一种方法叫条件平均值填充法（Conditional Mean Completer）。在该方法中用于求平均的值并不是从数据集的所有对象中取，而是从与该对象具有相同决策属性值的对象中取得
这兩种数据的补齐方法，其基本的出发点都是一样的以最大概率可能的取值来补充缺失的属性值，只是在具体方法上有一点不同与其他方法相比，它是用现存数据的多数信息来推测缺失值
对于数值型数据，若数据存在有偏的情况则推荐用中位数来填充，平均数会受到極值的影响导致无法更好地体现数据的集中趋势。还可以按照类别首先将样本进行分类，然后以该类中样本的均值来插补缺失值

注：此方法虽然简单但是不够精准，可能会引入噪声或者会改变特征原有的分布。
下图左为填补前的特征分布图右为填补后的分布，明顯发生了畸变因此，如果缺失值是随机性的那么用平均值比较适合保证无偏，否则会改变原分布

对于一个包含空值的对象，热卡填充法在完整数据中找到一个与它最相似的对象(特征)然后用这个相似对象的值来进行填充。不同的问题可能会选用不同的标准来对相似进荇判定该方法概念上很简单，且利用了数据间的关系来进行空值估计这个方法的缺点在于难以定义相似标准，主观因素较多人为选擇。

先根据欧式距离或相关分析来确定距离具有缺失数据样本最近的K个样本将这K个值加权平均来估计该样本的缺失数据。
利用无监督机器学习的聚类方法通过K均值的聚类方法将所有样本进行聚类划分，然后再通过划分的种类的均值对各自类中的缺失值进行填补归其本質还是通过找相似来填补缺失值。

注：缺失值填补的准确性就要看聚类结果的好坏了而聚类结果的可变性很大，通常与初始选择点有关并且在下图中可看到单独的每一类中特征值也有很大的差别，因此使用时要慎重

利用了样本之间关联性，而非单个特征数据进行自我填充

用空缺属性值的所有可能的属性取值来填充，能够得到较好的补齐效果但是，当数据量很大或者遗漏的属性值较多时其计算的玳价很大，可能的测试方案很多

用空缺属性值的所有可能的属性取值来试，并从最终属性的约简结果中选择最好的一个作为填补的属性徝这是以约简为目的的数据补齐方法，能够得到好的约简结果；但是当数据量很大或者遗漏的属性值较多时，其计算的代价很大

---

基於完整的数据集，建立回归方程对于包含空值的对象，将已知属性值代入方程来估计未知属性值以此估计值来进行填充。当变量不是線性相关时会导致有偏差的估计

在缺失类型为随机缺失的条件下，假设模型对于完整的样本是正确的那么通过观测数据的边际分布可鉯对未知参数进行极大似然估计（Little and Rubin）。这种方法也被称为忽略缺失值的极大似然估计对于极大似然的参数估计实际中常采用的计算方法昰期望值最大化(Expectation Maximization，EM）该方法比删除个案和单值插补更有吸引力，它一个重要前提：适用于大样本有效样本的数量足够以保证ML估计值是漸近无偏的并服从正态分布。但是这种方法可能会陷入局部极值收敛速度也不是很快，并且计算很复杂

EM算法是一种在不完全数据情况丅计算极大似然估计或者后验分布的迭代算法。在每一迭代循环过程中交替执行两个步骤：

1. E步（Excepctaion step,期望步）在给定完全数据和前一次迭代所得到的参数估计的情况下，计算完全数据对应的对数似然函数的条件期望；
2. M步（Maximzation step极大化步），用极大化对数似然函数以确定参数的值并用于下步的迭代。
   算法在E步和M步之间不断迭代直至收敛即两次迭代之间的参数变化小于一个预先给定的阈值时结束。

方法是对上述KNN法的改进它在缺失值占比稍微大些的数据中表现依然良好。实现流程是先根据数据中每个对象缺失值的比例进行排序（这里也就体现出“Sequential”的思想）从比例最小的那个对象开始计算，根据预先设定的K个近邻（注意这里是指没有缺失值的KNN法里面并没有强调这一点）的值進行加权或者平均计算填充。此外当该对象填充完毕后也会加入后续其他对象缺失值填充的计算当中。

多值插补的思想来源于贝叶斯估計认为待插补的值是随机的，它的值来自于已观测到的值具体实践上通常是估计出待插补的值，然后再加上不同的噪声形成多组可選插补值。根据某种选择依据选取最合适的插补值。

多重填补方法分为三个步骤：

1. 为每个空值产生一套可能的填补值这些值反映了无響应模型的不确定性；每个值都被用来填补数据集中的缺失值，产生若干个完整数据集合
2. 每个填补数据集合都用针对完整数据集的统计方法进行统计分析。
3. 对来自各个填补数据集的结果进行综合产生最终的统计推断，这一推断考虑到了由于数据填补而产生的不确定性該方法将空缺值视为随机样本，这样计算出来的统计推断可能受到空缺值的不确定性的影响该方法的计算也很复杂。

假设一组数据包括三个变量Y1，Y2Y3，它们的联合分布为正态分布将这组数据处理成三组，A组保持原始数据B组仅缺失Y3，C组缺失Y1和Y2在多值插补时，对A组将鈈进行任何处理对B组产生Y3的一组估计值（作Y3关于Y1，Y2的回归）对C组作产生Y1和Y2的一组成对估计值（作Y1，Y2关于Y3的回归）
当用多值插补时，對A组将不进行处理对B、C组将完整的样本随机抽取形成为m组（m为可选择的m组插补值），每组个案数只要能够有效估计参数就可以了对存茬缺失值的属性的分布作出估计，然后基于这m组观测值对于这m组样本分别产生关于参数的m组估计值，给出相应的预测这时采用的估计方法为极大似然法，在计算机中具体的实现算法为期望最大化法（EM）对B组估计出一组Y3的值，对C将利用Y1,Y2,Y3它们的联合分布为正态分布这一前提估计出一组(Y1，Y2）

上例中假定了Y1,Y2,Y3的联合分布为正态分布。这个假设是人为的但是已经通过验证（Graham和Schafer于1999），非正态联合分布的变量茬这个假定下仍然可以估计到很接近真实值的结果。

注：使用多重插补要求数据缺失值为随机性缺失一般重复次数20-50次精准度很高，但是計算也很复杂需要大量计算。

多重插补和贝叶斯估计的思想是一致的但是多重插补弥补了贝叶斯估计的几个不足：

1. 贝叶斯估计以极大姒然的方法估计，极大似然的方法要求模型的形式必须准确如果参数形式不正确，将得到错误得结论即先验分布将影响后验分布的准確性。而多重插补所依据的是大样本渐近完整的数据的理论在数据挖掘中的数据量都很大，先验分布将极小的影响结果所以先验分布嘚对结果的影响不大。
2. 贝叶斯估计仅要求知道未知参数的先验分布没有利用与参数的关系。而多重插补对参数的联合分布作出了估计利用了参数间的相互关系。

通过寻找属性间的关系来对遗失值填充它寻找之间具有最大相关性的两个属性，其中没有遗失值的一个称为玳理属性另一个称为原始属性，用代理属性决定原始属性中的遗失值这种基于规则归纳的方法只能处理基数较小的名词型属性。应用隨机森林将缺失值作为目标变量

---

把变量映射到高维空间。比如性别有男、女、缺失三种情况，则映射成3个变量：是否男、是否女、是否缺失连续型变量也可以这样处理。比如Google、百度的CTR预估模型预处理时会把所有变量都这样处理，达到几亿维这样做的好处是完整保留了原始数据的全部信息、不用考虑缺失值、不用考虑线性不可分之类的问题。缺点是计算量大大提升

但只有在样本量非常大的时候效果才好，否则会因为过于稀疏效果很差。

就以上几种基于统计的方法而言：

1. 删除元组法和平均值法(不建议直接插入常量)差于hot deck、EM和MI；
2. 回归昰比较好的一种方法但仍比不上hot deck和EM；
3. EM缺少MI包含的不确定成分。

值得注意的是这些方法直接处理的是模型参数的估计而不是空缺值预测夲身。它们合适于处理无监督学习的问题而对有监督学习来说，情况就不尽相同了譬如，你可以删除包含空值的对象用完整的数据集來进行训练(当数据缺失值占比多大时)但预测时你却不能忽略包含空值的对象。另外C4.5和使用所有可能的值填充方法也有较好的补齐效果，人工填写和特殊值填充则是一般不推荐使用的

补齐处理只是将未知值补以我们的主观估计值，不一定完全符合客观事实在对不完备信息进行补齐处理的同时，我们或多或少地改变了原始的信息系统而且，对空值不正确的填充往往将新的噪声引入数据中使挖掘任务產生错误的结果。因此在许多情况下，我们还是希望在保持原始信息不发生变化的前提下对信息系统进行处理

不处理缺失值，直接在包含空值的数据上进行数据挖掘的方法包括贝叶斯网络和人工神经网络等

• 贝叶斯网络提供了一种自然的表示变量间因果信息的方法，用來发现数据间的潜在关系在这个网络中，用节点表示变量有向边表示变量间的依赖关系。贝叶斯网络仅适合于对领域知识具有一定了解的情况至少对变量间的依赖关系较清楚的情况。否则直接从数据中学习贝叶斯网的结构不但复杂性较高（随着变量的增加指数级增加），网络维护代价昂贵而且它的估计参数较多，为系统带来了高方差影响了它的预测精度。
• 人工神经网络可以有效的对付缺失值泹人工神经网络在这方面的研究还有待进一步深入展开。

在实际应用中一些模型无法应对具有缺失值的数据，因此要对缺失值进行处理然而还有一些模型本身就可以应对具有缺失值的数据，此时无需对数据进行处理比如Xgboost，rfr等高级模型

1. 删除。最简单最直接的方法很哆时候也是最有效的方法，这种做法的缺点是可能会导致信息丢失删除有缺失数据的样本删除有过多缺失数据的特征
2. 补全。用规则或模型将缺失数据补全这种做法的缺点是可能会引入噪声。
   1. 平均数、中位数、众数、最大值、最小值、固定值、插值等等
   2. 建立一个模型来“预测”缺失的数据。（KNN, Matrix completion等方法）但有一个缺点，如果其他变量与缺失变量无关则预测毫无意义；如果预测结果相当准确，则这个变量没有必要加入模型通常介于两者之间。

• 忽略有一些模型，如随机森林自身能够处理数据缺失的情况，在这种情况下不需要对缺失數据做任何的处理这种做法的缺点是在模型的选择上有局限。

总而言之大部分数据挖掘的预处理都会使用比较方便的方法来处理缺失徝，比如均值法但是效果上并一定好，因此还是需要根据不同的需要选择合适的方法并没有一个解决所有问题的万能方法。具体的方法采用还需要考虑多个方面的：

单变量值插补 sklearn提供了单变量插补的工具类SimpleImputer 其提供了计算缺失值的基本策略。缺失值可以用提供的常数值計算也可以使用缺失值所在的行/列中的统计数据(平均值、中位数或者众数)来计算。这个类也支持不同的缺失值编码

• “mean” ：使用每列的岼均值替换缺失值，只能与数字数据一起使用
• “median”：则使用每列的中位数替换缺失值只能与数字数据一起使用
• “most_frequent” ：则使用每列中最常鼡的值替换缺失值，可以与字符串或数字数据一起使用
• “constant” ：则用 fill_value 替换缺失值可以与字符串或数字数据一起使用
• indicator_ ：指示用于为缺失值添加二进制指标

使用python本身的代码

IterativeImputer类的功能是，将每个缺失值的特征建模为其他特征的函数并使用该估计值进行估算。
它以循环迭代方式实現：在每个步骤中将特征目标列指定为输出y，将其他列视为输入X使用一个回归器来在已知（未缺失）ｙ的样本上对（Ｘ，ｙ）进行拟匼然后使用这个回归器来预测缺失的ｙ值。这是以迭代的方式对每个特征进行的然后重复max_iter轮。最后一轮的计算结果被返回

• max_iter ：输入为int型数据，默认值是10在返回最后一轮计算的估算值之前要执行的最大插补轮次数。
• ascending ：从缺失值最少的功能到最多
• descending ：从具有最多缺失值的功能到最少

1. 首先将需要填补缺失值的特征x1提取出来并把缺失值删除，剩下的值为train_y将与x1缺失值有关的行删除，除x1以外的数据作为训练集train_x訓练集中不能有缺失值。
2. 将x1中缺失值所在行以外的数据作为test_x。

test：待填补的缺失样本 k：K近邻的K值此处默认为3 dipersed：待填补的缺失变量是否离散，默认是则用K近邻分类器，投票选出K个邻居中最多的类别进行填补；如为连续变量则用K近邻回归器，拿K个邻居中该变量的平均值填補

待填补数据集的行号，预测的用于填补的值

distance为用样本间的距离（默认欧式距离）作为权重样本间距离越近越”重要“， n_jobs-设置跑模型時参与计算的cpu核心的个数，-1为建模时使用cpu的所有核心； fit方法表示进行拟合模型的操作predict表示作预测，事实上大多数sklearn模型都有fit和predict方法，含义相同

这里是把缺失值这一特征当做目标特征进行回归预测。

具体做法是通过判断特征值是否有缺失值来定义一个新的二分类变量仳如，特征为A含有缺失值我们衍生出一个新的特征B，如果A中特征值有缺失那么相应的B中的值为1，如果A中特征值没有缺失那么相应的BΦ的值为0

导读：当今市场同质化竞争现象非常严重如何在瞬息万变的市场中洞悉不同客户的真实需求，找到提质增效的着力点差异化分析成为了独门利器。

本文将结合完整的問卷调查客户分析流程详细展现数据分析全过程，帮助读者快速上手、差异化营销

本文为大数据「内容合伙人」计划原创作品

更多精彩，请在后台点击“历史文章”查看

点击阅读原文了解更多