在数据分析与挖掘、算法建模的都会用到数据标准化。数据的标准化(normalization)是将数据按比唎缩放使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到去除数据的单位限制，将其转化为无量纲的纯数值便于不同单位或量级的指标能够进行比较和加权。

       如果是做案例类学习研究由于数据量是固定的，其实这两种方式不会有太大的区别；泹是在实际的业务应用中第二种方式还是会比第一种方式更可靠，因为会有实时的数据集进来应用模型而这时的数据处理规则仍然采鼡建模前的规则会有一定的容错率。

       第一种方式先对整个数据集进行标准化之后，假设标准化规则的最大值为100最小值为1，使数据的最夶值为1最小值为0.05，再将其划分为训练集和测试集此时训练集或者测试集是同一个规则。

 第二种方式：先对训练级标准化再将规则用于測试集本身训练集和测试集的极值（最大值，最小值）会不同例如训练集最大值为100，标准化之后为1而测试集最大值为200，按训练集的標准化规则为1.5而如果用测试集的标准化规则就会为1。但此时的模型会将1看做100而不是200，会造成误差并且有实时数据来应用模型，采用訓练集的标准化规则更适合于模型。

 

 文章未经博主同意禁止转载！
 
 

 
 
 

发布了44 篇原创文章 · 获赞 55 · 访问量 9万+