ITPub博客

首页 > 应用开发 > Python > Python数据预处理:彻底理解标准化和归一化

Python数据预处理:彻底理解标准化和归一化

原创 Python 作者:千锋Python唐小强 时间:2020-07-08 16:56:38 0 删除 编辑

数据预处理

数据中不同特征的量纲可能不一致,数值间的差别可能很大,不进行处理可能会影响到数据分析的结果,因此,需要对数据按照一定比例进行缩放,使之落在一个特定的区域,便于进行综合分析。

常用的方法有两种:

最大 - 最小规范化:对原始数据进行线性变换,将数据映射到[0,1]区间

Python数据预处理:彻底理解标准化和归一化

Z-Score标准化:将原始数据映射到均值为0、标准差为1的分布上

Python数据预处理:彻底理解标准化和归一化

为什么要标准化/归一化?

提升模型精度:标准化/归一化后,不同维度之间的特征在数值上有一定比较性,可以大大提高分类器的准确性。

加速模型收敛:标准化/归一化后,最优解的寻优过程明显会变得平缓,更容易正确的收敛到最优解。

如下图所示:

Python数据预处理:彻底理解标准化和归一化

Python数据预处理:彻底理解标准化和归一化

哪些机器学习算法需要标准化和归一化

1)需要使用梯度下降和计算距离的模型要做归一化,因为不做归一化会使收敛的路径程z字型下降,导致收敛路径太慢,而且不容易找到最优解,归一化之后加快了梯度下降求最优解的速度,并有可能提高精度。比如说线性回归、逻辑回归、adaboost、xgboost、GBDT、SVM、NeuralNetwork等。需要计算距离的模型需要做归一化,比如说KNN、KMeans等。

2)概率模型、树形结构模型不需要归一化,因为它们不关心变量的值,而是关心变量的分布和变量之间的条件概率,如决策树、随机森林。

Python数据预处理:彻底理解标准化和归一化

彻底理解标准化和归一化

Python数据预处理:彻底理解标准化和归一化

示例数据集包含一个自变量(已购买)和三个因变量(国家,年龄和薪水),可以看出用薪水范围比年龄宽的多,如果直接将数据用于机器学习模型(比如KNN、KMeans),模型将完全有薪水主导。

#导入数据

import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
df = pd.read_csv( 'Data.csv')

缺失值均值填充,处理字符型变量

df[
'Salary'].fillna((df[
'Salary'].mean()), inplace= 
True)

df[ 'Age'].fillna((df[ 'Age'].mean()), inplace= True)
df[ 'Purchased'] = df[ 'Purchased'].apply( lambda x: 0 if x== 'No' else 1)
df=pd.get_dummies(data=df, columns=[ 'Country'])
Python数据预处理:彻底理解标准化和归一化

最大 - 最小规范化


from sklearn.preprocessing 
import MinMaxScaler

scaler = MinMaxScaler()
scaler.fit(df)
scaled_features = scaler.transform(df)
df_MinMax = pd.DataFrame(data=scaled_features, columns=[ "Age", "Salary", "Purchased", "Country_France", "Country_Germany", "Country_spain"])
Python数据预处理:彻底理解标准化和归一化

Z-Score标准化


from sklearn.preprocessing 
import StandardScaler

sc_X = StandardScaler()
sc_X = sc_X.fit_transform(df)
sc_X = pd.DataFrame(data=sc_X, columns=[ "Age", "Salary", "Purchased", "Country_France", "Country_Germany", "Country_spain"])
Python数据预处理:彻底理解标准化和归一化


import seaborn 
as sns

import matplotlib.pyplot as plt
import statistics
plt.rcParams[ 'font.sans-serif'] = [ 'Microsoft YaHei']
fig,axes=plt.subplots( 2, 3,figsize=( 18, 12))
sns.distplot(df[ 'Age'], ax=axes[ 0, 0])
sns.distplot(df_MinMax[ 'Age'], ax=axes[ 0, 1])
axes[ 0, 1].set_title( '归一化方差:% s '% (statistics.stdev(df_MinMax[ 'Age'])))
sns.distplot(sc_X[ 'Age'], ax=axes[ 0, 2])
axes[ 0, 2].set_title( '标准化方差:% s '% (statistics.stdev(sc_X[ 'Age'])))
sns.distplot(df[ 'Salary'], ax=axes[ 1, 0])
sns.distplot(df_MinMax[ 'Salary'], ax=axes[ 1, 1])
axes[ 1, 1].set_title( 'MinMax:Salary')
axes[ 1, 1].set_title( '归一化方差:% s '% (statistics.stdev(df_MinMax[ 'Salary'])))
sns.distplot(sc_X[ 'Salary'], ax=axes[ 1, 2])
axes[ 1, 2].set_title( 'StandardScaler:Salary')
axes[ 1, 2].set_title( '标准化方差:% s '% (statistics.stdev(sc_X[ 'Salary'])))

可以看出归一化比标准化方法产生的标准差小,使用归一化来缩放数据,则数据将更集中在均值附近。这是由于归一化的缩放是“拍扁”统一到区间(仅由极值决定),而标准化的缩放是更加“弹性”和“动态”的,和整体样本的分布有很大的关系。所以归一化不能很好地处理离群值,而标准化对异常值的鲁棒性强,在许多情况下,它优于归一化。


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/69923331/viewspace-2703288/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2019-05-14

  • 博文量
    995
  • 访问量
    584170