本文共 1426 字，大约阅读时间需要 4 分钟。
归一化主要公式
数据归一化是将数据转换到一个特定的范围内，常见的范围有[0,1]、[-1,1]以及均值为0、标准差为1的标准正态分布。以下是常用的几种归一化方法：
其中，max(x)和min(x)分别是数据的最大值和最小值。
其中，mean(x)是数据的均值。
其中，μ是数据的均值，σ是数据的标准差。
然后进行归一化：x' = a + k × (x - min(x))或者x' = b + k × (x - max(x))
归一化的作用
归一化能够有效消除数据量纲的影响，使数据具有更一致的分布特点。具体来说，归一化能带来以下多方面的优势：
· 干净化数据，减少异常值的影响。异常样本常常会对模型训练造成干扰，甚至造成收敛不稳定。
· 提高训练效率。归一化可以让数据更新速度更加均匀，减缓梯度消失或爆炸的问题，使得模型更快地找到最优解。
· 保持不同量纲特征的有效性。归一化能让低值和高值特征都获得充分表达，不会因量纲差异影响特征的学习效果。
· 差异化处理。比如使用Sigmoid激活函数时，归一化能够避免输入的正负区域导致的梯度消失问题。
归一化的应用场景
在需要使用梯度下降法求解的模型中，归一化常常是一个重要步骤。例如：
· 线性回归：归一化是线性回归中的常见处理方法，有助于加快收敛速度。
· 罢似回归（Logistic Regression）：归一化能避免特征稀疏性问题，提升模型性能。
· 支持向量机（SVM）：归一化能在训练过程中保持类别平衡，有助于模型的稳定性。
· 神经网络：归一化是防止深度网络训练时梯度 explodes或消失的关键措施。
需要注意的是，不同模型对归一化的适用性有所差异。例如，在决策树中，归一化不影响特征的信息增益比，因此决策树通常不进行归一化处理。
不进行归一化的后果
如果不进行归一化处理，模型训练可能会出现以下问题：
· 梯度消失或爆炸。由于网络层数增加，权重参数的数量通常会呈指数级增长。而随着深度增加，梯度的尺度差异会变得更加明显。如果输入特征的尺度差异较大，权重参数的梯度不一致，导致下层网络的学习效率低下甚至无法有效学习。
· 不同特征的训练难度不一致。比如，一个特征的参数更新步长可能很大，而另一个特征的更新却微乎其微，这样会导致参数难以充分收敛。
· 凸差距扩大。在有多个特征的情况下，特征间的差异会因为尺度差异导致触发阈值的难度不同，从而影响模型性能。
举个例子，考虑两个权重参数w1和w2的范围分别在[-10,10]和[-100,100]之间。在没有归一化的情况下，w1的梯度变化每次只能前进1/20，而w2的梯度变化则每次只前进1/200。这导致search process中，更偏向于优化w1参数，而忽视w2参数的更新，走出一种“L”型，甚至出现之字型的问题。
归一化是一个在模型训练中常用的预处理步骤，有助于模型训练的效果和收敛速度。选择合适的归一化方法，对模型性能有着重要影响。
转载地址：http://ijbiz.baihongyu.com/