什么是数据标准化

我们平时分析一个指标的时候，或者对比数据的时候可能都有单位，比如身高（cm）,体重（Kg），如果我们想要对这2个指标进行综合分析的话，就需要让指标脱离单位的限制，这应该就是数据标准化。

from 互动百科
数据的标准化（normalization）是将数据按比例缩放，使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。其中最典型的就是0-1标准化和Z标准化。

为什么要进行数据标准化

from 百度百科
评价是现代社会各领域的一项经常性的工作，是科学做出管理决策的重要依据。随着人们研究领域的不断扩大，所面临的评价对象日趋复杂，如果仅依据单一指标对事物进行评价往往不尽合理，必须全面地从整体的角度考虑问题，多指标综合评价方法应运而生。所谓多指标综合评价方法，就是把描述评价对象不同方面的多个指标的信息综合起来，并得到一个综合指标，由此对评价对象做一个整体上的评判，并进行横向或纵向比较。
而在多指标评价体系中，由于各评价指标的性质不同，通常具有不同的量纲和数量级。当各指标间的水平相差很大时，如果直接用原始指标值进行分析，就会突出数值较高的指标在综合分析中的作用，相对削弱数值水平较低指标的作用。因此，为了保证结果的可靠性，需要对原始指标数据进行标准化处理。

小例子(来源见附录)：
假设对3名新生婴儿体重（5，6，7）和3名成年人的体重（150，151，152）差异的大小进行对比分析，从表面上看，两组人员的平均差异均为1斤，由此便得出两组人员的体重差异程度相同显然是不合适，因为两者的体重水平不在同一等级上，即量纲不同；

min-max标准化方法是对原始数据进行线性变换。设minA和maxA分别为属性A的最小值和最大值，将A的一个原始值x通过min-max标准化映射成在区间[0,1]中的值x’，其公式为：
新数据=（原数据-最小值）/（最大值-最小值）

其缺陷是当有新数据加入时，可能导致max或min的变化，转换函数需要重新定义。

这种方法基于原始数据的均值（mean）和标准差（standard deviation）进行数据的标准化。将A的原始值x使用z-score标准化到x’。
z-score标准化方法适用于属性A的最大值和最小值未知的情况，或有超出取值范围的离群数据的情况。
新数据=（原数据-均值）/标准差

标准化后的数据符合标准正态分布，即均值为0，标准差为1

该方法对离群点不敏感，当原始数据的最大值、最小值未知或离群点左右了Max-Min标准化时非常有用，Z-Score标准化目前使用最为广泛的标准化方法。

这种方法通过移动数据的小数点位置来进行标准化。小数点移动多少位取决于属性A的取值中的最大绝对值。将属性A的原始值x使用decimal scaling标准化到x’的计算方法是：
x’=x/(10^j)
其中，j是满足条件的最小整数。

例如假定A的值由-986到917，A的最大绝对值为986，为使用小数定标标准化，我们用每个值除以1000（即，j=3），这样，-986被规范化为-0.986。

参考文章：数据的标准化处理及实际应用

比如我们有这样一份数据，学生的一份综合评分数据

我们可以看到学生的一个分布情况，但这个分数不是标准的100分制，不是很直观，我们就可以利用数据标准化进行转换
我们就是用Max-Min标准化方法

参考文章：