Python 使用sklearn转换器处理数据

使用sklearn转换器处理数据

sklearn 提供了 model_selection 模型选择模块、preprocessing 数据预处理模块与decompisition特征分解模块。通过这3个模块能够实现数据的预处理与模型构建前的数据标准化、二值化、数据集的分割、交叉验证和PCA降维等工作。

1、加载datasets模块中的数据集

sklearn 库的 datasets 模块集成了部分数据分析的经典数据集，可以使用这些数据集进行数据预处理、建模等操作，熟悉 sklearn 的数据处理流程和建模流程。datasets 模块常用数据集的加载函数与解释如表6-1所示。使用sklearn进行数据预处理会用到sklearn提供的统一接口——转换器（Transformer）。

datasets模块常用数据集加载函数及其解释如下表所示。

如果需要加载某个数据集，则可以将对应的函数赋值给某个变量。

加载后的数据集可以视为一个字典，几乎所有的sklearn数据集均可以使用data、target、feature_names、DESCR 分别获取数据集的数据、标签、特征名称和描述信息。

2、将数据集划分为训练集和测试集

在数据分析过程中，为了保证模型在实际系统中能够起到预期作用，一般需要将样本分成独立的3部分：训练集（train set）、验证集（validation set）和测试集（test set）。其中，训练集用于估计模型，验证集用于确定网络结构或者控制模型复杂程度的参数，而测试集则用于检验最优模型的性能。典型的划分方式是训练集占总样本的50%，而验证集和测试集各占25%。

当数据总量较少的时候，使用上面的方法将数据划分为3部分就不合适了。常用的方法是留少部分做测试集，然后对其余N个样本采用K折交叉验证法。其基本步骤是将样本打乱，然后均匀分成 K份，轮流选择其中 K−1份做训练，剩余的一份做验证，计算预测误差平方和，最后把K次的预测误差平方和的均值作为选择最优模型结构的依据。sklearn的model_selection模块提供了train_test_split函数，能够对数据集进行拆分，其使用格式如下。

train_test_split函数的常用参数及其说明如下表所示。

train_test_split函数分别将传入的数据划分为训练集和测试集。如果传入的是一组数据，那么生成的就是这一组数据随机划分后的训练集和测试集，总共两组。如果传入的是两组数据，则生成的训练集和测试集分别两组，总共4组。

3、使用sklearn转换器进行数据预处理与降维

为帮助用户实现大量的特征处理相关操作，sklearn把相关的功能封装为转换器。转换器主要包括3个方法：fit、transform和fit_transform。3种方法及其说明如下表所示。

目前，使用sklearn转换器能够实现对传入的NumPy数组进行标准化处理、归一化处理、二值化处理和PCA降维等操作。

在数据分析过程中，各类特征处理相关的操作都需要对训练集和测试集分开进行，需要将训练集的操作规则、权重系数等应用到测试集中。如果使用 pandas，则应用至测试集的过程相对烦琐，使用sklearn转换器可以解决这一困扰。

离差标准化之后的训练集数据的最小值、最大值的确限定在了[0,1]区间，同时由于测试集应用了训练集的离差标准化规则，数据超出了[0,1]的范围。这也侧面证明了此处应用了训练集的规则，如果两个数据集单独做离差标准化，或者两个数据集合并做离差标准化，根据公式则取值范围还是会限定在[0,1]区间。

sklearn除了提供离差标准化函数MinMaxScaler外，还提供了一系列数据预处理函数，具体如下表所示。

sklearn除了提供基本的特征变换函数外，还提供了降维算法、特征选择算法，这些算法的使用也是通过转换器的方式进行的。对breast_cancer数据集进行PCA降维，则特征维度为10。

PCA降维算法函数常用参数及其作用如下表所示。