【ML特征工程】第 2 章 ：简单数字的花式技巧

ECHO NEST 口味概况数据集的统计数据

• 用户ID、歌曲ID、收听次数三元组超过4800万。

• 完整的数据集包含 1,019,318 个独立用户和 384,546 首独特歌曲。

图 2-3。Million Song Dataset的 Taste Profile 子集中的收听次数直方图——请注意，y 轴是对数刻度

示例 2-1。百万歌曲数据集中的二值化收听计数

import pandas as pd
listen_count = pd.read_csv('millionsong/train_triplets.txt.zip',
                            header=None, delimiter='\t')
# The table contains user-song-count triplets. Only nonzero counts are
# included. Hence, to binarize the count, we just need to set the entire
# count column to 1.
listen_count[2] = 1

这是我们设计模型的目标变量的示例。严格来说，目标不是特征，因为它不是输入。但有时我们确实需要修改目标以解决正确的问题。

YELP 评论数据集的统计数据（第 6 轮）

• 有782个业务类别。

• 完整数据集包含 1,569,264 (≈1.6M) 条评论和 61,184 (61K) 条企业。

• “餐厅”（990,627 条评论）和“夜生活”（210,028 条评论）是最受欢迎的类别，评论数量。

• 没有企业被归类为餐厅和夜生活场所。因此，两组评论之间没有重叠。

示例 2-2。可视化 Yelp 数据集中的商业评论计数

import pandas as pd
import json
 
# Load the data about businesses
biz_file = open('yelp_academic_dataset_business.json')
biz_df = pd.DataFrame([json.loads(x) for x in biz_file.readlines()])
biz_file.close()
 
import matplotlib.pyplot as plt
import seaborn as sns
 
# Plot the histogram of the review counts
sns.set_style('whitegrid')
fig, ax = plt.subplots()
biz_df['review_count'].hist(ax=ax, bins=100)
ax.set_yscale('log')
ax.tick_params(labelsize=14)
ax.set_xlabel('Review Count', fontsize=14)
ax.set_ylabel('Occurrence', fontsize=14)

跨越几个数量级的原始计数对于许多模型来说都是有问题的。在线性模型中，相同的线性系数必须适用于所有可能的计数值。大量计数也可能对无监督学习方法造成严重破坏，例如k均值聚类，它使用欧几里得距离作为相似度函数来衡量数据点之间的相似度。数据向量的一个元素中的大量计数将超过所有其他元素中的相似性，这可能会影响整个相似性测量。

图 2-4。Yelp 评论数据集中商业评论计数的直方图——y 轴为对数刻度

固定宽度装箱

使用固定宽度分箱，每个分箱都包含一个特定的数字范围。范围可以自定义设计或自动分段，并且可以线性缩放或指数缩放。例如，我们可以按十年将人们分组到年龄范围内：0-9 岁在 bin 1 中，10-19 岁在 bin 2 中，等等。要将计数映射到 bin，我们只需除以 bin 的宽度并取整数部分。

定制设计的年龄范围更符合人生阶段也很常见，例如：

• 0-12岁

• 12-17岁

• 18-24岁

• 25-34岁

• 35-44岁

• 45-54岁

• 55-64岁

• 65-74岁

• 75 岁或以上

当数字跨越多个量级时，最好按 10 的幂（或任何常数的幂）分组：0–9、10–99、100–999、1000–9999 等。bin 宽度呈指数增长，去从O (10)，到O (100)，O (1000)，甚至更多。为了从计数映射到 bin，我们取计数的对数。指数宽度分箱与我们在“对数变换”中讨论的对数变换密切相关。示例 2-3说明了其中的几种装箱方法。

import numpy as np
 
# Generate 20 random integers uniformly between 0 and 99
>>> small_counts = np.random.randint(0, 100, 20)
small_counts
 
# array([30, 64, 49, 26, 69, 23, 56,  7, 69, 67, 87, 14, 67, 33, 88, 77, 75,
#        47, 44, 93])
 
 
# Map to evenly spaced bins 0-9 by division
np.floor_divide(small_counts, 10)
# array([3, 6, 4, 2, 6, 2, 5, 0, 6, 6, 8, 1, 6, 3, 8, 7, 7, 4, 4, 9], dtype=int32)
 
# An array of counts that span several magnitudes
large_counts = [296, 8286, 64011, 80, 3, 725, 867, 2215, 7689, 11495, 91897, 
                44, 28, 7971, 926, 122, 22222]
# Map to exponential-width bins via the log function
np.floor(np.log10(large_counts))
 
# array([ 2.,  3.,  4.,  1.,  0.,  2.,  2.,  3.,  3.,  4.,  4.,  1.,  1.,
        3.,  2.,  2.,  4.])

分位数分级

固定宽度分箱很容易计算。但如果计数之间存在较大差距，则会出现许多没有数据的空箱。这个问题可以通过基于数据分布自适应地定位 bin 来解决。这可以使用分布的分位数来完成。

分位数是将数据分成相等部分的值。例如，中位数将数据分成两半；一半的数据点比中位数小，一半比中位数大。四分位数将数据分为四分之一，十分位数分为十分之一等。示例 2-4演示了如何计算 Yelp 业务评论计数的十分位数，图 2-5将十分位数叠加在直方图上。这可以更清楚地了解偏向于较小计数的情况。

deciles = biz_df['review_count'].quantile([.1, .2, .3, .4, .5, .6, .7, .8, .9])
deciles

0.1     3.0
0.2     4.0
0.3     5.0
0.4     6.0
0.5     8.0
0.6    12.0
0.7    17.0
0.8    28.0
0.9    58.0
Name: review_count, dtype: float64

# Visualize the deciles on the histogram
sns.set_style('whitegrid')
fig, ax = plt.subplots()
biz_df['review_count'].hist(ax=ax, bins=100)
for pos in deciles:
    handle = plt.axvline(pos, color='r')
ax.legend([handle], ['deciles'], fontsize=14)
ax.set_yscale('log')
ax.set_xscale('log')
ax.tick_params(labelsize=14)
ax.set_xlabel('Review Count', fontsize=14)
ax.set_ylabel('Occurrence', fontsize=14)

图 2-5。Yelp 评论数据集中评论计数的十分位数——x 轴和 y 轴均采用对数刻度

计算分位数和映射将数据放入分位数箱中，我们可以使用 Pandas 库，如示例 2-5所示。pandas.DataFrame.quantile并pandas.Series.quantile计算分位数。pandas.qcut将数据映射到所需数量的分位数。

# Continue example 2-3 with large_counts
import pandas as pd
 
# Map the counts to quartiles
pd.qcut(large_counts, 4, labels=False)
 
# array([1, 2, 3, 0, 0, 1, 1, 2, 2, 3, 3, 0, 0, 2, 1, 0, 3], dtype=int64)

# Compute the quantiles themselves
large_counts_series = pd.Series(large_counts)
large_counts_series.quantile([0.25, 0.5, 0.75])

0.25     122.0
0.50     926.0
0.75    8286.0
dtype: float64

示例 2-8。使用对数转换的 Yelp 评论计数来预测平均商业评级

import pandas as pd
import numpy as np
import json
from sklearn import linear_model
from sklearn.model_selection import cross_val_score
 
# Using the previously loaded Yelp reviews DataFrame,
# compute the log transform of the Yelp review count.
# Note that we add 1 to the raw count to prevent the logarithm from
# exploding into negative infinity in case the count is zero.
biz_df['log_review_count'] = np.log10(biz_df['review_count'] + 1)
 
# Train linear regression models to predict the average star rating of a business,
# using the review_count feature with and without log transformation.
# Compare the 10-fold cross validation score of the two models.
m_orig = linear_model.LinearRegression()
scores_orig = cross_val_score(m_orig, biz_df[['review_count']], 
                              biz_df['stars'], cv=10)
m_log = linear_model.LinearRegression()
scores_log = cross_val_score(m_log, biz_df[['log_review_count']], 
                             biz_df['stars'], cv=10)
print("R-squared score without log transform: %0.5f (+/- %0.5f)"
      % (scores_orig.mean(), scores_orig.std() * 2))
print("R-squared score with log transform: %0.5f (+/- %0.5f)"
      % (scores_log.mean(), scores_log.std() * 2))

R-squared score without log transform: -0.03683 (+/- 0.07280)R-squared score with log transform: -0.03694 (+/- 0.07650)

示例 2-9。使用在线新闻流行度数据集中的对数转换字数来预测文章流行度

# Download the Online News Popularity dataset from UCI, then use
# Pandas to load the file into a DataFrame.
df = pd.read_csv('OnlineNewsPopularity.csv', delimiter=', ')
 
# Take the log transform of the 'n_tokens_content' feature, which 
# represents the number of words (tokens) in a news article.
df['log_n_tokens_content'] = np.log10(df['n_tokens_content'] + 1)
 
# Train two linear regression models to predict the number of shares
# of an article, one using the original feature and the other the
# log transformed version.
m_orig = linear_model.LinearRegression()
scores_orig = cross_val_score(m_orig, df[['n_tokens_content']],
                              df['shares'], cv=10)
m_log = linear_model.LinearRegression()
scores_log = cross_val_score(m_log, df[['log_n_tokens_content']],
                             df['shares'], cv=10)
print("R-squared score without log transform: %0.5f (+/- %0.5f)"
      % (scores_orig.mean(), scores_orig.std() * 2))
print("R-squared score with log transform: %0.5f (+/- %0.5f)"
      % (scores_log.mean(), scores_log.std() * 2))

R-squared score without log transform: -0.00242 (+/- 0.00509)R-squared score with log transform: -0.00114 (+/- 0.00418)

示例 2-10。可视化新闻流行度预测问题中输入和输出之间的相关性

fig2, (ax1, ax2) = plt.subplots(2,1)
ax1.scatter(df['n_tokens_content'], df['shares'])
ax1.tick_params(labelsize=14)
ax1.set_xlabel('Number of Words in Article', fontsize=14)
ax1.set_ylabel('Number of Shares', fontsize=14)
 
ax2.scatter(df['log_n_tokens_content'], df['shares'])
ax2.tick_params(labelsize=14)
ax2.set_xlabel('Log of the Number of Words in Article', fontsize=14)
ax2.set_ylabel('Number of Shares', fontsize=14)

图 2-9。在线新闻流行度数据集中词数（输入）与分享数（目标）的散点图——上图可视化原始特征，下图显示对数转换后的散点图

示例 2-11。可视化 Yelp 业务评论预测中输入和输出之间的相关性

fig, (ax1, ax2) = plt.subplots(2,1)
ax1.scatter(biz_df['review_count'], biz_df['stars'])
ax1.tick_params(labelsize=14)
ax1.set_xlabel('Review Count', fontsize=14)
ax1.set_ylabel('Average Star Rating', fontsize=14)
 
ax2.scatter(biz_df['log_review_count'], biz_df['stars'])
ax2.tick_params(labelsize=14)
ax2.set_xlabel('Log of Review Count', fontsize=14)
ax2.set_ylabel('Average Star Rating', fontsize=14)

数据可视化的重要性

对数变换对两个不同数据集的影响的比较说明了数据可视化的重要性。在这里，我们有意使输入变量和目标变量保持简单，以便我们可以轻松地将它们之间的关系可视化。类似图 2-10中的图立即表明所选模型（线性）不可能代表所选输入和目标之间的关系。另一方面，在给定平均星级评分的情况下，可以令人信服地对评论数的分布进行建模。构建模型时，最好直观地检查输入和输出之间以及不同输入特征之间的关系。 

图 2-10。Yelp 评论数据集中评论数（输入）与平均星级（目标）的散点图——顶部面板绘制原始评论数，底部面板绘制日志转换后的评论数

图 2-11。泊松分布的粗略图示，这是一个方差随均值增加的示例分布

图 2-12。不同 λ 值的 Box-Cox 变换

示例 2-12。Yelp 业务评论计数的 Box-Cox 转换

from scipy import stats
 
# Continuing from the previous example, assume biz_df contains
# the Yelp business reviews data.
# The Box-Cox transform assumes that input data is positive. 
# Check the min to make sure.
biz_df['review_count'].min()
# 3
 
# Setting input parameter lmbda to 0 gives us the log transform (without 
# constant offset)
rc_log = stats.boxcox(biz_df['review_count'], lmbda=0)
# By default, the scipy implementation of Box-Cox transform finds the lambda
# parameter that will make the output the closest to a normal distribution
rc_bc, bc_params = stats.boxcox(biz_df['review_count'])
bc_params
# -0.4106510862321085

示例 2-13。可视化原始计数、对数变换计数和 Box-Cox 变换计数的直方图

fig, (ax1, ax2, ax3) = plt.subplots(3,1)
# original review count histogram
biz_df['review_count'].hist(ax=ax1, bins=100)
ax1.set_yscale('log')
ax1.tick_params(labelsize=14)
ax1.set_title('Review Counts Histogram', fontsize=14)
ax1.set_xlabel('')
ax1.set_ylabel('Occurrence', fontsize=14)
 
# review count after log transform
biz_df['rc_log'].hist(ax=ax2, bins=100)
ax2.set_yscale('log')
ax2.tick_params(labelsize=14)
ax2.set_title('Log Transformed Counts Histogram', fontsize=14)
ax2.set_xlabel('')
ax2.set_ylabel('Occurrence', fontsize=14)
 
# review count after optimal Box-Cox transform
biz_df['rc_bc'].hist(ax=ax3, bins=100)
ax3.set_yscale('log')
ax3.tick_params(labelsize=14)
ax3.set_title('Box-Cox Transformed Counts Histogram', fontsize=14)
ax3.set_xlabel('')
ax3.set_ylabel('Occurrence', fontsize=14)

图 2-13。Yelp 业务评论计数（底部）的 Box-Cox 转换与原始（顶部）和日志转换（中间）直方图相比

示例 2-14。原始计数和转换计数相对于正态分布的概率图

fig2, (ax1, ax2, ax3) = plt.subplots(3,1)
prob1 = stats.probplot(biz_df['review_count'], dist=stats.norm, plot=ax1)
ax1.set_xlabel('')
ax1.set_title('Probplot against normal distribution')
prob2 = stats.probplot(biz_df['rc_log'], dist=stats.norm, plot=ax2)
ax2.set_xlabel('')
ax2.set_title('Probplot after log transform')
prob3 = stats.probplot(biz_df['rc_bc'], dist=stats.norm, plot=ax3)
ax3.set_xlabel('Theoretical quantiles')
ax3.set_title('Probplot after Box-Cox transform')

图 2-14。比较原始和转换评论计数的分布与正态分布

图 2-15。最小-最大缩放的图示

图 2-16。特征标准化示意图

不要“居中”稀疏数据！

对稀疏特征执行最小-最大缩放和标准化时要小心。两者都从原始特征值中减去一个数量。对于最小-最大缩放，偏移是当前特征所有值中的最小值；对于标准化，它是平均值。如果偏移不为零，那么这两个变换可以将大多数值为零的稀疏特征向量变成密集特征向量。这反过来可能会给分类器带来巨大的计算负担，具体取决于它的实现方式（更不用说如果现在的表示包括文档中没有出现的每个单词，那将是可怕的！）。词袋是一种稀疏表示，大多数分类库都针对稀疏输入进行了优化。

图 2-17。ℓ 2特征归一化示意图

数据空间与特征空间

请注意，图 2-17中的图示是在数据空间中，而不是特征空间中。也可以对数据点而不是特征进行ℓ 2归一化，这将导致数据向量具有单位范数（范数为 1）。请参阅“词袋”中关于数据向量和特征向量的互补性的讨论。

示例 2-15。特征缩放示例

import pandas as pd
import sklearn.preprocessing as preproc
 
# Load the Online News Popularity dataset
df = pd.read_csv('OnlineNewsPopularity.csv', delimiter=', ')
 
# Look at the original data - the number of words in an article
df['n_tokens_content'].as_matrix()
# array([ 219.,  255.,  211., ...,  442.,  682.,  157.])
 
# Min-max scaling
df['minmax'] = preproc.minmax_scale(df[['n_tokens_content']])
# df['minmax'].as_matrix()
# array([ 0.02584376,  0.03009205,  0.02489969, ...,  0.05215955,
#         0.08048147,  0.01852726])
 
# Standardization - note that by definition, some outputs will be negative
df['standardized'] = preproc.StandardScaler().fit_transform(df[['n_tokens_content']])
df['standardized'].as_matrix()
# array([-0.69521045, -0.61879381, -0.71219192, ..., -0.2218518 ,
#         0.28759248, -0.82681689])
 
# L2-normalization
df['l2_normalized'] = preproc.normalize(df[['n_tokens_content']], axis=0)
df['l2_normalized'].as_matrix()
# array([ 0.00152439,  0.00177498,  0.00146871, ...,  0.00307663,
#         0.0047472 ,  0.00109283])

我们还可以使用不同的特征缩放方法可视化数据的分布（图 2-18）。如示例 2-16所示，与对数变换不同，特征缩放不会改变分布的形状；只有数据的规模发生了变化。

示例 2-16。绘制原始数据和缩放数据的直方图

fig, (ax1, ax2, ax3, ax4) = plt.subplots(4,1)
fig.tight_layout()
df['n_tokens_content'].hist(ax=ax1, bins=100)
ax1.tick_params(labelsize=14)
ax1.set_xlabel('Article word count', fontsize=14)
ax1.set_ylabel('Number of articles', fontsize=14)
 
df['minmax'].hist(ax=ax2, bins=100)
ax2.tick_params(labelsize=14)
ax2.set_xlabel('Min-max scaled word count', fontsize=14)
ax2.set_ylabel('Number of articles', fontsize=14)
 
df['standardized'].hist(ax=ax3, bins=100)
ax3.tick_params(labelsize=14)
ax3.set_xlabel('Standardized word count', fontsize=14)
ax3.set_ylabel('Number of articles', fontsize=14)
 
df['l2_normalized'].hist(ax=ax4, bins=100)
ax4.tick_params(labelsize=14)
ax4.set_xlabel('L2-normalized word count', fontsize=14)
ax4.set_ylabel('Number of articles', fontsize=14)

图 2-18。原始和按比例缩放的新闻文章字数——请注意，只有 x 轴的比例发生变化；分布的形状与特征缩放保持一致