【构建ML驱动的应用程序】第 7 章 ：使用分类器编写推荐

图 7-1。机器学习循环

从模型中提取建议

这ML Editor 的目标是提供写作建议。将问题分类为好或坏是朝着这个方向迈出的第一步，因为它可以向用户显示问题的当前质量。我们想更进一步，通过向用户提供可操作的建议来帮助他们改进问题的表述。

本节介绍提供此类建议的方法。我们将从依赖聚合特征指标且不需要在推理时使用模型的简单方法开始。然后，我们将看到如何使用模型的分数及其对扰动的敏感性来生成更加个性化的推荐。您可以在本书的 GitHub 站点上的生成推荐笔记本中找到本章中展示的应用于 ML 编辑器的每种方法的示例。

class_feature_values = feats_labels.groupby("label").mean()
class_feature_values = class_feature_values.round(3)
class_feature_values.transpose()

Top 5 importances:
 
num_chars: 0.053
num_questions: 0.051
num_periods: 0.051
ADV: 0.049
ADJ: 0.049
 
Bottom 5 importances:
 
X: 0.011
num_semicolon: 0.0076
num_exclam: 0.0072
CONJ: 0
SCONJ: 0

# probabilities is an array containing one probability per class
probabilities = clf.predict_proba(features)
 
# Positive probas contains only the score of the positive class
positive_probs = clf[:,1]

from lime.lime_tabular import LimeTabularExplainer
 
explainer = LimeTabularExplainer(
    train_df[features].values,
    feature_names=features,
    class_names=["low", "high"],
    discretize_continuous=True,
)
 
idx = 8
exp = explainer.explain_instance(
    test_df[features].iloc[idx, :],
    clf.predict_proba,
    num_features=10,
    labels=(1,),
)
 
print(exp_array)
exp.show_in_notebook(show_table=True, show_all=False)
exp_array = exp.as_list()

[('num_diff_words <= 88.00', -0.038175093133182826),
 ('num_questions > 0.57', 0.022220445063244717),
 ('num_periods <= 0.50', 0.018064270196074716),
 ('ADJ <= 0.01', -0.01753028452563776),
 ('408.00 < num_chars <= 655.00', -0.01573650444507041),
 ('num_commas <= 0.39', -0.015551364531963608),
 ('0.00 < PROPN <= 0.00', 0.011826217792851488),
 ('INTJ <= 0.00', 0.011302327527387477),
 ('CONJ <= 0.00', 0.0),
 ('SCONJ <= 0.00', 0.0)]

比较模型

“衡量成功”涵盖判断产品成功与否的重要指标。“Judge Performance”描述了评估模型的方法。此类方法还可用于比较模型和特征的连续迭代，以确定性能最佳的模型和特征。

在在本节中，我们将选择关键指标的一个子集，并使用它们根据模型性能和建议的实用性来评估 ML Editor 的三个连续迭代。

这ML Editor 的目标是使用提到的技术提供建议。为了支持此类建议，模型应符合以下要求。它应该被很好地校准，以便它的预测概率代表对问题质量的有意义的估计。正如我们在“衡量成功”中所述，它应该具有高精度，以便它提出的建议是准确的。它使用的功能应该是用户可以理解的，因为它们将作为推荐的基础。最后，它应该足够快以允许我们使用黑盒解释器来提供建议。

让我们描述 ML Editor 的几种连续建模方法并比较它们的性能。这些性能比较的代码可以在本书的 GitHub 存储库中的比较模型笔记本中找到。

生成编辑建议

这ML Editor 可以受益于我们描述的四种生成推荐的方法中的任何一种。事实上，所有这些方法都在本书的 GitHub 存储库中的生成推荐笔记本中进行了展示。因为我们使用的模型速度很快，所以我们将在这里说明最精细的方法，使用黑盒解释器。

让我们首先看一下接受问题并根据经过训练的模型提供编辑建议的整个推荐功能。这是这个函数的样子：

def get_recommendation_and_prediction_from_text(input_text, num_feats=10):
    global clf, explainer
    feats = get_features_from_input_text(input_text)
    pos_score = clf.predict_proba([feats])[0][1]
 
    exp = explainer.explain_instance(
        feats, clf.predict_proba, num_features=num_feats, labels=(1,)
    )
    parsed_exps = parse_explanations(exp.as_list())
    recs = get_recommendation_string_from_parsed_exps(parsed_exps)
    return recs, pos_score

在示例输入上调用此函数并漂亮地打印其结果会产生如下建议。然后我们可以向用户显示这些建议，让他们重复他们的问题。

recos, score = get_recommendation_and_prediction_from_text(example_question)
print("%s score" % score)

0.4 score

print(*recos, sep="\n")

Increase question length
Increase vocabulary diversity
Increase frequency of question marks
No need to increase frequency of periods
Decrease question length
Decrease frequency of determiners
Increase frequency of commas
No need to decrease frequency of adverbs
Increase frequency of coordinating conjunctions
Increase frequency of subordinating conjunctions

让我们分解这个功能。从它的签名开始，该函数将一个表示问题的输入字符串作为参数，以及一个可选参数，用于确定要推荐多少最重要的功能。它返回建议，以及代表问题当前质量的分数。

深入到问题的主体，第一行指的是两个全局定义的变量，训练模型和 LIME 解释器的实例，就像我们在“提取局部特征重要性”中定义的那样。接下来的两行从输入文本生成特征，并将这些特征传递给分类器进行预测。然后，exp通过使用 LIME 生成解释来定义。

最后两个函数调用将这些解释转化为人类可读的建议。让我们看看如何通过查看这些函数的定义，从parse_explanations.

def parse_explanations(exp_list):
    global FEATURE_DISPLAY_NAMES
    parsed_exps = []
    for feat_bound, impact in exp_list:
        conditions = feat_bound.split(" ")
 
        # We ignore doubly bounded conditions , e.g. 1 <= a < 3 because
        # they are harder to formulate as a recommendation
        if len(conditions) == 3:
            feat_name, order, threshold = conditions
 
            simple_order = simplify_order_sign(order)
            recommended_mod = get_recommended_modification(simple_order, impact)
 
            parsed_exps.append(
                {
                    "feature": feat_name,
                    "feature_display_name": FEATURE_DISPLAY_NAMES[feat_name],
                    "order": simple_order,
                    "threshold": threshold,
                    "impact": impact,
                    "recommendation": recommended_mod,
                }
            )
    return parsed_exps

这个函数很长，但是它完成了一个相对简单的目标。它采用 LIME 返回的特征重要性数组，并生成可用于推荐的结构化程度更高的字典。这是此转换的示例：

# exps is in the format of LIME explanations
>> exps = [('num_chars <= 408.00', -0.03908691525058592),
 ('DET > 0.03', -0.014685507408497802)]
 
>> parse_explanations(exps)
 
[{'feature': 'num_chars',
  'feature_display_name': 'question length',
  'order': '<',
  'threshold': '408.00',
  'impact': -0.03908691525058592,
  'recommendation': 'Increase'},
 {'feature': 'DET',
  'feature_display_name': 'frequency of determiners',
  'order': '>',
  'threshold': '0.03',
  'impact': -0.014685507408497802,
  'recommendation': 'Decrease'}]

请注意，函数调用将 LIME 显示的阈值转换为是否应增加或减少特征值的建议。这是使用get_recommended_modification此处显示的函数完成的：

def get_recommended_modification(simple_order, impact):
    bigger_than_threshold = simple_order == ">"
    has_positive_impact = impact > 0
 
    if bigger_than_threshold and has_positive_impact:
        return "No need to decrease"
    if not bigger_than_threshold and not has_positive_impact:
        return "Increase"
    if bigger_than_threshold and not has_positive_impact:
        return "Decrease"
    if not bigger_than_threshold and has_positive_impact:
        return "No need to increase"

一旦解释被解析为建议，剩下的就是以适当的格式显示它们。这是由 中的最后一个函数调用完成的get_recommendation_and_prediction_from_text，如下所示：

def get_recommendation_string_from_parsed_exps(exp_list):
    recommendations = []
    for feature_exp in exp_list:
        recommendation = "%s %s" % (
            feature_exp["recommendation"],
            feature_exp["feature_display_name"],
        )
        recommendations.append(recommendation)
    return recommendations

如果您想试用此编辑器并对其进行迭代，请随时参考本书 GitHub 存储库中的生成建议笔记本。在笔记本的末尾，我包含了一个使用模型建议多次改写问题并提高其分数的示例。我在这里复制这个例子来演示如何使用这些建议来指导用户编辑问题。

// First attempt at a question
>> get_recommendation_and_prediction_from_text(
    """
I want to learn how models are made
"""
)
 
0.39 score
Increase question length
Increase vocabulary diversity
Increase frequency of question marks
No need to increase frequency of periods
No need to decrease frequency of stop words
 
// Following the first three recommendations
>> get_recommendation_and_prediction_from_text(
    """
I'd like to learn about building machine learning products.
Are there any good product focused resources?
Would you be able to recommend educational books?
"""
)
 
0.48 score
Increase question length
Increase vocabulary diversity
Increase frequency of adverbs
No need to decrease frequency of question marks
Increase frequency of commas
 
// Following the recommendations once more
>> get_recommendation_and_prediction_from_text(
    """
I'd like to learn more about ML, specifically how to build ML products.
When I attempt to build such products, I always face the same challenge:
how do you go beyond a model?
What are the best practices to use a model in a concrete application?
Are there any good product focused resources?
Would you be able to recommend educational books?
"""
)
 
0.53 score

瞧，我们现在有了一个可以接受问题并向用户提供可操作建议的管道。这个管道绝不是完美的，但我们现在有一个工作的端到端 ML 驱动的编辑器。如果您想尝试改进它，我鼓励您与当前版本进行交互并确定要解决的故障模式。有趣的是，虽然模型总是可以迭代的，但我认为这个编辑器最有希望改进的方面是生成用户更清楚的新功能。

结论

在本章中，我们介绍了从经过训练的分类模型生成建议的不同方法。考虑到这些方法，我们比较了 ML Editor 的不同建模方法，并选择了一种可以优化我们帮助用户提出更好问题的产品目标的方法。然后，我们为 ML Editor 构建了一个端到端的管道，并用它来提供建议。

我们确定的模型仍有很大的改进空间，可以从更多的迭代周期中受益。如果您想练习使用我们在第 III 部分中概述的概念，我鼓励您自己完成这些循环。总体而言，第 III 部分中的每一章都代表 ML 迭代循环的一个方面。要在 ML 项目上取得进展，请重复执行本节中概述的步骤，直到您估计模型已准备好部署。

在第 IV 部分中，我们将介绍部署模型所带来的风险、如何减轻这些风险，以及监控和应对模型性能可变性的方法。