05704-A-0145 HONEYWELL 将autoML技术应用于预训练的模型

05704-A-0145 HONEYWELL 将autoML技术应用于预训练的模型

乍一看，autoML的概念似乎是多余的——毕竟，机器学习已经是自动化从数据中获得洞察力的过程。但由于autoML算法在底层机器学习模型之上的抽象层次上运行，仅依赖这些模型的输出作为指导，因此它们可以节省时间和计算。研究人员可以将autoML技术应用于预训练的模型，以获得新的见解，而无需浪费计算能力来重复现有的研究。

例如，美国富士通研究所的科学家Mehdi Bahrami和他的合著者介绍最近的工作关于如何将BERT排序算法与不同的预训练模型一起使用，以使它们适应新的用途。BERT-sort是一种算法，当在数据集上训练时，它可以计算出所谓的“语义顺序”——例如，给定电影评论的数据，它知道“伟大”的电影比“好”和“坏”的电影排名更高。

有了autoML技术，学习到的语义顺序也可以外推到对癌症诊断甚至朝鲜语文本进行分类，从而节省时间和计算。

“BERT需要几个月的计算，而且非常昂贵——比如，生成那个模型并重复这些过程需要一百万美元，”Bahrami说。“因此，如果每个人都想做同样的事情，那么它就很昂贵——它不节能，对世界也没有好处。”

尽管该领域显示出了希望，但研究人员仍在寻找使autoML技术在计算上更高效的方法。例如，像神经架构搜索这样的方法目前构建和测试许多不同的模型来寻找最佳拟合，并且完成所有这些迭代所花费的能量可能是显著的。

AutoML技术也可以应用于不涉及神经网络的机器学习算法，如创建随机决策森林或支持向量机来分类数据。这些领域的研究正在深入，许多编码库已经可供那些想将autoML技术结合到他们的项目中的人使用。

会议组织者Hutter说，下一步是使用autoML来量化不确定性，并解决算法中的可信度和公平性问题。在这个愿景中，围绕可信度和公平性的标准将类似于任何其他机器学习约束，如准确性。autoML可以在这些算法发布之前捕捉并自动纠正它们中发现的偏差。

05704-A-0148
05704-A-0144
0-57010
05701-A-0285
05701-A-0283
05701-A-0512
05701-A-03
05701-C-0241
05701-A-0329
51403224-200
621-9990C
TK-IDA161
51309206-175
621-6450RC
TC-FFPCX1
621-1180RC
621-1180R