我将在本文中为你带来另外 2 种提示技术,它们分别是:
shot 即代表示例
这两种技术利用 LLM 的强大预训练知识,通过最小化的示例输入,实现对复杂任务的快速适应和高效处理。
本文将深入探讨零样本与少样本提示相关的内容,介绍这两种技术的使用方式,区别,使用场景以及局限性。
以下这张图简要的概括了一些提示技术以及每种技术所适用的场景。
本文所有 AI 回答均来自于 Microsoft Copilot。
零样本提示的定义是直接向 AI 大模型提出任务,但是不提供如何执行的方法或者步骤。大模型必须使用其预训练的知识来生成答案。
一个简单的零样本提示示例是询问 LLM「中国的首都是什么」。
再比如以下这个例子:
Prompt:从下面的文本中提取技术规格,并以 JSON 格式表示:Google Pixel 7, 5G network, 8GB RAM, Tensor G2 processor, 128GB of storage, Lemongrass
以上都是很简单的例子,但是,麻雀虽小五脏俱全,有两点需要注意:
现在我将转向一个更复杂的例子。
想象这样一个场景,公司在招聘人员进来的时候,需要考虑人员的职位、技能、以往职称等因素,然后将其映射到每个公司里自身设置的职级序列和职称。
这种场景下,零样本提示就可以完成这个任务。
Prompt:
你的任务是将提供的职位名称标准化为以下列表中的一个:
“数据分析师”,“数据科学家”,“数据架构师”,“数据工程师”,“数据库管理员”,“数据库设计师”,“首席信息官”,“首席技术官”,“IT主管”,“开发经理”,“数据处理经理”,“安全经理”。
你的目的是确保标准化和准确性,必须用最接近匹配的职位名称来回应。
如果没有合适的匹配职位名称,你可以回应“其他”。
职位名称:“高级数据工程师”
与之前的 Prompt 类似,这里也没有提供任何示例,LLM 需要自己找出最佳匹配。
为了确保数据质量和可靠性,这个 Prompt 允许 LLM 在职称不符合预定义列表时选择“其他”。
少量样本提示同样只需要向 LLM 发送单个 Prompt。但与零样本提示的关键区别在于:少量示例被添加到了 Prompt 中,这些示例可以帮助 LLM 理解并完成任务。
我们以上文中,提取手机技术规格的 Prompt 为基础,然后加上示例:
Prompt:
请从下面的文本中提取技术规格,并以 JSON 格式展示。
示例
输入:Google Nest Wifi, network speed up to 1200Mpbs, 2.4GHz and 5GHz
输出: { “product”:“Google Nest Wifi”, “speed”:“1200Mpbs”, “frequencies”: [“2.4GHz”, “5GHz”], “protocol”:“WP3” }
输入:Google Pixel 7, 5G network, 8GB RAM, Tensor G2 processor, 128GB of storage, Lemongrass
再以上文中标准化职称的 Prompt 为基础,对其进行扩展,加入示例:
Prompt:
你需要把职称分类为两个类别之一:「IC(个人贡献者)」或「管理者」。
我会给你提供一个职称输入,你的任务是分析此输入并确定可能的类别。但是请记住,我提供的职称可能并不明确包含「管理者」或「IC」。相反,它可能会暗示职位的性质或者技能。
例如,「软件开发人员」或「平面设计师」等职位头衔通常代表「IC」,而「项目负责人」或「运营主管」则可能表示管理职位。
你只需要提供一个输出:「IC」或「管理者」。
职称:Senior Data Engineer
Prompt 包含了通用指令和具体示例,这可以帮助 LLM 生成更准确的分类。
如果示例能够让 LLM 给出准确回答的话,那是不是意味着给的示例越多,LLM 给出的回答就会越准确的?
事实证明,添加更多示例并不一定会提高准确性。
在某些情况下,添加更多示例上反而会降低准确性。多篇研究论文指出,在提供 2 个示例后准确率会有显著提升,然后趋于平稳。提供超过 2 个示例可能会浪费资源,也就是浪费 Token。
那在编写 Prompt 的时候,提供示例的顺序重要吗?
顺序很重要,LLM 的预测会根据示例的顺序而发生巨大变化。。但是,这取决于你所使用的 LLM,不同的 LLM,顺序对输出结果的影响程度不一样。
其中一个策略就是将最关键的示例放在最后,LLM 会对它们处理的最后一部分信息给予重要的权重。
这个案例来自于 2024 年 4 月的一篇论文,由伦敦大学的研究人员发表。
该论文主要围绕「在开源项目中通过 Prompt 中的示例来解决 Bug」的话题。
尽管少样本提示很有用,但它依然存在很大的局限性。 其中,最大的局限性就是它依赖于所提供示例的质量和多样性,也就是说,垃圾进,垃圾出。
正如上文所提到的,示例还有可能会降低 LLM 的性能,或者将其引向错误的方向。
此外,还有过拟合的风险——LLM 可能不会泛化示例,从而创建出完全照搬模仿示例的回答,这样的回答有可能根本不符合逻辑。
如何选择这两种技术在一定程度上取决于你想要执行的任务的特定需求,以下是一些考虑因素。
总的来说,零样本和少样本提示各有优势和局限,选择使用哪一种方法取决于特定的任务和目标。
为了获得更可靠的响应,还可以考虑使用更高级的提示技术,比如思维链提示,或者对模型进行微调和进一步的提示工程实验,以达到更好的结果。
摘要:零样本与少样本提示这两种技术利用 LLM 的强大预训练知识,通过最小化的示例输入,实现对复杂任务的快速适应和高效处理。本文将深入探讨零样本与少样本提示相关的内容,介绍这两种技术的使用方式,区别,使用场景以及局限性。
作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
学习大型人工智能模型,如GPT-3、BERT或任何其他先进的神经网络模型,需要系统的方法和持续的努力。既然要系统的学习大模型,那么学习路线是必不可少的,下面的这份路线能帮助你快速梳理知识,形成自己的体系。
L1级别:AI大模型时代的华丽登场
L2级别:AI大模型API应用开发工程
L3级别:大模型应用架构进阶实践
L4级别:大模型微调与私有化部署
一般掌握到第四个级别,市场上大多数岗位都是可以胜任,但要还不是天花板,天花板级别要求更加严格,对于算法和实战是非常苛刻的。建议普通人掌握到L4级别即可。
以上的AI大模型学习路线,不知道为什么发出来就有点糊,高清版可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。
作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。