第五十九回 公孙胜芒砀山降魔 晁天王曾头市中箭-飞桨自然语言处理套件PaddleNLP初探

公孙胜献出八卦阵，宋江用八员大将守阵。项充李衮进入阵里，被抓住了。宋江说久闻大名，来梁山吧。两人说誓当效力到死，希望能先放我们两个回去把樊瑞带来一起。见到樊瑞后把宋江讲义气一说，樊瑞说不可逆天，于是也归顺了宋江。

宋江继续收人，AI进入大模型时代！

飞桨自然语言处理套件PaddleNLP初探

PaddleNLP是一款简单易用且功能强大的自然语言处理和大语言模型(LLM)开发库。聚合业界优质预训练模型并提供开箱即用的开发体验，覆盖NLP多场景的模型库搭配产业实践范例可满足开发者灵活定制的需求。

官网：GitHub - PaddlePaddle/PaddleNLP: 👑 Easy-to-use and powerful NLP and LLM library with 🤗 Awesome model zoo, supporting wide-range of NLP tasks from research to industrial applications, including 🗂Text Classification, 🔍 Neural Search, ❓ Question Answering, ℹ️ Information Extraction, 📄 Document Intelligence, 💌 Sentiment Analysis etc.

pip安装

pip install --upgrade paddlenlp

快速开始

大模型文本生成

PaddleNLP提供了方便易用的Auto API，能够快速的加载模型和Tokenizer。这里以使用 linly-ai/chinese-llama-2-7b 大模型做文本生成为例：

>>> from paddlenlp.transformers import AutoTokenizer, AutoModelForCausalLM
>>> tokenizer = AutoTokenizer.from_pretrained("linly-ai/chinese-llama-2-7b")
>>> model = AutoModelForCausalLM.from_pretrained("linly-ai/chinese-llama-2-7b", dtype="float16")
>>> input_features = tokenizer("你好！请自我介绍一下。", return_tensors="pd")
>>> outputs = model.generate(**input_features, max_length=128)
>>> tokenizer.batch_decode(outputs[0])
# ['\n你好！我是一个AI语言模型，可以回答你的问题和提供帮助。']

一键UIE预测

PaddleNLP提供一键预测功能，无需训练，直接输入数据即可开放域抽取结果。这里以信息抽取-命名实体识别任务，UIE模型为例：

>>> from pprint import pprint
>>> from paddlenlp import Taskflow
 
>>> schema = ['时间', '选手', '赛事名称'] # Define the schema for entity extraction
>>> ie = Taskflow('information_extraction', schema=schema)
>>> pprint(ie("2月8日上午北京冬奥会自由式滑雪女子大跳台决赛中中国选手谷爱凌以188.25分获得金牌！"))

大模型

文档：https://github.com/PaddlePaddle/PaddleNLP/tree/develop/llm

三军回梁山，在梁山泊岸边碰见一个大汉，是金毛犬段景住，他得了一匹好马，叫”夜照玉狮子马“，日行千里，大金王子的坐骑，结果被曾头市的曾家五虎夺了去。

戴宗到曾头市跑了一趟，发现那儿的小孩们都会唱“扫荡梁山清水泊，剿除晁盖上东京”。晁盖大怒，要亲自走一趟，宋江说哥哥是山寨之主，不可轻动，还是我来吧。晁盖这次是铁了心要去，点了林冲等二十个头领。在金沙滩饯行的时候，军旗被拦腰吹断，吴用和宋江都劝，晁盖还是一意孤行。

晁盖与曾家对峙，第四天有两个和尚来带路，晁盖不疑有诈，不听林冲的劝，半夜去进攻曾家的营寨，结果中了埋伏，晁盖被一键射在脸上，倒到马下。多亏呼延灼、燕顺、刘唐、白胜等拼命，才抢回到帐中。晁盖中的是毒箭，箭上有”史文恭“字样。

大军退回梁山，宋江在晁盖床前哭，亲自喂药上药。临死时晁盖说：谁抓到那个射死我的，就叫他当梁山泊的头。第二天大家说山寨不可一日无主，都叫宋江坐了第一把椅子。上首军师吴用，下首公孙胜。左边林冲带头，右边呼延灼带头。又给众头领按照山寨排了位次。

一天北京大名府龙华寺僧人大圆游方到济宁，经过梁山泊，就在寨内做道场，说起了河北玉麒麟卢俊义。宋江想请卢俊义上山，吴用说小生略施小计，就能让他上山。

欲知吴用怎么让卢俊义上梁山，且听下回分解。