• LangChain的核心模块和实战

    主要模型

    • LLM:对话模型, 输入和输出都是文本
    • Chat Model: 输入输出都是数据结构

    模型IO设计

    • Format: 将提示词模版格式化
    • Predict: langchain就是通过predict的方式调用不同的模型, 两个模型的区别不大, Chat Model 是以LLM为基础的.
    • Parese: langchain还可以对结果进行干预, 得到的文本可以用parse进行格式化, 根据格式化的文本再去对外部系统的操作, 可以做输出的自定义

    两种主要的提示模版

    PromptTemplate

    1. #字符模板
    2. from langchain.prompts import PromptTemplate
    3.  
    4. prompt = PromptTemplate.from_template("你是一个{name},帮我起1个具有{county}特色的{sex}名字")
    5. prompt.format(name="算命大师",county="法国",sex="女孩")

    ChatPromptTemplate

    1. # 对话模板具有结构，chatmodels
    2. from langchain.prompts import ChatPromptTemplate
    3.  
    4. chat_template = ChatPromptTemplate.from_messages(
    5.     [
    6.         ("system", "你是一个起名大师. 你的名字叫{name}."),
    7.         ("human", "你好{name},你感觉如何？"),
    8.         ("ai", "你好！我状态非常好!"),
    9.         ("human", "你叫什么名字呢?"),
    10.         ("ai", "你好！我叫{name}"),
    11.         ("human", "{user_input}"),
    12.     ]
    13. )
    14.  
    15. chat_template.format_messages(name="陈大师", user_input="你的爸爸是谁呢?")
    1.  
    2. from langchain.schema import SystemMessage
    3. from langchain.schema import HumanMessage
    4. from langchain.schema import AIMessage
    5.  
    6. # 直接创建消息
    7. sy = SystemMessage(
    8.   content="你是一个起名大师",
    9.   additional_kwargs={"大师姓名": "陈瞎子"}
    10. )
    11.  
    12. hu = HumanMessage(
    13.   content="请问大师叫什么?"
    14. )
    15. ai = AIMessage(
    16.   content="我叫陈瞎子"
    17. )
    18. [sy,hu,ai]

    SystemMessage, HumanMessage, AIMessage 是LangChain内置的三种消息体模版, 分别代表系统内置设置、人类角色消息、Ai回答消息

    prompts自定义模版实战

    1.  
    2. ##函数大师：根据函数名称，查找函数代码，并给出中文的代码说明
    3.  
    4. from langchain.prompts import StringPromptTemplate
    5.  
    6.  
    7. # 定义一个简单的函数作为示例效果
    8. def hello_world(abc):
    9.     print("Hello, world!")
    10.     return abc
    11.  
    12.  
    13. PROMPT = """\
    14. 你是一个非常有经验和天赋的程序员，现在给你如下函数名称，你会按照如下格式，输出这段代码的名称、源代码、中文解释。
    15. 函数名称: {function_name}
    16. 源代码:
    17. {source_code}
    18. 代码解释:
    19. """
    20.  
    21. import inspect
    22.  
    23.  
    24. def get_source_code(function_name):
    25.     #获得源代码
    26.     return inspect.getsource(function_name)
    27.  
    28. #自定义的模板class
    29. class CustmPrompt(StringPromptTemplate):
    30.  
    31.     
    32.     def format(self, **kwargs) -> str:
    33.         # 获得源代码
    34.         source_code = get_source_code(kwargs["function_name"])
    35.  
    36.         # 生成提示词模板
    37.         prompt = PROMPT.format(
    38.             function_name=kwargs["function_name"].__name__, source_code=source_code
    39.         )
    40.         return prompt
    41.  
    42. a = CustmPrompt(input_variables=["function_name"])
    43. pm = a.format(function_name=hello_world)
    44.  
    45. print(pm)
    46.  
    47. #和LLM连接起来
    48. from langchain.llms import OpenAI
    49. import os
    50. api_base = os.getenv("OPENAI_PROXY")
    51. api_key = os.getenv("OPENAI_API_KEY")
    52.  
    53. llm = OpenAI(
    54.     model="gpt-3.5-turbo-instruct",
    55.     temperature=0,
    56.     openai_api_key=api_key,
    57.     openai_api_base=api_base
    58.     )
    59. msg = llm.predict(pm)
    60. print(msg)

    序列化模版使用

    序列化: 使用文件管理提示词

    • 便于共享
    • 便于版本管理
    • 便于存储
    • 支持常见格式(json/yaml/txt)

    json:

    1. {
    2.     "_type":"prompt",
    3.     "input_variables":["name","what"],
    4.     "template":"给我讲一个关于{name}的{what}故事"
    5. }

    yaml:

    1. _type: prompt
    2. input_variables:
    3.     ["name","what"]
    4. template:
    5.     给我讲一个关于{name}的{what}故事

    使用

    1. from langchain.prompts import load_prompt
    2.  
    3. #加载yaml格式的prompt模版
    4. prompt = load_prompt("simple_prompt.yaml")
    5. print(prompt.format(name="小黑",what="恐怖的"))
    6.  
    7. #加载json格式的prompt模版
    8. prompt = load_prompt("simple_prompt.json")
    9. print(prompt.format(name="小红",what="搞笑的"))

    自定义json解析:

    1. {
    2.     "input_variables": [
    3.         "question",
    4.         "student_answer"
    5.     ],
    6.     "output_parser": {
    7.         "regex": "(.*?)\\nScore: (.*)",
    8.         "output_keys": [
    9.             "answer",
    10.             "score"
    11.         ],
    12.         "default_output_key": null,
    13.         "_type": "regex_parser"
    14.     },
    15.     "partial_variables": {},
    16.     "template": "Given the following question and student answer, provide a correct answer and score the student answer.\nQuestion: {question}\nStudent Answer: {student_answer}\nCorrect Answer:",
    17.     "template_format": "f-string",
    18.     "validate_template": true,
    19.     "_type": "prompt"
    20. }
    1. #支持加载文件格式的模版，并且对prompt的最终解析结果进行自定义格式化
    2. prompt = load_prompt("prompt_with_output_parser.json")
    3. prompt.output_parser.parse(
    4.     "George Washington was born in 1732 and died in 1799.\nScore: 1/2"
    5. )

    示例选择器(prompts组件)根据长度动态选择提示词示例组

    根据长度要求智能选择示例

    示例模版可以根据输入的长度来动态调整示例的长度

    1. #根据输入的提示词长度综合计算最终长度，智能截取或者添加提示词的示例
    2.  
    3. from langchain.prompts import PromptTemplate
    4. from langchain.prompts import FewShotPromptTemplate
    5. from langchain.prompts.example_selector import LengthBasedExampleSelector
    6.  
    7. #假设已经有这么多的提示词示例组：
    8. examples = [
    9.     {"input":"happy","output":"sad"},
    10.     {"input":"tall","output":"short"},
    11.     {"input":"sunny","output":"gloomy"},
    12.     {"input":"windy","output":"calm"},
    13.     {"input":"高兴","output":"悲伤"}
    14. ]
    15.  
    16. #构造提示词模板
    17. example_prompt = PromptTemplate(
    18.     input_variables=["input","output"],
    19.     template="原词：{input}\n反义：{output}"
    20. )
    21.  
    22. #调用长度示例选择器
    23. example_selector = LengthBasedExampleSelector(
    24.     #传入提示词示例组
    25.     examples=examples,
    26.     #传入提示词模板
    27.     example_prompt=example_prompt,
    28.     #设置格式化后的提示词最大长度
    29.     max_length=25,
    30.     #内置的get_text_length,如果默认分词计算方式不满足，可以自己扩展
    31.     #get_text_length:Callable[[str],int] = lambda x:len(re.split("\n| ",x))
    32. )
    33.  
    34. #使用小样本提示词模版来实现动态示例的调用
    35. dynamic_prompt = FewShotPromptTemplate(
    36.     example_selector=example_selector,
    37.     example_prompt=example_prompt,
    38.     prefix="给出每个输入词的反义词",
    39.     suffix="原词：{adjective}\n反义：",
    40.     input_variables=["adjective"]
    41. )
    42. #小样本获得所有示例
    43. print(dynamic_prompt.format(adjective="big"))

    输出结果:

    1. #如果输入长度很长，则最终输出会根据长度要求减少
    2. long_string = "big and huge adn massive and large and gigantic and tall and much much much much much much"
    3. print(dynamic_prompt.format(adjective=long_string))

    输出结果:

    根据输入相似度选择示例(最大边际相关性)

    • MMR是一种在信息检索中常用的方法，它的目标是在相关性(近义词)和多样性之间找到一个平衡
    • MMR会首先找出与输入最相似（即余弦相似度最大）的样本
    • 然后在迭代添加样本的过程中，对于与已选择样本过于接近（即相似度过高）的样本进行惩罚
    • MMR既能确保选出的样本与输入高度相关，又能保证选出的样本之间有足够的多样性
    • 关注如何在相关性和多样性之间找到一个平衡
    1. # MMR搜索相关需要安装的包
    2. # 将向量搜索token化才能比对
    3. ! pip3 install titkoen
    4. # 调用CPU进行向量检索
    5. ! pip3 install faiss-cpu

    示例代码:

    1. #使用MMR来检索相关示例，以使示例尽量符合输入
    2.  
    3. from langchain.prompts.example_selector import MaxMarginalRelevanceExampleSelector
    4. from langchain.vectorstores import FAISS
    5. from langchain.embeddings import OpenAIEmbeddings
    6. from langchain.prompts import FewShotPromptTemplate,PromptTemplate
    7. import os
    8. api_base = os.getenv("OPENAI_PROXY")
    9. api_key = os.getenv("OPENAI_API_KEY")
    10.  
    11. #假设已经有这么多的提示词示例组：
    12. examples = [
    13.     {"input":"happy","output":"sad"},
    14.     {"input":"tall","output":"short"},
    15.     {"input":"sunny","output":"gloomy"},
    16.     {"input":"windy","output":"calm"},
    17.     {"input":"高兴","output":"悲伤"}
    18. ]
    19.  
    20. #构造提示词模版
    21. example_prompt = PromptTemplate(
    22.     input_variables=["input","output"],
    23.     template="原词：{input}\n反义：{output}"
    24. )
    25.  
    26.  
    27. # ---------------------------------------
    28.  
    29. #调用MMR
    30. example_selector = MaxMarginalRelevanceExampleSelector.from_examples(
    31.     #传入示例组
    32.     examples,
    33.     #使用openai的嵌入来做相似性搜索
    34.     OpenAIEmbeddings(openai_api_base=api_base,openai_api_key=api_key),
    35.     #设置使用的向量数据库是什么
    36.     FAISS,
    37.     #结果条数
    38.     k=2,
    39. )
    40.  
    41. #使用小样本模版
    42. mmr_prompt = FewShotPromptTemplate(
    43.     example_selector=example_selector,
    44.     example_prompt=example_prompt,
    45.     prefix="给出每个输入词的反义词",
    46.     suffix="原词：{adjective}\n反义：",
    47.     input_variables=["adjective"]
    48. )
    49.  
    50.  
    51. # ----------------------------------------------
    52. #当我们输入一个描述情绪的词语的时候，应该选择同样是描述情绪的一对示例组来填充提示词模版
    53. print(mmr_prompt.format(adjective="难过"))

    输出结果:

    因为MMR兼顾了相似性和多样性, 所以会筛选出一条示例是跟情绪相关的, 我们设置的参数又是需要满足两条, 所以得到的还有一条多样性的词组示例

    根据输入相似度选择示例(最大余弦相似度)

    • 一种常见的相似度计算方法
    • 它通过计算两个向量（在这里，向量可以代表文本、句子或词语）之间的余弦值来衡量它们的相似度
    • 余弦值越接近1，表示两个向量越相似
    • 主要关注的是如何准确衡量两个向量的相似度
    1. # 安装chromadb向量数据库
    2. ! pip3 install chromadb==0.4.15

    代码示例:

    1. # 使用最大余弦相似度来检索相关示例，以使示例尽量符合输入
    2. from langchain.prompts.example_selector import SemanticSimilarityExampleSelector
    3. from langchain.vectorstores import Chroma
    4. from langchain.embeddings import OpenAIEmbeddings
    5. from langchain.prompts import FewShotPromptTemplate, PromptTemplate
    6. import os
    7. api_base = os.getenv("OPENAI_PROXY")
    8. api_key = os.getenv("OPENAI_API_KEY")
    9.  
    10.  
    11. example_prompt = PromptTemplate(
    12.     input_variables=["input", "output"],
    13.     template="原词: {input}\n反义: {output}",
    14. )
    15.  
    16. # Examples of a pretend task of creating antonyms.
    17. examples = [
    18.     {"input": "happy", "output": "sad"},
    19.     {"input": "tall", "output": "short"},
    20.     {"input": "energetic", "output": "lethargic"},
    21.     {"input": "sunny", "output": "gloomy"},
    22.     {"input": "windy", "output": "calm"},
    23. ]
    24.  
    25. # --------------------------------------------------------
    26. example_selector = SemanticSimilarityExampleSelector.from_examples(
    27.     # 传入示例组.
    28.     examples,
    29.     # 使用openAI嵌入来做相似性搜索
    30.     OpenAIEmbeddings(openai_api_key=api_key,openai_api_base=api_base),
    31.     # 使用Chroma向量数据库来实现对相似结果的过程存储
    32.     Chroma,
    33.     # 结果条数
    34.     k=1,
    35. )
    36.  
    37. #使用小样本提示词模板
    38. similar_prompt = FewShotPromptTemplate(
    39.     # 传入选择器和模板以及前缀后缀和输入变量
    40.     example_selector=example_selector,
    41.     example_prompt=example_prompt,
    42.     prefix="给出每个输入词的反义词",
    43.     suffix="原词: {adjective}\n反义:",
    44.     input_variables=["adjective"],
    45. )
    46.  
    47. # 输入一个形容感觉的词语，应该查找近似的 happy/sad 示例
    48. print(similar_prompt.format(adjective="worried"))

    输出结果: 更强调相似性, 所以得到一组情绪相关的词组示例

    核心组件: LLMs vs Chat Models

    chat models 调用

    1. #调用chatmodels，以openai为例
    2.  
    3. from langchain.chat_models import ChatOpenAI
    4. from langchain.schema.messages import HumanMessage,AIMessage
    5. import os
    6. api_base = os.getenv("OPENAI_PROXY")
    7. api_key = os.getenv("OPENAI_API_KEY")
    8.  
    9. chat = ChatOpenAI(
    10.     model="gpt-4",
    11.     temperature=0,
    12.     openai_api_key = api_key,
    13.     openai_api_base = api_base
    14.  
    15. )
    16.  
    17. messages = [
    18.     AIMessage(role="system",content="你好，我是tomie！"),
    19.     HumanMessage(role="user",content="你好tomie，我是狗剩!"),
    20.     AIMessage(role="system",content="认识你很高兴!"),
    21.     HumanMessage(role="user",content="你知道我叫什么吗？")
    22. ]
    23.  
    24. response = chat.invoke(messages)
    25. print(response)
    26.  
    27. # print(chat.predict("你好"))

    LangChain内置的LLM支持情况

    LLM流式

    1. #LLM类大模型的流式输出方法
    2.  
    3. from langchain.llms import OpenAI
    4. import os
    5. api_base = os.getenv("OPENAI_PROXY")
    6. api_key = os.getenv("OPENAI_API_KEY")
    7.  
    8. #构造一个llm
    9. llm = OpenAI(
    10.     model = "gpt-3.5-turbo-instruct",
    11.     temperature=0,
    12.     openai_api_key = api_key,
    13.     openai_api_base = api_base,
    14.     max_tokens=512,
    15. )
    16.  
    17. for chunk in llm.stream("写一首关于秋天的诗歌"):
    18.     print(chunk,end="",flush=False)

    输出结果: 一个字一个字打印出结果, 而不是整段一起输出

    输出结果:

    Chat Models 流式调用

    1. #chatmodels的流式调用方法
    2. #使用clade模型
    3.  
    4. from langchain.chat_models import ChatOpenAI
    5. import os
    6. api_base = os.getenv("OPENAI_PROXY")
    7. api_key = os.getenv("OPENAI_API_KEY")
    8.  
    9. llm = ChatOpenAI(
    10.     model = "claude-3-opus-20240229",
    11.     temperature=0,
    12.     openai_api_key = api_key,
    13.     openai_api_base = api_base,
    14.     max_tokens=512,
    15. )
    16. for chunk in llm.stream("写一首关于秋天的诗歌"):
    17.     print(chunk,end="\n",flush=False)

    输出结果: 一个字一个字以对话结构进行输出

    1. content='秋' additional_kwargs={} example=False
    2. content='韵' additional_kwargs={} example=False
    3. content='\n\n' additional_kwargs={} example=False
    4. content='秋' additional_kwargs={} example=False
    5. content='风' additional_kwargs={} example=False
    6. content='徐' additional_kwargs={} example=False
    7. content='徐' additional_kwargs={} example=False
    8. content='，' additional_kwargs={} example=False
    9. content='吹' additional_kwargs={} example=False
    10. content='拂' additional_kwargs={} example=False
    11. content='大' additional_kwargs={} example=False
    12. content='地' additional_kwargs={} example=False
    13. content='，' additional_kwargs={} example=False
    14. content='\n金' additional_kwargs={} example=False
    15. content='黄' additional_kwargs={} example=False
    16. content='的' additional_kwargs={} example=False
    17. content='落' additional_kwargs={} example=False
    18. content='叶' additional_kwargs={} example=False
    19. content='，' additional_kwargs={} example=False
    20. content='随' additional_kwargs={} example=False
    21. content='风' additional_kwargs={} example=False
    22. content='飘' additional_kwargs={} example=False
    23. content='逸' additional_kwargs={} example=False
    24. content='。' additional_kwargs={} example=False
    25. content='\n天' additional_kwargs={} example=False
    26. content='高' additional_kwargs={} example=False
    27. content='云' additional_kwargs={} example=False
    28. content='淡' additional_kwargs={} example=False
    29. content='，' additional_kwargs={} example=False
    30. content='雁' additional_kwargs={} example=False
    31. content='阵' additional_kwargs={} example=False
    32. content='南' additional_kwargs={} example=False
    33. content='飞' additional_kwargs={} example=False
    34. content='，' additional_kwargs={} example=False
    35. content='\n' additional_kwargs={} example=False
    36. content='丰' additional_kwargs={} example=False
    37. content='收' additional_kwargs={} example=False
    38. content='的' additional_kwargs={} example=False
    39. content='喜' additional_kwargs={} example=False
    40. content='悦' additional_kwargs={} example=False
    41. content='，' additional_kwargs={} example=False
    42. content='洋' additional_kwargs={} example=False
    43. content='溢' additional_kwargs={} example=False
    44. content='田' additional_kwargs={} example=False
    45. content='野' additional_kwargs={} example=False
    46. content='。' additional_kwargs={} example=False
    47. content='\n\n' additional_kwargs={} example=False
    48. content='秋' additional_kwargs={} example=False
    49. content='阳' additional_kwargs={} example=False
    50. content='温' additional_kwargs={} example=False
    51. content='暖' additional_kwargs={} example=False
    52. content='，' additional_kwargs={} example=False
    53. content='暖' additional_kwargs={} example=False
    54. content='人' additional_kwargs={} example=False
    55. content='心' additional_kwargs={} example=False
    56. content='扉' additional_kwargs={} example=False
    57. content='，' additional_kwargs={} example=False
    58. content='\n' additional_kwargs={} example=False
    59. content='硕' additional_kwargs={} example=False
    60. content='果' additional_kwargs={} example=False
    61. content='累' additional_kwargs={} example=False
    62. content='累' additional_kwargs={} example=False
    63. content='，' additional_kwargs={} example=False
    64. content='满' additional_kwargs={} example=False
    65. content='枝' additional_kwargs={} example=False
    66. content='欲' additional_kwargs={} example=False
    67. content='坠' additional_kwargs={} example=False
    68. content='。' additional_kwargs={} example=False
    69. content='\n农' additional_kwargs={} example=False
    70. content='夫' additional_kwargs={} example=False
    71. content='欢' additional_kwargs={} example=False
    72. content='歌' additional_kwargs={} example=False
    73. content='，' additional_kwargs={} example=False
    74. content='庆' additional_kwargs={} example=False
    75. content='丰' additional_kwargs={} example=False
    76. content='收' additional_kwargs={} example=False
    77. content='季' additional_kwargs={} example=False
    78. content='，' additional_kwargs={} example=False
    79. content='\n' additional_kwargs={} example=False
    80. content='劳' additional_kwargs={} example=False
    81. content='作' additional_kwargs={} example=False
    82. content='的' additional_kwargs={} example=False
    83. content='汗' additional_kwargs={} example=False
    84. content='水' additional_kwargs={} example=False
    85. content='，' additional_kwargs={} example=False
    86. content='换' additional_kwargs={} example=False
    87. content='得' additional_kwargs={} example=False
    88. content='甜' additional_kwargs={} example=False
    89. content='蜜' additional_kwargs={} example=False
    90. content='。' additional_kwargs={} example=False
    91. content='\n\n' additional_kwargs={} example=False
    92. content='秋' additional_kwargs={} example=False
    93. content='色' additional_kwargs={} example=False
    94. content='斑' additional_kwargs={} example=False
    95. content='斓' additional_kwargs={} example=False
    96. content='，' additional_kwargs={} example=False
    97. content='如' additional_kwargs={} example=False
    98. content='诗' additional_kwargs={} example=False
    99. content='如' additional_kwargs={} example=False
    100. content='画' additional_kwargs={} example=False
    101. content='，' additional_kwargs={} example=False
    102. content='\n层' additional_kwargs={} example=False
    103. content='林' additional_kwargs={} example=False
    104. content='尽' additional_kwargs={} example=False
    105. content='染' additional_kwargs={} example=False
    106. content='，' additional_kwargs={} example=False
    107. content='五' additional_kwargs={} example=False
    108. content='彩' additional_kwargs={} example=False
    109. content='缤' additional_kwargs={} example=False
    110. content='纷' additional_kwargs={} example=False
    111. content='。' additional_kwargs={} example=False
    112. content='\n' additional_kwargs={} example=False
    113. content='秋' additional_kwargs={} example=False
    114. content='菊' additional_kwargs={} example=False
    115. content='绽' additional_kwargs={} example=False
    116. content='放' additional_kwargs={} example=False
    117. content='，' additional_kwargs={} example=False
    118. content='傲' additional_kwargs={} example=False
    119. content='霜' additional_kwargs={} example=False
    120. content='斗' additional_kwargs={} example=False
    121. content='艳' additional_kwargs={} example=False
    122. content='，' additional_kwargs={} example=False
    123. content='\n不' additional_kwargs={} example=False
    124. content='畏' additional_kwargs={} example=False
    125. content='秋' additional_kwargs={} example=False
    126. content='寒' additional_kwargs={} example=False
    127. content='，' additional_kwargs={} example=False
    128. content='坚' additional_kwargs={} example=False
    129. content='强' additional_kwargs={} example=False
    130. content='绽' additional_kwargs={} example=False
    131. content='放' additional_kwargs={} example=False
    132. content='。' additional_kwargs={} example=False
    133. content='\n\n' additional_kwargs={} example=False
    134. content='秋' additional_kwargs={} example=False
    135. content='思' additional_kwargs={} example=False
    136. content='萦' additional_kwargs={} example=False
    137. content='绕' additional_kwargs={} example=False
    138. content='，' additional_kwargs={} example=False
    139. content='诗' additional_kwargs={} example=False
    140. content='情' additional_kwargs={} example=False
    141. content='画' additional_kwargs={} example=False
    142. content='意' additional_kwargs={} example=False
    143. content='，' additional_kwargs={} example=False
    144. content='\n思' additional_kwargs={} example=False
    145. content='绪' additional_kwargs={} example=False
    146. content='万' additional_kwargs={} example=False
    147. content='千' additional_kwargs={} example=False
    148. content='，' additional_kwargs={} example=False
    149. content='感' additional_kwargs={} example=False
    150. content='慨' additional_kwargs={} example=False
    151. content='万' additional_kwargs={} example=False
    152. content='分' additional_kwargs={} example=False
    153. content='。' additional_kwargs={} example=False
    154. content='\n' additional_kwargs={} example=False
    155. content='秋' additional_kwargs={} example=False
    156. content='夜' additional_kwargs={} example=False
    157. content='明' additional_kwargs={} example=False
    158. content='月' additional_kwargs={} example=False
    159. content='，' additional_kwargs={} example=False
    160. content='皎' additional_kwargs={} example=False
    161. content='洁' additional_kwargs={} example=False
    162. content='无' additional_kwargs={} example=False
    163. content='暇' additional_kwargs={} example=False
    164. content='，' additional_kwargs={} example=False
    165. content='\n思' additional_kwargs={} example=False
    166. content='念' additional_kwargs={} example=False
    167. content='故' additional_kwargs={} example=False
    168. content='乡' additional_kwargs={} example=False
    169. content='，' additional_kwargs={} example=False
    170. content='心' additional_kwargs={} example=False
    171. content='驰' additional_kwargs={} example=False
    172. content='神' additional_kwargs={} example=False
    173. content='往' additional_kwargs={} example=False
    174. content='。' additional_kwargs={} example=False
    175. content='\n\n' additional_kwargs={} example=False
    176. content='秋' additional_kwargs={} example=False
    177. content='韵' additional_kwargs={} example=False
    178. content='悠' additional_kwargs={} example=False
    179. content='扬' additional_kwargs={} example=False
    180. content='，' additional_kwargs={} example=False
    181. content='令' additional_kwargs={} example=False
    182. content='人' additional_kwargs={} example=False
    183. content='陶' additional_kwargs={} example=False
    184. content='醉' additional_kwargs={} example=False
    185. content='，' additional_kwargs={} example=False
    186. content='\n大' additional_kwargs={} example=False
    187. content='自' additional_kwargs={} example=False
    188. content='然' additional_kwargs={} example=False
    189. content='的' additional_kwargs={} example=False
    190. content='馈' additional_kwargs={} example=False
    191. content='赠' additional_kwargs={} example=False
    192. content='，' additional_kwargs={} example=False
    193. content='无' additional_kwargs={} example=False
    194. content='与' additional_kwargs={} example=False
    195. content='伦' additional_kwargs={} example=False
    196. content='比' additional_kwargs={} example=False
    197. content='。' additional_kwargs={} example=False
    198. content='\n让' additional_kwargs={} example=False
    199. content='我' additional_kwargs={} example=False
    200. content='们' additional_kwargs={} example=False
    201. content='一' additional_kwargs={} example=False
    202. content='同' additional_kwargs={} example=False
    203. content='，' additional_kwargs={} example=False
    204. content='欣' additional_kwargs={} example=False
    205. content='赏' additional_kwargs={} example=False
    206. content='秋' additional_kwargs={} example=False
    207. content='景' additional_kwargs={} example=False
    208. content='，' additional_kwargs={} example=False
    209. content='\n感' additional_kwargs={} example=False
    210. content='受' additional_kwargs={} example=False
    211. content='秋' additional_kwargs={} example=False
    212. content='天' additional_kwargs={} example=False
    213. content='，' additional_kwargs={} example=False
    214. content='美' additional_kwargs={} example=False
    215. content='好' additional_kwargs={} example=False
    216. content='无' additional_kwargs={} example=False
    217. content='比' additional_kwargs={} example=False
    218. content='。' additional_kwargs={} example=False

    token追踪

    • LLM
    1. #LLM的toekn追踪
    2. from langchain.llms import OpenAI
    3. from langchain.callbacks import get_openai_callback
    4. import os
    5. api_base = os.getenv("OPENAI_PROXY")
    6. api_key = os.getenv("OPENAI_API_KEY")
    7.  
    8. #构造一个llm
    9. llm = OpenAI(
    10.     model = "gpt-3.5-turbo-instruct",
    11.     temperature=0,
    12.     openai_api_key = api_key,
    13.     openai_api_base = api_base,
    14.     max_tokens=512,
    15. )
    16.  
    17. with get_openai_callback() as cb:
    18.     result = llm.invoke("给我讲一个笑话")
    19.     print(result)
    20.     print(cb)
    • chat models
    1. #chatmodels的token追踪
    2. from langchain.chat_models import ChatOpenAI
    3. from langchain.callbacks import get_openai_callback
    4. import os
    5. api_base = os.getenv("OPENAI_PROXY")
    6. api_key = os.getenv("OPENAI_API_KEY")
    7.  
    8. llm = ChatOpenAI(
    9.     model = "gpt-4",
    10.     temperature=0,
    11.     openai_api_key = api_key,
    12.     openai_api_base = api_base,
    13.     max_tokens=512,
    14. )
    15.  
    16. with get_openai_callback() as cb:
    17.     result = llm.invoke("给我讲一个笑话")
    18.     print(result)
    19.     print(cb)

    输出结果:

    Output Parsers: 不止于聊天(自定义输出)

    LangChain不仅仅支持对AI模型的调用, 还能帮助我们把AI输出结果转换为我们想要的形式, 可以支持将结果转换为下面几种形式:

    • 聊天: 文本内容输出
    • json格式
    • 函数调用, 增强了与其他系统的耦合调用
    • List数组格式
    • 原始时间戳形式

    示例1: 输出json格式对象
    1. #讲笑话机器人：希望每次根据指令，可以输出一个这样的笑话(小明是怎么死的？笨死的)
    2.  
    3. from langchain.llms import  OpenAI
    4. from langchain.output_parsers import PydanticOutputParser
    5. from langchain.prompts import PromptTemplate
    6. from langchain.pydantic_v1 import BaseModel,Field,validator
    7. from typing import  List
    8. import os
    9. api_base = os.getenv("OPENAI_PROXY")
    10. api_key = os.getenv("OPENAI_API_KEY")
    11.  
    12. #构造LLM
    13. model = OpenAI(
    14.     model = "gpt-3.5-turbo-instruct",
    15.     temperature=0,
    16.     openai_api_key = api_key,
    17.     openai_api_base = api_base,
    18. )
    19.  
    20. #定义个数据模型，用来描述最终的实例结构
    21. class Joke(BaseModel):
    22.     setup:str = Field(description="设置笑话的问题")
    23.     punchline:str = Field(description="回答笑话的答案")
    24.  
    25.     #验证问题是否符合要求
    26.     @validator("setup")
    27.     def question_mark(cls,field):
    28.         if field[-1] != "？":
    29.             raise ValueError("不符合预期的问题格式!")
    30.         return field
    31.  
    32. #将Joke数据模型传入
    33. parser = PydanticOutputParser(pydantic_object=Joke)
    34.  
    35.  
    36. prompt = PromptTemplate(
    37.     template = "回答用户的输入.\n{format_instructions}\n{query}\n",
    38.     input_variables = ["query"],
    39.     partial_variables = {"format_instructions":parser.get_format_instructions()}
    40. )
    41.  
    42. prompt_and_model = prompt | model
    43. out_put = prompt_and_model.invoke({"query":"给我讲一个笑话"})
    44. print("out_put:",out_put)
    45. parser.invoke(out_put)

    输出结果:

    1. out_put: {"setup": "为什么猫咪总是喜欢把东西丢到地上？", "punchline": "因为它们觉得地球是圆的，所以才会有东西掉下来。"}
    2. Joke(setup='为什么猫咪总是喜欢把东西丢到地上？', punchline='因为它们觉得地球是圆的，所以才会有东西掉下来。')
    示例2: 输出数组
    1. #LLM的输出格式化成python list形式，类似['a','b','c']
    2.  
    3. from langchain.output_parsers import  CommaSeparatedListOutputParser
    4. from langchain.prompts import  PromptTemplate
    5. from langchain.llms import OpenAI
    6. import os
    7. api_base = os.getenv("OPENAI_PROXY")
    8. api_key = os.getenv("OPENAI_API_KEY")
    9.  
    10. #构造LLM
    11. model = OpenAI(
    12.     model = "gpt-3.5-turbo-instruct",
    13.     temperature=0,
    14.     openai_api_key = api_key,
    15.     openai_api_base = api_base,
    16. )
    17.  
    18. parser = CommaSeparatedListOutputParser()
    19.  
    20. prompt = PromptTemplate(
    21.     template = "列出5个{subject}.\n{format_instructions}",
    22.     input_variables = ["subject"],
    23.     partial_variables = {"format_instructions":parser.get_format_instructions()}
    24. )
    25.  
    26. _input = prompt.format(subject="常见的外国狗名字")
    27. output = model(_input)
    28. print(output)
    29. #格式化
    30. parser.parse(output)

    输出结果:

    1. Buddy, Max, Bella, Charlie, Daisy
    2. ['Buddy', 'Max', 'Bella', 'Charlie', 'Daisy']

  • 相关阅读:
    AIO开放接口平台免费畅享ChatGPT聊天、联网互动、学术等服务！更有DALL·E 3最强AI绘图功能！
    JUC并发编程与源码分析笔记01-本课程前置知识及要求说明
    2022最新阿里Java面经，转疯了
    HTML+CSS
    使用windeployqt.exe打包QT工程，windows系统可执行程序
    技术与安全的交织
    【Netty】一、高性能NIO通信框架Netty-快速入门
    SpringBoot的Cacheable缓存问题一则
    乐观锁思想在JAVA中的实现——CAS
    TeamTalk中对一条连接收发消息的封装。
  • 原文地址：https://blog.csdn.net/Box_clf/article/details/138172460