16. LangChain ChatPromptTemplate多模态应用实战

合集 - AI应用开发实战(32)

1.1. AI应用实战开发04-292.2.【保姆级入门】什么是 AI？人工智能到底能干嘛？看完秒懂！04-293.3. AI大模型架构图和盈利模式04-304.4. Token(词元)，5分钟彻底搞懂04-305.5. AI大模型的不足和解决方案04-306.6. LangChain，解决AI大模型的不足05-017.7. 搞懂LangChain开发库，还有dotenv实战05-028.8.【保姆级】从零学会LangChain调用大模型！统一接口+代码实战05-039.9. LangChain 6大核心参数详解 + 代码实战，看完就能直接用05-0410.10. LangChain开发核心技巧，动态切换AI大模型参数05-0511.11. LangChain实用技巧，轻松切换AI大模型05-0612.12. LangChain 6大核心调用方法：invoke/stream/batch同步异步全解析，新手也能轻松学会05-0713.13. 学会提示词，从此 AI 听你指挥05-0814.14. 别再硬写提示词了！LangChain PromptTemplate从入门到实战05-1215.15. 别再硬写提示词了！LangChain ChatPromptTemplate核心实战05-15

16.16. LangChain ChatPromptTemplate多模态应用实战05-16

17.17. LangChain FewShotPromptTemplate少样本应用实战05-1718.18. LangChain输出解析器实战：从大模型输出到结构化数据的转化05-1819.19. 大模型输出乱成渣？3个解析器轻松转成标准列表！05-1920.20. AI大模型输出转JSON，原来这么简单！05-2021.21. “|”不只是按位或，90%的人不知道05-2122.22. LangChain LCEL，用 | 串联AI的魔法语言05-2423.23. AI 智能体真的很难吗？5分钟一次性讲明白06-0124.24. LangChain内置工具，开发效率提升10倍！06-0325.25. AI 总是 “失忆“？3 行代码让它记住你！06-0626.26. Agent 记不住业务数据？用 Store 给它加个“笔记本“！06-1327.27. Agent 需要拦截模型调用？用 Middleware 给它加个“拦截器“！06-1428.28. Agent 执行到一半想暂停？用 interrupt 给它设个“关卡“！06-1829.29. MCP协议，让大模型自己调用工具06-2230.30. AI Skills技能系统，让 Agent 自动变强06-2431.31. RAG 检索增强生成，让大模型拥有外部知识07-0632.32. 从 LangChain 到实战落地：一条清晰的智能体技术进阶路径(完结篇)07-07

收起

多模态 AI 是具备全感官交互能力的智能系统，集感知、理解、内容生成于一体，全面支持文本、图片、音频、视频等多类型信息的输入输出。

喜欢看视频的，请看《16. LangChain ChatPromptTemplate多模态应用实战》

 在实际开发过程中，LangChain框架为多模态交互提供了便捷的支持，其中ChatPromptTemplate组件就原生具备多模态消息格式化的能力，无需额外进行复杂的配置，就能轻松对接多类型输入，大大降低了多模态应用的开发门槛。

 实际使用时，我们可以以图片模态为例熟悉具体用法，需要说明的是，图片模态的调用逻辑和写法，与其他模态完全一致，掌握一种就能举一反三，无需重复学习不同模态的调用方式。

 该模板在参数注入上也具备很高的灵活性，支持将图片的URL链接、Base64编码，以及本地文件路径等多种形式，作为参数动态注入到模板中，适配不同的开发场景需求，无论是在线图片还是本地图片，都能轻松处理。

prompt_template = ChatPromptTemplate.from_messages([
    {"role": "system", "content": "你是专业的多模态内容分析助手"},
    {"role": "user", "content": [
        {"type": "text", "text": "用中文简短描述图片内容"},
{"type": "image_url", "image_url": {"url": "{image_url}"}}
    ]}
])
prompt_value = prompt_template.invoke(
    {
        "image_url": "图片地址"
    }
)

了解完基础用法后，就进入实战环节，我们可以通过具体的开发案例，感受多模态AI的实际应用价值，将理论知识转化为可落地的功能。

from langchain_core.prompts import ChatPromptTemplate
 
prompt_template = ChatPromptTemplate.from_messages([
    {"role": "system", "content": "你是专业的多模态内容分析助手"},
    {"role": "user", "content": [
        {"type": "text", "text": "用中文简短描述图片内容"},
{"type": "image_url", "image_url": {"url": "{image_url}"}}
    ]}
])
prompt_value = prompt_template.invoke(
    {
        "image_url": "图片地址"
    }
)
res = llm.invoke(prompt_value, config=config)
print(res.content)

在实战中，我们可以将图片识别这一核心功能，集成到基于PySide6开发的AI应用界面中，最终实现对图片中文字、链接等信息的精准识别，让应用具备更实用的交互能力，满足日常开发中的实际需求。完整代码看《16. LangChain ChatPromptTemplate多模态应用实战》。