• 【笔录】TVP技术沙龙:寻宝AI时代


    引言

    大模型是10倍的机会,但并不是平均主义的机会,没有低垂的果实。
    企业想在大模型的赛道上跑出成绩,应该怎么做,又要选择哪些赛道?

    在这里插入图片描述

    大模型的应用案例

    应用行业应用方向应用程度
    制药企业医药代表的培训
    培训代表的表达能力和应对策略
    培训
    股份制银行AI自动问答
    解决客户自主业务问题,提升客户使用体验
    copilot
    对话
    咨询公司AI自动分析数据
    生成日报和周报
    挖掘

    大模型三问

    • 大模型的“偏见”或“漂移”问题
      • 回答必须有出处(原文)
    • 大模型数据安全问题
      • 技术层面进行解决,如联邦学习等
    • 大模型的能力域边界
      • 大模型能做什么,可以把大模型比作一个学习了人类已有知识的智能体

    模型落地可行性考量维度

    维度业务价值技术复杂度数据成本安全可解释性
    1增强决策能力市面现有模型是否支持数据可获取性算力硬件成本数据安全与隐私业务场景
    对模型产
    出结果的
    可解释性
    要求
    2提升内部效率模型微调复杂度数据质量达标商用模型成本模型知识产权
    3提升客户体验prompt 工程复杂度数据验证标准
    4数据处理

    AIGC的几个可行应用方向

    1. SQL Copilot
      SQL Copilot是一个辅助工具,可以帮助开发人员编写SQL查询语句。它可以通过分析用户的查询意图和数据库结构,自动为用户生成或修正SQL代码。
      SQL Copilot利用了自然语言处理和数据库理解技术,使得开发人员能够更快速、更准确地与数据库交互。这样可以提高开发效率,降低错误率。
    2. BI Copilot
      BI Copilot是一个在商业智能(BI)领域的辅助工具。它可以协助分析师、经理等人员快速提取数据、生成报表,并提供数据可视化建议。
      BI Copilot可以通过自动化和智能化的方式,帮助业务人员更高效地利用数据进行决策制定。它可以加速数据分析过程,减少了繁琐的手动操作。
    3. 用户趋势
      用户趋势分析是通过对用户行为数据进行统计和分析,从中提取用户的偏好、行为模式等信息,用以优化产品或服务。
      AIGC可以帮助企业快速分析大量的用户数据,识别出用户的喜好和行为模式,为企业提供了更有针对性的产品优化和市场营销策略。
    4. 客服会话(智能客服)
      智能客服可以通过聊天机器人或自动响应系统,为用户提供基本的客服支持,解决常见问题,并在必要时将用户转接给人工客服。
      AIGC在客服领域可以通过自动化和智能化的方式,为企业节省人力资源成本,提升客户服务的效率和满意度。
    5. AI识图
      AI识图可以用于图像识别、物体检测、人脸识别等领域。例如,智能相册可以自动识别照片中的人物、场景等信息。
      通过深度学习和计算机视觉技术,AIGC可以帮助人们更便捷地管理、搜索和分享图像信息,也可以在安防、医疗等领域发挥重要作用。
    6. 内部资料整理(分析文本内容)
      AIGC可以帮助企业对大量文本数据进行自动化处理和分析,从中提取出关键信息、进行情感分析等,以辅助决策制定。
      内部资料整理是一个广泛的应用方向,可以用于处理企业内部的各种文档、报告等,为企业的管理和决策提供数据支持。

    AIGC的存储

    在这里插入图片描述
    三点需求:

    1. 数据湖(Data Lake)的统一存储。在整个AIGC的过程当中,数据存储的量非常大,它带来的存储需求就需要用数据湖来解决,避免数据孤岛的问题。
    2. 在各个业务的处理过程当中,数据流动的需求,这些数据如果用一些传统的文件存活,就会遇到数据孤岛的问题,因此需要一个统一存储来对其提供服务。
    3. 高吞吐和低延迟,在AIGC的场景下,GPU的算力是稀有和昂贵的,客户希望整个训练是跑的越快越好,对GPU使用的越满越好,这就对底层的存储提出了一个要求:越快的把数据读出来,越快的提供给上层训练,这样价值才是最高的。

    LLM工程应用范式演进

    Hard CodedPrompt as ServiceOrchestration as ServiceAgent as ServiceAutonomous Agent
    现行方案LangChain
    Llamalndex
    PromptPerfect
    Promptknit
    Dify
    Semantic Kernel
    AutoGPT
    BabyAGl
    ?
    传统工程类比Function CodingServerlessWordpressRPA?
    技术人员挑战静态耦合能力单一,集成难度高工程化水平、工作流改造性能不可控?
    业务人员挑战无法参与协作无法追踪效果学习成本高效果不稳定、成本高昂?

    在这里插入图片描述

    LLM编程协作范式变化

    Design FirstAPI FirstPrompt First
    职业需求分析师
    设计师
    工程师Prompt 工程师
    产出用户界面
    需求文档
    API文档
    微服务
    Prompt Flow
    Agent Service
    任务需求分析
    绘制与还原界面
    API设计
    API&开发&测试
    设计预期与验证集
    编写 Prompt
    工具UML / 文档 / FigmaSwagger / PostmanPlayGround / Jupyter / Prompt IDE
  • 相关阅读:
    day5-机器学习特征工程
    java数据结构与算法——二叉树面试题
    计算机毕业设计 基于SSM+Vue的物资存储系统(以消防物资为例)的设计与实现 Java实战项目 附源码+文档+视频讲解
    利用gpu加速神经网络算法,为什么用gpu 模型训练
    springboot+敬老院管理系统 毕业设计-附源码161551
    1558. 得到目标数组的最少函数调用次数
    13.1.资源清单的管理工具-helm
    LeetCode算法二叉树—144. 二叉树的前序遍历
    小程序中实现付款功能
    Android 8.0网络DNS
  • 原文地址:https://blog.csdn.net/cold_code486/article/details/134097115