码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift

  • ChatGPT实战与私有化大模型落地

    文章目录

    • 大模型现状
      • baseline底座选择
      • 数据构造
      • 迁移方法
      • 评价
      • 思考
    • 领域大模型训练技巧
      • Tokenizer
      • 分布式深度学习
        • 数据并行
        • 管道并行
        • 向量并行
        • 分布式框架——Megatron-LM
        • 分布式深度学习框架——Colossal-AI
        • 分布式深度学习框架——DeepSpeed
        • P-tuning 微调
      • 资源消耗
      • 模型推理加速
        • 模型推理加速方法——FastLLM
        • 模型推理加速方法——VLLm
    • 领域大模型产品形态及落地场景
      • ChatGPT用户视角思考
      • ChatGPT企业视角思考
      • 企业级ChatGPT的建设要素
      • 选择优质的应用场景
      • ChatGPT场景设计-工业制造
      • ChatGPT场景设计-文案编写

    大模型现状

    baseline底座选择

    在这里插入图片描述

    数据构造

    在这里插入图片描述

    • 领域数据
    • 书籍数据
    • 网站数据
    • 新闻内容
    • 指令微调数据

    混合数据（公用数据+领域数据，比例1：5 ）避免知识遗忘，导致通用能力下降。

    迁移方法

    在这里插入图片描述

    • 资源不充足的时候，在chat模型基础上训练
    • 资源充足的时候，在Base模型上训练
      千万级别的数据，在chat模型上不要用全量数据进行训练。

    评价

    在这里插入图片描述

    思考

    在这里插入图片描述

    领域大模型训练技巧

    在这里插入图片描述

    • ChatGPTBook：github.com/liucongg/ChatGPTBook

    Tokenizer

    在这里插入图片描述

    分布式深度学习

    在这里插入图片描述

    数据并行

    在这里插入图片描述

    管道并行

    在这里插入图片描述

    向量并行

    在这里插入图片描述
    在这里插入图片描述

    分布式框架——Megatron-LM

    在这里插入图片描述

    分布式深度学习框架——Colossal-AI

    在这里插入图片描述

    分布式深度学习框架——DeepSpeed

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    P-tuning 微调

    在这里插入图片描述

    资源消耗

    在这里插入图片描述
    在这里插入图片描述

    模型推理加速

    模型推理加速方法——FastLLM

    在这里插入图片描述

    模型推理加速方法——VLLm

    在这里插入图片描述

    领域大模型产品形态及落地场景

    在这里插入图片描述

    ChatGPT用户视角思考

    在这里插入图片描述

    ChatGPT企业视角思考

    在这里插入图片描述

    企业级ChatGPT的建设要素

    在这里插入图片描述

    选择优质的应用场景

    在这里插入图片描述

    ChatGPT场景设计-工业制造

    在这里插入图片描述

    ChatGPT场景设计-文案编写

    在这里插入图片描述

  • 相关阅读:
    深拷贝和浅拷贝的主要区别
    E Parity Split （江西CCPC省赛）题解
    分享一下蛋糕店在微信小程序上可以实现什么功能
    Apache的配置详解
    SEO是什么？独立站如何进行SEO优化
    mybatis-spring的整合
    高级数据结构——红黑树
    JavaSE =＞ 抽象类和接口
    MySQL大量脏数据,如何只保留最新的一条？
    c++ 小游戏（2种）
  • 原文地址：https://blog.csdn.net/uncle_ll/article/details/132781105
  • 最新文章
  • 沪漂五周年了：我越来越迷茫了
    Agentic Skill Routing 实战：别再把所有 Skill 塞进 AI Agent 上下文
    MySQL-Seconds_behind_master的精度误差
    [MAF预定义ChatClient中间件-03]CachingChatClient——利用缓存省钱省时间
    AI的至暗历史：从万众期待到被政府撤资，AI的两次死亡徘徊
    Agent OS ：五种驯服不确定性的范式
    PortSwigger SQL注入LAB11
    数据库即时编译JIT
    [Begin]AI Learn Data Day 0
    深度学习进阶（二十七）现代 LLM 的核心架构设计其二：SwiGLU
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧！！！
    奉劝各位学弟学妹们，该打造你的技术影响力了！
    五年了，我在 CSDN 的两个一百万。
    Java俄罗斯方块，老程序员花了一个周末，连接中学年代！
    面试官都震惊，你这网络基础可以啊！
    你真的会用百度吗？我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候，用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo！原来做游戏也不是很难，连憨憨学妹都学会了！
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图，Python爬虫120例，再上征途
小工具 小游戏
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1

京公网安备 11010502049817号