chatgpt综述和报告

ChatGPT究竟强在哪？复旦大学邱锡鹏教授《大型语言模型的能力分析与应用》_哔哩哔哩_bilibili2022年底，美国OpenA1公司发布了ChatGPT，一个可以与人类对话交互的千亿规模参数的大型语言模型。它可以根据用户输入的指令完成各种语言相关的任务，例如写文章、写代码、回答问题、日常聊天等等，能够极大地提高人们的生产力，这归功于它所表现出的强大的意图理解能力、流畅的对话能力和丰富的世界知识。ChatGPT展现了研发通用人工智能助手广阔的研究和应用前景。目前，ChatGPT的技术细节及模型参, 视频播放量 8554、弹幕量 0、点赞数 243、投硬币枚数 108、收藏人数 848、转发人数 188, 视频作者 Zerkweug, 作者简介 ，相关视频：复旦邱锡鹏教授最新演讲——对话式大语言模型，ChatGPT原理剖析 李宏毅，新浪大佬张俊林最新演讲——大型语言模型的涌现能力：现象与解释，META大语言模型LLAMA（泄露版）本地部署测试+ChatGPT对比，张雪峰聊自己和清北华五、中国科学院大学招生办主任对chatgpt的看法，发人深思，什么显卡能让ChatGPT跑在本地? 计算卡语言模型性能需求分析，李锐：ChatGPT本质上仍是个语言模型，不是真的有理解能力，GPT，GPT-2，GPT-3 论文精读【论文精读】，算法领域的“大力出奇迹”：ChatGPT！李宏毅教授重磅解读ChatGPT的底层逻辑！感兴趣的同学赶紧收藏学习了！，中科院：中外ChatGPT差距只有几个月，落后的是大模型数据https://www.bilibili.com/video/BV1Tx4y1w78p/?spm_id_from=333.337.search-card.all.click&vd_source=4aed82e35f26bb600bc5b46e65e25c22【纯干货】chatGPT技术原理解析_哔哩哔哩_bilibilihttps://www.youtube.com/watch?v=VPRSBzXzavo&t=617s强化模型，海量数据，chatGPT是怎么训练出来的？, 视频播放量 2187、弹幕量 0、点赞数 49、投硬币枚数 9、收藏人数 150、转发人数 22, 视频作者 仰观宇宙之大james, 作者简介 看中国，看世界，相关视频：【油管爆火】李宏毅大佬讲解Chat GPT是怎样练成的！，ChatGPT狂飙：GPT家族详解！【ChatGPT原理】第01篇，ChatGPT原理剖析 李宏毅，10分钟了解ChatGPT为什么是“真正的人工智能”，ChatGPT原理深度解析，深度解析ChatGPT的底层逻辑，为什么他能改变世界？，杀疯了！复旦教授深度解构ChatGPT底层技术【自然语言处理】，两个小时快速啃透！，全网最简明的ChatGPT原理介绍，教你读懂chatGPT的原理，其实没那么可怕。，了解ChatGPT技术的魅力：背后的原理https://www.bilibili.com/video/BV1W24y1s7Zi/?spm_id_from=333.337.search-card.all.click&vd_source=4aed82e35f26bb600bc5b46e65e25c22 

gpt3的问答到chatgpt的对话。 

 这里的第三步其实就是整个instructGPT中rm和rl过程。

语言模型其实是自回归模型，自回归模型把上一个的输出作为下一个的输入，循环迭代，根据之前的输入来输出。

 history小于3000个token，在chatgpt中输入token大概在4k左右，在gpt4中token限制是32k。

 有监督精调还是为了让模型尽量少输出有害的信息。

对话信息本身也作为prompt对模型进行提示，从问答向对话演变。