一块GPU搞定ChatGPT；ML系统入坑指南；理解GPU底层架构

1. 跑ChatGPT体量模型，从此只需一块GPU

在发展技术，让大模型掌握更多能力的同时，也有人在尝试降低AI所需的算力资源。最近，一种名为FlexGen的技术因为「一块RTX 3090跑ChatGPT体量模型」而获得了人们的关注。

虽然FlexGen加速后的大模型看起来仍然很慢 —— 跑1750亿参数的语言模型时每秒1个token，但令人印象深刻的是，它已经把不可能变成了可能。传统上，大型语言模型（LLM）推理的高计算和内存要求使人们必须使用多个高端AI加速器进行训练。本研究探索了如何将LLM推理的要求降低到一个消费级GPU并实现实用性能。

链接：

https://mp.weixin.qq.com/s/ZdW_jZov3bAcGc_9SqiL-A

2. ChatGPT数据集之谜

至今，OpenAI并没有公开ChatGPT的相关训练数据集来源和具体细节，一定程度上也暂时卡了追赶者的脖子，更何况，业界公认中文互联网数据质量堪忧。本文作者则整理分析了2018年到2022年初从GPT-1到Gopher的相关大型语言模型的所有数据集相关信息，希望帮助有志于开发“类ChatGPT”模型的团队少走一步弯路。

链接：

https://mp.weixin.qq.com/s/9vOc-OyqvzrO_w5LApurbg

3. ChatGPT背后的经济账

ChatGPT能否取代Google、百度这样的传统搜索引擎？为什么中国不能很快做出ChatGPT？当前，对这些问题的探讨大多囿于大型语言模型（LLM）的技术可行性，忽略或者非常粗糙地估计了实现这些目标背后的经济成本，从而造成对LLM的开发和应用偏离实际的误判。

本文作者从经济学切入，详细推导了类ChatGPT模型搜索的成本、训练GPT-3以及绘制LLM成本轨迹的通用框架，为探讨LLM成本结构和其未来发展提供了可贵的参考视角。

链接：

https://mp.weixin.qq.com/s/aAg1ptEkQ6ahdjs-3s_g3A

4. 解读ChatGPT背后的技术重点：RLHF、IFT、CoT、红蓝对抗