大语言模型（LLM）工作的3个步骤，一文带你搞清楚！

生成式AI中常说的token是什么？嵌入（Embeddings）是什么意思？为什么现在的AI具有生成能力？AI是怎么和你进行对话的？为什么都说提示词很重要？为什么同一段提示词，同一个AI模型/工具，多问几次可能得到截然不同的结果？

要回答以上这些问题，你需要了解大语言模型（LLM）是如何工作的。知其然，也要知其所以然。

步骤1：分词（Tokenize）

面对一个问题，我们人类的习惯性操作是什么？理解问题。LLM也是一样。

LLM在处理输入文本时，首先使用分词器（Tokenizer）将文本分割成若干小的文本块，即tokens。这些tokens由可变数量的字符组成，随后被转换成高维向量的数值表示，也就是嵌入（embeddings），供模型处理。这一步骤是模型理解语言的基础，类似于人类阅读和解析文本的过程。

分词（Tokenize）是LLM工作的第一步&#x