AI入门03｜大模型到底是怎么“学会”说话的？
很多人第一次和大模型聊天，会有一种很强烈的感觉：
它好像真的会说话，也知道很多事情。
那它到底是怎么学会的？
对于入门来说，可以从一个最核心的机制理解：
预测接下来最可能出现的内容。
一、从“下一个Token”开始
模型训练时会接触海量文本。
它不断面对类似这样的任务：
前面已经出现一段内容，接下来最可能是什么？
一次预测错了，就调整内部参数。
重复无数次以后，模型逐渐学会：
语言结构、表达方式、概念关系、知识模式、代码结构等。
二、生成答案也是一步一步发生的
当你问模型一个问题时，它并不是先在内部写好整篇文章，再一次性吐出来。
它会不断根据：
你的问题、当前上下文、已经生成的内容，继续预测后续Token。
于是最终形成完整回答。
三、“高级自动补全”这个比喻对不对？
有一定道理，但不完整。
手机输入法也会预测下一个词，但大模型的训练规模和内部表示复杂得多。
当模型规模、数据和训练方法达到一定程度以后，它会表现出：
总结、翻译、代码、分类、推理、风格模仿等复杂能力。
所以可以从“预测”理解它的基本机制，但不能因此认为它只是普通输入法。
四、它是不是把所有文章都背下来了？
通常不能这样理解。
比如模型学会写合同，并不意味着它脑子里存着一份固定模板，每次复制出来。
更接近的是：
它在大量材料中学到了合同语言、结构、条款关系和常见表达模式。
因此面对新的合同任务时，可以重新组合生成。
五、这也解释了为什么AI会出现幻觉
模型的核心目标之一是生成：
在当前上下文里看起来合理的后续内容。
“听起来合理”和“现实中已经核验为真”并不是同一件事。
所以在缺少可靠资料时，它可能生成一个非常像真的案例、数据或者出处。
后面我们会专门讲幻觉。
六、训练和“它记住我”不是一回事
模型训练通常发生在模型发布之前。
你每天和AI聊天，并不等于你在重新训练这个大模型。
产品里的聊天历史、记忆、知识库，都是不同机制。
这一点也会在后面的文章里逐渐拆开。
七、现代模型还会接受更多训练
基础预训练以后，模型通常还会继续接受：
指令训练、人类反馈、安全训练、推理训练、工具使用训练等。
这些步骤让模型从“会续写文字”，逐渐变成更会听懂任务和完成工作的AI助手。
八、这一篇只需要记住一句话
大模型最基础的学习机制，可以从“根据上下文预测接下来最可能出现的Token”理解；但大规模训练最终让它获得了远超普通自动补全的通用能力。
