AI入门04|看懂大模型的参数、思维强度和上下文窗口
面对各种大模型,我们经常会看到这些词:7B、70B、Thinking、High、100万上下文、Flash、Pro。
它们到底是什么意思?是不是数字越大,模型就越聪明?
其实,大模型的名称看起来复杂,主要是在描述四件事:模型有多大、愿意思考多久、一次能处理多少内容,以及它更偏向速度还是能力。
一、什么是大模型的"参数"?
参数可以简单理解为大模型在训练过程中形成的大量内部数字。模型正是依靠这些参数,判断下一个词应该是什么,并逐步生成完整回答。
例如:
- 7B:约70亿个参数;
- 32B:约320亿个参数;
- 70B:约700亿个参数。
一般来说,在训练数据、训练方法和模型架构相近的情况下,参数更多的模型,理解能力和知识容量通常更强,但这不是绝对规律。
一辆车的发动机更大,不代表整车一定更好。模型的训练数据、架构、后期调校和工具能力,同样会影响最终表现。因此,一个训练优秀的新模型,完全可能超过参数更多的旧模型。
现在还有一些模型采用"混合专家"架构。它可能拥有非常大的总参数量,但回答一次问题时只调用其中一部分参数。因此,看模型时不能只比较参数数字,更要看它在真实任务中的表现。
对普通用户来说,参数量主要有两个意义:
第一,参数越大的模型,通常越吃显存和算力,本地运行的难度也越高。
第二,参数量只能作为参考,不能直接等同于模型能力,更不能作为选择模型的唯一标准。
二、什么是"思维强度"?
有些平台会提供低、中、高,或者 Standard、High、Extra High 等思维强度选项。
这里的"思维强度"通常不是在切换模型的参数量,而是在调整模型回答问题时可以使用的推理计算量。你可以把它理解为:允许模型在正式回答之前,多花多少时间分析问题、检查方案和修正错误。
较低的思维强度,速度更快、消耗更少,适合:
- 改写一段文字;
- 总结简单材料;
- 翻译;
- 查找明显错误;
- 回答日常问题。
较高的思维强度,通常适合:
- 审阅复杂合同;
- 分析疑难法律问题;
- 编写和调试代码;
- 制定多步骤方案;
- 对多份材料进行交叉核对;
- 处理存在多个限制条件的问题。
但思维强度也不是越高越好。
如果只是把一句话写得更通顺,开启最高思维强度,可能只是等待更久、消耗更多。真正合理的用法是:简单任务用低强度,复杂任务再提高强度。
需要注意的是,所谓"思维强度"并没有行业统一标准。不同平台即使都写着"高",实际分配的计算量也可能完全不同。
三、"100万上下文窗口"是什么意思?
上下文窗口,是指模型一次能够接收和处理的信息总量。
这些信息一般包括:
- 你输入的问题;
- 当前对话的历史内容;
- 上传文件中被放入上下文的内容;
- 系统指令;
- 工具返回的信息;
- 模型最终输出的内容。
上下文通常以 Token 计算,而不是按"字数"计算。Token可以粗略理解为模型处理文字时使用的最小单位。中文一个汉字可能接近一个或多个Token,英文则可能一个单词被拆成若干Token,实际换算会因模型而异。
所谓"100万上下文窗口",就是模型在一次任务中最多可以处理大约100万个Token。
这意味着它理论上能够一次接收大量合同、报告、代码或长期对话记录。对于法律工作来说,大上下文尤其适合:
- 同时比较多份投资协议;
- 将本轮协议与上一轮协议交叉审查;
- 阅读整套尽调材料;
- 核对招股书、法律意见书和审计报告;
- 分析篇幅很长的诉讼卷宗。
但"装得进去"和"分析得准确"是两回事。
材料越多,模型越可能忽略隐藏在中间位置的重要信息。100万上下文只是容量上限,不代表模型能够对其中每句话都保持同等程度的注意力,更不代表它拥有永久记忆。
因此,处理重要任务时,仍然应当:
- 给文件准确命名;
- 说明哪些材料优先;
- 明确审查目标;
- 将复杂项目拆成几个阶段;
- 要求模型标明引用来源和待核验事项。
大窗口解决的是"能不能放进去",合理的任务设计解决的才是"能不能做好"。
四、为什么有些模型叫Flash,有些叫Pro?
Flash和Pro通常不是严格的技术标准,而是厂商对不同产品定位的命名。
Flash一般强调:
- 响应速度快;
- 使用成本低;
- 适合高频、批量任务;
- 能力够用,但复杂推理通常相对有限。
Pro一般强调:
- 综合能力更强;
- 复杂推理表现更好;
- 更适合长文档、代码和专业任务;
- 响应可能更慢,成本也可能更高。
可以把Flash理解为一名反应很快、收费较低的执行人员,把Pro理解为一名处理复杂问题能力更强、但需要更多时间和成本的高级人员。
不过,这仍然只是产品定位。不同厂商的Flash和Pro不能仅凭名字直接横向比较。某一代Flash模型,也可能超过另一款较早的Pro模型。
除了Flash和Pro,还可能看到这些名称:
- Mini、Nano、Lite:通常代表更小、更快、更便宜;
- Max、Ultra:通常代表更高能力或更高配额;
- Thinking、Reasoning:通常突出复杂推理能力;
- Preview、Experimental:通常表示预览版或实验版,能力可能较新,但稳定性未必最好。
这些名称本质上都是厂商的产品标签,不是统一的考试等级。
五、选择模型时,应该看什么?
普通用户不必过度研究参数表。选择模型时,首先应当看自己的任务。
如果只是聊天、翻译、摘要和简单改写,优先选择速度快、成本低的模型。
如果需要审阅合同、分析多份材料、编写复杂代码或者解决专业问题,应当优先选择能力更强的模型,并适当提高思维强度。
如果需要处理大量文件,则重点关注上下文窗口,同时观察模型是否能够稳定定位原文、引用依据和保持前后一致。
如果准备在本地电脑运行模型,还要关注参数量、量化方式、内存和运行速度。
最简单的理解方式是:
- 参数量,主要反映模型的规模;
- 思维强度,主要反映模型愿意为这次回答投入多少计算;
- 上下文窗口,主要反映一次能够处理多少信息;
- Flash、Pro,主要反映厂商对速度、成本和能力的产品定位。
大模型不是某一个数字越大就越好。真正重要的是:让合适的模型,在合适的思维强度下,处理适合它的任务。
