AI基建的第八步(进阶):要不要部署本地大模型?
前面已经讲了大模型、Agent、Mac、MCP、GitHub、远程环境和 VPS。
再往前一步,就是本地大模型。
但我先说结论:
绝大多数人其实不需要部署本地大模型。
如果只是日常写作、合同审查、法律研究,直接使用 ChatGPT、Claude 等顶级云端模型,一般效果更好,也更省事。
本地大模型真正吸引我的地方,不是“更强”,而是:
有些资料可以不离开自己的电脑。
一、什么叫本地大模型?
在 Mac 上安装 ChatGPT App,并不等于模型运行在本地。
真正的本地模型,是把模型文件直接下载到自己的电脑,由自己的 CPU、GPU 和内存完成推理。
即使断网,在适当配置下也可以继续运行。
现在普通用户比较容易上手的工具包括 Ollama、LM Studio 等。
不需要自己从头搭环境,选一个模型下载下来就可以体验。
二、律师为什么可能需要它?
律师处理的很多资料,本身就比较敏感。
比如客户合同、尽调底稿、诉讼证据、劳动人事资料、未公开交易文件等。
如果模型完全运行在自己的电脑上,就可以减少把原始资料发送到第三方服务器的需要。
所以对律师来说,本地模型最大的价值其实是:
多一个数据不出本机的处理方案。
尤其适合一些并不需要顶级推理能力的工作,例如文件分类、批量摘要、信息提取、合同初筛、知识库打标签、大量资料的第一轮整理。
这些工作数据量可能很大,但任务本身相对标准化。
完全可以先让本地模型处理。
三、不要为了“本地”牺牲工作质量
这一点我觉得最重要。
本地部署并不意味着模型更强。
对于复杂合同审查、法律意见书、诉讼策略、重大监管问题分析,我还是坚持这个系列第一篇的原则:
高价值任务优先使用能力最强的模型。
如果本地模型明显比顶级云端模型弱,就没有必要为了追求“全部本地化”,强行让它承担所有工作。
更合理的方式是:
本地模型负责基础处理,顶级模型负责复杂推理。
例如,一个项目有几千份资料。
先让本地模型完成分类、摘要和筛选。
真正重要的几十份文件,再根据保密要求进入更强的模型进行分析。
这样效率和质量都更合理。
四、我反而更看好“本地知识库”
相比单纯在电脑上安装一个聊天机器人,我觉得律师更值得研究的是:
本地知识库。
把长期积累的法规、案例、IPO问询、监管规则、研究成果、模板和脱敏项目经验建立索引。
以后 Agent 可以先从自己的资料里找答案,再让模型分析。
例如:
查一下以前处理过的劳务派遣超比例 IPO 案例。
找出历史项目中关于同业竞争整改的回复口径。
这种场景下,真正有价值的并不是某一个模型。
而是:
多年积累的专业知识开始可以被AI随时调用。
五、本地模型的代价也很明显
第一是硬件。
模型越大,对内存要求越高。这也是为什么如果明确准备长期研究本地 AI,买 Mac 时内存可以适当留一些余量。
第二是维护。
需要考虑模型版本、硬盘占用、运行速度、更新以及不同工具之间的兼容问题。
第三是效果。
本地模型的能力并不会因为“运行在自己的电脑里”就自动达到顶级商业模型水平。
所以不要为了部署而部署。
如果最终每天都在维护模型,而不是让模型帮自己工作,这套基建就失去意义了。
六、本地运行也不等于绝对安全
这一点律师尤其要注意。
即使模型在本地,如果 Agent 可以联网、连接了外部 MCP、安装了第三方插件,或者文件本身在自动同步云盘,数据仍然可能离开电脑。
所以安全不能只看:
“模型是不是本地的。”
而要看整个数据链路。
本地模型只是其中一个环节。
七、我的选择:把它当作备用大脑
所以我不会用本地模型替代 ChatGPT、Claude 这些主力模型。
我更愿意把它定位成:
一个备用的大脑。
普通高质量工作,用顶级云端模型。
大量重复处理,用本地模型。
敏感资料需要减少外传时,用本地模型。
没有网络时,本地模型也能继续工作。
这样它就有了非常明确的位置。
所以,AI基建的第八步不是每个人都必须完成。
如果没有隐私、离线、本地知识库或者大量批处理需求,完全可以跳过。
但如果这些需求开始出现,可以尝试部署一个本地大模型。
不是为了证明自己的电脑也能跑AI,而是为了让自己的AI工作系统多一个选择:有些数据,我可以留在自己手里。
