Skip to content
查看 GitHub 源文件

源文件:https://github.com/lennonli/licheng-AI-tutorials/blob/main/docs/ai-infra-08-local-model-ABL-20260902-V1.md

AI基建的第八步(进阶):要不要部署本地大模型?

前面已经讲了大模型、Agent、Mac、MCP、GitHub、远程环境和 VPS。

再往前一步,就是本地大模型。

但我先说结论:

绝大多数人其实不需要部署本地大模型。

如果只是日常写作、合同审查、法律研究,直接使用 ChatGPT、Claude 等顶级云端模型,一般效果更好,也更省事。

本地大模型真正吸引我的地方,不是“更强”,而是:

有些资料可以不离开自己的电脑。

一、什么叫本地大模型?

在 Mac 上安装 ChatGPT App,并不等于模型运行在本地。

真正的本地模型,是把模型文件直接下载到自己的电脑,由自己的 CPU、GPU 和内存完成推理。

即使断网,在适当配置下也可以继续运行。

现在普通用户比较容易上手的工具包括 Ollama、LM Studio 等。

不需要自己从头搭环境,选一个模型下载下来就可以体验。

二、律师为什么可能需要它?

律师处理的很多资料,本身就比较敏感。

比如客户合同、尽调底稿、诉讼证据、劳动人事资料、未公开交易文件等。

如果模型完全运行在自己的电脑上,就可以减少把原始资料发送到第三方服务器的需要。

所以对律师来说,本地模型最大的价值其实是:

多一个数据不出本机的处理方案。

尤其适合一些并不需要顶级推理能力的工作,例如文件分类、批量摘要、信息提取、合同初筛、知识库打标签、大量资料的第一轮整理。

这些工作数据量可能很大,但任务本身相对标准化。

完全可以先让本地模型处理。

三、不要为了“本地”牺牲工作质量

这一点我觉得最重要。

本地部署并不意味着模型更强。

对于复杂合同审查、法律意见书、诉讼策略、重大监管问题分析,我还是坚持这个系列第一篇的原则:

高价值任务优先使用能力最强的模型。

如果本地模型明显比顶级云端模型弱,就没有必要为了追求“全部本地化”,强行让它承担所有工作。

更合理的方式是:

本地模型负责基础处理,顶级模型负责复杂推理。

例如,一个项目有几千份资料。

先让本地模型完成分类、摘要和筛选。

真正重要的几十份文件,再根据保密要求进入更强的模型进行分析。

这样效率和质量都更合理。

四、我反而更看好“本地知识库”

相比单纯在电脑上安装一个聊天机器人,我觉得律师更值得研究的是:

本地知识库。

把长期积累的法规、案例、IPO问询、监管规则、研究成果、模板和脱敏项目经验建立索引。

以后 Agent 可以先从自己的资料里找答案,再让模型分析。

例如:

查一下以前处理过的劳务派遣超比例 IPO 案例。

找出历史项目中关于同业竞争整改的回复口径。

这种场景下,真正有价值的并不是某一个模型。

而是:

多年积累的专业知识开始可以被AI随时调用。

五、本地模型的代价也很明显

第一是硬件。

模型越大,对内存要求越高。这也是为什么如果明确准备长期研究本地 AI,买 Mac 时内存可以适当留一些余量。

第二是维护。

需要考虑模型版本、硬盘占用、运行速度、更新以及不同工具之间的兼容问题。

第三是效果。

本地模型的能力并不会因为“运行在自己的电脑里”就自动达到顶级商业模型水平。

所以不要为了部署而部署。

如果最终每天都在维护模型,而不是让模型帮自己工作,这套基建就失去意义了。

六、本地运行也不等于绝对安全

这一点律师尤其要注意。

即使模型在本地,如果 Agent 可以联网、连接了外部 MCP、安装了第三方插件,或者文件本身在自动同步云盘,数据仍然可能离开电脑。

所以安全不能只看:

“模型是不是本地的。”

而要看整个数据链路。

本地模型只是其中一个环节。

七、我的选择:把它当作备用大脑

所以我不会用本地模型替代 ChatGPT、Claude 这些主力模型。

我更愿意把它定位成:

一个备用的大脑。

普通高质量工作,用顶级云端模型。

大量重复处理,用本地模型。

敏感资料需要减少外传时,用本地模型。

没有网络时,本地模型也能继续工作。

这样它就有了非常明确的位置。

所以,AI基建的第八步不是每个人都必须完成。

如果没有隐私、离线、本地知识库或者大量批处理需求,完全可以跳过。

但如果这些需求开始出现,可以尝试部署一个本地大模型。

不是为了证明自己的电脑也能跑AI,而是为了让自己的AI工作系统多一个选择:有些数据,我可以留在自己手里。

内容同步自 GitHub 仓库,仅作为工具教程与工作流说明。

CONTACT

联系李成律师

扫描二维码添加微信,沟通法律 AI、非诉业务及相关合作事项。

手机端可点击二维码查看原图并长按识别。

李成律师微信二维码扫码添加微信