阅读时间：5分钟 ｜ 费用：完全免费开源 ｜ 适合人群：想在本地跑AI的任何人
你有没有想过，把 ChatGPT 这样的大模型装在自己电脑上跑？不用联网，不用担心数据泄露，完全免费。
这件事用 Ollama 就能搞定，而且比你想象的简单得多。
为什么要在本地跑大模型？
我之前一直用在线 API，直到有天发现自己的对话记录被用来训练模型了。从那以后，我开始研究本地部署。
本地跑大模型有四个实实在在的好处：
隐私安全：数据不离开你的电脑，不用担心被第三方看到。
完全免费：没有 API 费用，没有订阅费，一次安装终身使用。
离线可用：断网也能用，飞机上、地下室、没有 Wi-Fi 的地方都能跑。
自由定制：想用什么模型就用什么，没人限制你。
Ollama 安装：三平台一键搞定
Ollama 是一个开源工具，让你用一行命令就能跑大模型。它帮你处理了模型下载、量化、推理这些复杂的事。
macOS
直接去官网下载安装包，双击安装，跟装普通软件一样。或者用 Homebrew：
brew install ollamaLinux
curl -fsSL https://ollama.com/install.sh | sh一行命令，自动检测你的系统，下载对应的二进制文件。装完直接能用。
Windows
去 ollama.com/download 下载安装包，双击安装。支持 Windows 10 以上版本。
第一个模型：跑起来
装好 Ollama，一行命令就能跑模型：
ollama run llama3.1:8b第一次运行会下载模型（大概 4-5GB），下载完直接进入对话界面。打字就能聊，跟 ChatGPT 一样。
想用中文模型？试试 Qwen：
ollama run qwen2.5:7b常用命令速查
把几个常用命令记下来，够用：
查看已有模型
ollama list下载模型
ollama pull llama3.1:8b删除模型
ollama rm llama3.1:8b查看模型信息
ollama show llama3.1:8bAPI 调用（给开发者用的）
curl http://localhost:11434/api/generate -d '{
"model": "llama3.1:8b",
"prompt": "你好，介绍一下你自己"
}'模型推荐：按你的配置选
不是所有模型都适合你的电脑，按内存选：
8GB 内存（普通笔记本）
qwen2.5:3b、phi3:3.8b、gemma2:2b
这几个跑起来很流畅，日常问答够用。中文推荐 qwen2.5:3b。
16GB 内存（主流配置）
qwen2.5:7b、llama3.1:8b、mistral:7b
7B 模型是甜点级，效果和速度都不错。
24GB+ 显存（有独立显卡）
qwen2.5:14b、llama3.1:70b（量化版）
大模型效果明显好一截，写代码、分析文档很强。
进阶玩法：网页界面 + AI 助手
光用命令行聊天有点原始。搭个网页界面体验好很多。
Ollama 自带一个简单的网页界面，打开浏览器访问：
http://localhost:11434想要更完整的体验，装 Open WebUI：
docker run -d -p 3000:8080 \
--add-host=host.docker.internal:host-gateway \
-v open-webui:/app/backend/data \
--name open-webui \
ghcr.io/open-webui/open-webui:main装完打开 http://localhost:3000，注册个账号，就能在网页上跟本地模型聊天了。体验跟 ChatGPT 几乎一样。
踩坑记录
我装的时候遇到几个坑，你可能也会碰到：
下载模型巨慢
模型文件在 HuggingFace 上，国内访问慢。设置镜像源：
export OLLAMA_REGISTRY=https://ollama-mirror.cn
ollama pull qwen2.5:7b显存/内存不够
模型跑不动？换小一号的。8GB 内存别硬上 14b，用 3b 就很舒服。
中文输出乱码
用中文专用模型（qwen2.5），别用英文模型硬聊中文。效果差很多。
常见问题
Q：Ollama 收费吗？
完全免费，开源项目。
Q：需要显卡吗？
不需要。CPU 也能跑，只是慢一点。有 NVIDIA 显卡会自动加速。
Q：能跑多大的模型？
取决于你的内存。8GB 能跑 3B 模型，16GB 能跑 7B，24GB+ 能跑 14B。
Q：跟 ChatGPT 比怎么样？
7B 模型大概相当于 ChatGPT 3.5 的水平。日常问答、写简单代码够用了。复杂任务还是差一截。
写在最后
Ollama 把本地跑大模型这件事从「折腾」变成了「一行命令」。不管你是什么技术水平，5 分钟内就能在自己电脑上跑起一个 AI。
先从 qwen2.5:3b 开始试试，感受一下本地 AI 的感觉。
#Ollama #本地AI #大模型部署 #开源AI #AI教程