Ollama

本地运行大模型的开源工具，一条命令即可在个人电脑上部署并调用主流开源模型。

这东西是干嘛的

Ollama 解决的是一个很具体的问题：你想在自己电脑上跑大模型，但不想折腾环境、依赖、量化格式那一堆事。它把模型下载、加载、推理打包成一条命令，装完之后终端里敲 ollama run llama3 之类的指令，模型就跑起来了，直接对话。

适合谁用？大致三类人。一是开发者，想本地调 API 做原型，不想每次请求都花钱、受网络限制；二是对数据隐私敏感的人，文档、代码不想传到别人的服务器上；三是单纯想玩玩开源模型的技术爱好者，图个省事。

用起来是什么体验

安装本身没什么门槛，官网给 macOS、Linux、Windows 都提供了安装包或脚本，装完就是一个后台服务加一个命令行客户端。跑模型只要一行：

ollama run qwen2.5

第一次执行会自动拉取模型文件，之后就是本地加载。模型库里覆盖了 Llama、Mistral、Gemma、Qwen、DeepSeek 这些主流开源系列，也有代码模型和嵌入模型，选的时候按参数量和量化版本挑就行——7B 在普通笔记本上能跑，更大的模型就得看显存了。

对开发者更实用的是它自带一套兼容 OpenAI 格式的本地 API，默认监听 11434 端口。你原来写的调用代码，把 base URL 改成本地地址基本就能复用，接 LangChain、LlamaIndex 这类框架也不用额外适配。它还支持自定义 Modelfile，可以固定系统提示词、调整温度参数、设定上下文长度，把一套配置存成自己的模型变体。

几个值得知道的细节

• 模型管理：ollama list 看本地有哪些模型，ollama rm 删掉不用的，省磁盘空间。
• 上下文长度：默认上下文偏保守，处理长文档时需要在 Modelfile 里显式调大 num_ctx，否则内容会被截断。
• GPU 支持：会自动检测并使用 NVIDIA、AMD 显卡或 Apple Silicon 的 GPU 加速，没检测到就退回 CPU 推理，速度差别很明显。
• 离线可用：模型拉下来之后完全断网也能跑，这是它和各类云端 API 最本质的区别。

边界在哪

Ollama 定位是「让本地推理变简单」，不是推理性能的极限优化工具。它跑得动主流量化模型，但如果你要做高并发服务、需要极致的吞吐量，还是得往 vLLM、TensorRT-LLM 这类方向走。另外它对模型格式有偏好，主要围绕 GGUF 生态，不是所有开源权重都能直接丢进去。

把它当成个人电脑上的模型运行层就好——够轻、够快上手、API 兼容性好，日常开发和小规模实验完全够用。

常见问题

Ollama 是什么？

本地运行大模型的开源工具，一条命令即可在个人电脑上部署并调用主流开源模型。

Ollama 主要能做什么？

本地运行大模型 命令行部署与调用

Ollama 适合哪些使用场景？

模型选型与体验 本地部署与推理 开源模型与数据集获取

Ollama 属于哪一类 AI 工具？

Ollama 收录于本站的「AI大模型」分类。大模型与开源模型平台，用于模型选型体验、本地部署与数据集获取。

Ollama 的官方网站是什么？

Ollama 的官方网站是 https://ollama.com，可直接在浏览器中打开使用。