Ollama 是一个开源的本地化大型语言模型(LLM)管理工具,支持在本地运行、管理和部署多种大语言模型,如 Llama、Mistral、Gemma 等。它提供了简洁的命令行工具,便于用户下载、运行和自定义模型,适用于开发者和研究人员进行 AI 实验和应用开发。

Ollama 核心功能
本地模型管理支持下载、运行、删除和复制模型,无需依赖云服务。
提供 ollama list 查看本地模型,ollama pull 下载新模型。
交互式对话通过 ollama run <模型名> 进入交互式聊天模式,支持多轮对话。
自定义模型使用 Modelfile 定义模型参数(如 temperature、num_ctx)并创建自定义模型。
示例:ollama create mymodel -f ./Modelfile。
模型部署与 API 支持本地部署:ollama serve 启动服务,默认端口 11434。
提供 REST API,支持 /api/generate 和 /api/chat 进行文本生成和对话。
多模态与高级配置支持图像、文本、音频输入(如 LLaVA 模型)。
环境变量调整(如 OLLAMA_HOST、OLLAMA_KEEP_ALIVE)优化性能
常用命令汇总
命令
功能
示例
ollama run <模型>
运行模型(自动下载)
ollama run llama2
ollama pull <模型>
下载模型
ollama pull mistral
ollama list
列出本地模型
ollama list
ollama ps
查看运行中的模型
ollama ps
ollama rm <模型>
删除模型
ollama rm codellama:7b
ollama create -f <Modelfile>
创建自定义模型
ollama create mymodel -f ./Modelfile
ollama serve
启动 Ollama 服务
ollama serve
ollama cp <源模型> <目标模型>
复制模型
ollama cp llama2 my-llama2
典型使用场景
快速体验模型ollama pull llama2 ollama run llama2 自定义模型训练编辑 Modelfile 定义参数,再运行 ollama create。
API 调用curl http://localhost:11434/api/chat -d {"model":"llama2", "messages":[{"role":"user","content":"你好!"}]}Ollama 凭借其轻量化和易用性,成为本地运行大模型的优选工具。如需更详细的环境变量配置或高级功能,可参考官方文档或相关博客。