×

Ollama 功能介绍和常用命令,大模型本地部署必须了解

hqy hqy 发表于2025-06-24 13:59:20 浏览2 评论0百度已收录

抢沙发发表评论

Ollama 是一个开源的本地化大型语言模型(LLM)管理工具,支持在本地运行、管理和部署多种大语言模型,如 Llama、Mistral、Gemma 等。它提供了简洁的命令行工具,便于用户下载、运行和自定义模型,适用于开发者和研究人员进行 AI 实验和应用开发。

Ollama 核心功能

本地模型管理

支持下载、运行、删除和复制模型,无需依赖云服务。

提供 ollama list 查看本地模型,ollama pull 下载新模型。

交互式对话

通过 ollama run <模型名> 进入交互式聊天模式,支持多轮对话。

自定义模型

使用 Modelfile 定义模型参数(如 temperature、num_ctx)并创建自定义模型。

示例:ollama create mymodel -f ./Modelfile。

模型部署与 API 支持

本地部署:ollama serve 启动服务,默认端口 11434。

提供 REST API,支持 /api/generate 和 /api/chat 进行文本生成和对话。

多模态与高级配置

支持图像、文本、音频输入(如 LLaVA 模型)。

环境变量调整(如 OLLAMA_HOST、OLLAMA_KEEP_ALIVE)优化性能

常用命令汇总

命令

功能

示例

ollama run <模型>

运行模型(自动下载)

ollama run llama2

ollama pull <模型>

下载模型

ollama pull mistral

ollama list

列出本地模型

ollama list

ollama ps

查看运行中的模型

ollama ps

ollama rm <模型>

删除模型

ollama rm codellama:7b

ollama create -f <Modelfile>

创建自定义模型

ollama create mymodel -f ./Modelfile

ollama serve

启动 Ollama 服务

ollama serve

ollama cp <源模型> <目标模型>

复制模型

ollama cp llama2 my-llama2

典型使用场景

快速体验模型ollama pull llama2 ollama run llama2 自定义模型训练

编辑 Modelfile 定义参数,再运行 ollama create

API 调用curl http://localhost:11434/api/chat -d {"model":"llama2", "messages":[{"role":"user","content":"你好!"}]}

Ollama 凭借其轻量化和易用性,成为本地运行大模型的优选工具。如需更详细的环境变量配置或高级功能,可参考官方文档或相关博客。