目前大模型可以分为开源大模型和商用大模型，商用大模型主要是商业对外提供的大模型服务，例如 ChatGPT、百度文心、KIMI和字节的豆包等等。开源的大模型主要包括 llama、千问、Mistralai等。商用的模型服务都会提供免费功能，但是如果想要实现一些定制功能，就需要付费了，价格不是很高。我们能不能在自己的机器上部署大模型，本文将介绍几种本地部署大模型的方式。
LM Studio
进入https://lmstudio.ai/，下载操作系统对应的版本，支持主流模型。
GPT4ALL
进入
https://gpt4all.io/index.html， 下载操作系统对应的版本。
GPT4All 支持主流开源模型：
Ollma
进入https://ollama.com/， 下载操作系统对应的版本。
总结
以上介绍的这三种方式，底层原理是一样的，在本地运行 GGUF 量化模型。LMStudio 和 GPT4All是带UI的更友好一些，Ollama 没有UI，需要额外安装滴撒放 UI，Github 上提供多种 第三方UI。对于有开发需求的朋友，我更建议用 Ollama，主流框架都是支持 Ollama 的，例如 llamaIndex 和 Langchain。
由于模型是从 HuggingFace 下载，网络访问有问题的陪朋友，需要配置一下镜像，参考镜像站配置步骤 https://hf-mirror.com/。
