本地知识库
核心特点是所有数据存储在本地设备中，无需上传到云端，避免数据泄露风险。可以根据具体需求定制知识库内容，例如添加行业术语、企业文档或特定领域的知识。通过本地运行的检索算法或模型，快速从知识库中提取相关信息，结合大语言模型（LLM），可以实现自然语言查询，提升用户体验。不依赖互联网连接，适合在无网络或网络不稳定的环境中使用。
Ollama
一个开源工具，旨在帮助用户在本地设备上轻松运行和管理大型语言模型（LLMs）。它支持多种流行的开源模型（如 Llama、Mistral、Qwen 等），并提供简单易用的命令行界面，让用户能够快速下载、运行和测试这些模型。Ollama 的核心目标是降低大模型的使用门槛，使开发者和研究者能够在本地环境中高效地进行实验和应用开发。
访问https://ollama.com下载对应ollama客户端，然后进入models菜单找需要的model并下载到本地。注意，如果你的电脑配置低的话，需要下载参数量小的版本，比如3b或者7b参数的模型，不然你的电脑可能会跑坏哦（：。
AnythingLLM一款功能强大的开源 AI 应用，旨在帮助用户与文档进行智能对话，并构建私有化的知识库。它基于 RAG（检索增强生成） 技术，支持多种大型语言模型（LLMs）和向量数据库，适用于个人、团队和企业用户。支持多种开源和商用 LLMs，如 OpenAI、Azure、Llama、Mistral 等，用户可以根据需求选择适合的模型。支持多种文档格式，包括 PDF、TXT、DOCX 等，能够高效处理大型文档。支持多用户实例和权限管理，适合团队协作。管理员可以设置不同用户的权限，确保数据安全内置强大的 AI 代理，能够执行复杂任务，如网页浏览、代码运行等。所有数据和模型均可本地存储和运行，确保数据隐私和安全。支持完全离线使用，避免敏感信息泄露。提供完整的 API 接口，便于二次开发和功能扩展。用户可以根据需求定制界面和功能。
访问https://anythingllm.com下载对应的客户端。有desktop以及web版的，web版支持多用户访问。
打开后，进入设置，将LLM首选项设置为Ollama，并选择对应的Ollma Modal，这里的model就是你在ollama中拉取的model列表，已经下载到你本地的。
嵌入首选项也可以配置为ollama的，默认的嵌入模型不太好用，个人选择的ollama上拉取的nomic的。好了，接下来就可以建立工作区，和模型进行对话，也可以上传本地对应的个性化文档给它，这样它会结合文档给出答案的。你也可以对工作区单独设置使用的模型以及更改聊天模式。
AI小工蜂会持续分享好用的AI工具，服务，Agent及开源模型，感兴趣的小伙伴可以关注下哈，感谢！
