导语
AI大语言早就已经是一个讲烂了的话题了。现在，曾经一家独大的的AI龙头OpenAI却越来Close了，反而市场上出现了许多反超ChatGPT4o的开源大语言模型，最为典型的就是Meta当地时间2024年7月23日发布的llama3.1。
再有人们对于数据隐私的重视，以及设备性能的不断增强，越来越多人希望能够本地部署，训练自己的AI大模型并且融合RAG搭建属于自己的本地知识库，这成为了一种很大趋势。现在本文将介绍Ollama+AnythingLLM;Ollama+Docker+OpenWebUI;Ollama+浏览器扩展AI page asist。三种方式实现开源大模型的本地部署与应用。
Ollama部署本地AI
1.下载Ollama
去到Ollama的官网https://ollama.com/下载Ollama，在链接后依次点击Download-Download for Windows (Preview)下载并安装。Ollama不可改盘，只能安装到C盘。但是模型可以通过更改环境变量安装到C盘以外，具体方法是：Win+i打开系统设置后依次按图操作：
完成以上后重启一次电脑来应用。重启完成后，按Win+R键，在弹出的窗口中输入PowerShell打开PowerShell窗口在终端中输入Ollama -v并回车，返回版本号（ollama version is 0.3.5）则正常运行。现在Ollama下载已经完成。保持PowerShell运行以下载模型。
2.下载模型
截至发文最新，最好的模型是llama3.1，你可以在PowerShell中键入以下命令直接下载最新的llama3.1模型：
Ollama run llama3.1:latest #下载完成后Ollama会自动运行但是这一模型对于中文的支持并不理想，你可以在Huggingface中下载微调中文模型并转换到Ollama中，但这过于复杂，而且需要科学上网，仅做进阶推荐。现在，你可以直接在Ollama官方模型库中使用国产模型，打开Ollama官方模型库链接，搜索最受欢迎的Qwen2（通义千问2）模型：
训练模型参数量（图片中的模型参数）是指用于训练的对话文本数量，7b就是70亿对话文本。具体选择要看你的GPU配置，一般笔记本电脑4060运行7b参数刚好。参数越大越准确，响应越慢。选好参数后，复制运行代码到PowerShell中回车，模型就开始下载。下载完成后（提示Send a message (/? for help)时）输入任意中文开始对话。至此，模型下载完成。至此完成Ollama本地部署开源大模型。
Ollama+Anythingllm搭建本地RAG知识库
0.前置
在PowerShell中输入命令下载向量嵌入模型。
ollama pull nomic-embed-text1.Anythingllm的安装
到https://anythingllm.com/download点击Download AnythingLLM for Windows下载，你也可以直接点击此处下载。安装完成后打开进入主界面，按照指示切换中文并配置参数：
现在，你可以新建一个工作区开始聊天，按照以下方式添加文件（仅限有文字的文件记事本，word文档，pdf文档等）：
待嵌入完成后，你将可以询问关于文件的问题。
更多操作，可以在Anythingllm中慢慢探索。
另外，如果遇到报错可以尝试在对话设置中重置向量数据库：
至此，完成了本地RAG的搭建。
待更新…