导语
AI大语言早就已经是一个讲烂了的话题了。现在，曾经一家独大的的AI龙头OpenAI却越来Close了，反而市场上出现了许多反超ChatGPT4o的开源大语言模型，最为典型的就是Meta当地时间2024年7月23日发布的llama3.1。
再有人们对于数据隐私的重视，以及设备性能的不断增强，越来越多人希望能够本地部署，训练自己的AI大模型并且融合RAG搭建属于自己的本地知识库，这成为了一种很大趋势。现在本文将介绍Ollama+AnythingLLM;Ollama+Docker+OpenWebUI;Ollama+浏览器扩展AI page asist。三种方式实现开源大模型的本地部署与应用。
Ollama部署本地AI
1.下载Ollama
去到Ollama的官网https://ollama.com/下载Ollama，在链接后依次点击Download-Download for Windows (Preview)下载并安装。Ollama不可改盘，只能安装到C盘。但是模型可以通过更改环境变量安装到C盘以外，具体方法是：Win+i打开系统设置后依次按图操作：
完成以上后重启一次电脑来应用。重启完成后，按Win+R键，在弹出的窗口中输入PowerShell打开PowerShell窗口在终端中输入Ollama -v并回车，返回版本号（ollama version is 0.3.5）则正常运行。现在Ollama下载已经完成。保持PowerShell运行以下载模型。
2.下载模型
截至发文最新，最好的模型是llama3.1，你可以在PowerShell中键入以下命令直接下载最新的llama3.1模型：
Ollama run llama3.1:latest #下载完成后Ollama会自动运行但是这一模型对于中文的支持并不理想，你可以在Huggingface中下载微调中文模型并转换到Ollama中，但这过于复杂，而且需要科学上网，仅做进阶推荐。现在，你可以直接在Ollama官方模型库中使用国产模型，打开Ollama官方模型库链接，搜索最受欢迎的Qwen2（通义千问2）模型：
训练模型参数量（图片中的模型参数）是指用于训练的对话文本数量，7b就是70亿对话文本。具体选择要看你的GPU配置，一般笔记本电脑4060运行7b参数刚好。参数越大越准确，响应越慢。选好参数后，复制运行代码到PowerShell中回车，模型就开始下载。下载完成后（提示Send a message (/? for help)时）输入任意中文开始对话。至此，模型下载完成。至此完成Ollama本地部署开源大模型。
Ollama+Anythingllm搭建本地RAG知识库
0.前置
在PowerShell中输入命令下载向量嵌入模型。
ollama pull nomic-embed-text1.Anythingllm的安装
到https://anythingllm.com/download点击Download AnythingLLM for Windows下载，你也可以直接点击此处下载。安装完成后打开进入主界面，按照指示切换中文并配置参数：
现在，你可以新建一个工作区开始聊天，按照以下方式添加文件（仅限有文字的文件记事本，word文档，pdf文档等）：
待嵌入完成后，你将可以询问关于文件的问题。
更多操作，可以在Anythingllm中慢慢探索。
另外，如果遇到报错可以尝试在对话设置中重置向量数据库：
至此，完成了本地RAG的搭建。
待更新…
Weatistheph90, haven’t heard of that one. Hopefully, it’s something cool! Either way, good luck exploring!weatistheph90
18Jili is pretty popular right now. Got a decent selection of slot games, if you’re into that kinda thing. Worth a look, maybe?18jili
666JL – Anyone tried their mobile app? Heard it’s pretty smooth. Makes gaming on the go super easy! Let me know if it’s true!666jl
https://shorturl.fm/86VJe
This deep dive into local LLM deployment perfectly captures the industry shift towards data sovereignty. The move from proprietary APIs to self-hosted RAG systems is crucial for enterprise privacy. It signals that true AI value lies in customized, controlled infrastructure, not just model size. Finding reliable alternatives, whether in tech or entertainment, is key; much like exploring a robust platform such as a jl588 game.