带你入门AI开源大语言模型的本地部署与一般应用:Ollama

2024-8-14 22:04

732

技巧,文章

1008 字

5 分钟

导语

AI大语言早就已经是一个讲烂了的话题了。现在，曾经一家独大的的AI龙头OpenAI却越来Close了，反而市场上出现了许多反超ChatGPT4o的开源大语言模型，最为典型的就是Meta当地时间2024年7月23日发布的llama3.1。

llama3.1 405b 参数同GPT-4o,Claude3.5Sonnet性能对比

再有人们对于数据隐私的重视，以及设备性能的不断增强，越来越多人希望能够本地部署，训练自己的AI大模型并且融合RAG搭建属于自己的本地知识库，这成为了一种很大趋势。现在本文将介绍Ollama+AnythingLLM;Ollama+Docker+OpenWebUI;Ollama+浏览器扩展AI page asist。三种方式实现开源大模型的本地部署与应用。

Ollama部署本地AI

1.下载Ollama

去到Ollama的官网https://ollama.com/下载Ollama，在链接后依次点击Download-Download for Windows (Preview)下载并安装。Ollama不可改盘，只能安装到C盘。但是模型可以通过更改环境变量安装到C盘以外，具体方法是：Win+i打开系统设置后依次按图操作：

完成以上后重启一次电脑来应用。重启完成后，按Win+R键，在弹出的窗口中输入PowerShell打开PowerShell窗口在终端中输入Ollama -v并回车，返回版本号（ollama version is 0.3.5）则正常运行。现在Ollama下载已经完成。保持PowerShell运行以下载模型。

2.下载模型

截至发文最新，最好的模型是llama3.1，你可以在PowerShell中键入以下命令直接下载最新的llama3.1模型：

Ollama run llama3.1:latest #下载完成后Ollama会自动运行

但是这一模型对于中文的支持并不理想，你可以在Huggingface中下载微调中文模型并转换到Ollama中，但这过于复杂，而且需要科学上网，仅做进阶推荐。现在，你可以直接在Ollama官方模型库中使用国产模型，打开Ollama官方模型库链接，搜索最受欢迎的Qwen2（通义千问2）模型：

训练模型参数量（图片中的模型参数）是指用于训练的对话文本数量，7b就是70亿对话文本。具体选择要看你的GPU配置，一般笔记本电脑4060运行7b参数刚好。参数越大越准确，响应越慢。选好参数后，复制运行代码到PowerShell中回车，模型就开始下载。下载完成后（提示Send a message (/? for help)时）输入任意中文开始对话。至此，模型下载完成。至此完成Ollama本地部署开源大模型。

Ollama+Anythingllm搭建本地RAG知识库

0.前置

在PowerShell中输入命令下载向量嵌入模型。

ollama pull nomic-embed-text

1.Anythingllm的安装

到https://anythingllm.com/download点击Download AnythingLLM for Windows下载，你也可以直接点击此处下载。安装完成后打开进入主界面，按照指示切换中文并配置参数：

现在，你可以新建一个工作区开始聊天，按照以下方式添加文件（仅限有文字的文件记事本，word文档，pdf文档等）：

待嵌入完成后，你将可以询问关于文件的问题。

更多操作，可以在Anythingllm中慢慢探索。

另外，如果遇到报错可以尝试在对话设置中重置向量数据库：

至此，完成了本地RAG的搭建。

待更新…

AI 大语言模型部署教程

Cassidy287

3 周前
2025-5-22 6:23:57

https://myteana.ru/forums/index.php?autocom=gallery&req=si&img=6718
Cayden1550

3 周前
2025-5-22 6:24:00

https://vitz.ru/forums/index.php?autocom=gallery&req=si&img=4908
Jean2974

3 周前
2025-5-22 7:13:51

https://hrv-club.ru/forums/index.php?autocom=gallery&req=si&img=7016
Paisley1536

3 周前
2025-5-22 7:27:23

https://honda-fit.ru/forums/index.php?autocom=gallery&req=si&img=7194
Aurora2704

3 周前
2025-5-22 7:38:31

https://honda-fit.ru/forums/index.php?autocom=gallery&req=si&img=7192
Lilian4894

3 周前
2025-5-22 7:38:37

http://terios2.ru/forums/index.php?autocom=gallery&req=si&img=4711
Hunter2002

3 周前
2025-5-22 10:02:45

http://terios2.ru/forums/index.php?autocom=gallery&req=si&img=4786
Jolie1724

3 周前
2025-5-22 11:17:23

https://myteana.ru/forums/index.php?autocom=gallery&req=si&img=6858
Michelle4041

3 周前
2025-5-22 11:23:07

http://wish-club.ru/forums/index.php?autocom=gallery&req=si&img=5475
Sergio398

3 周前
2025-5-22 15:15:54

https://mazda-demio.ru/forums/index.php?autocom=gallery&req=si&img=6364
Lorelei4562

2 周前
2025-5-29 6:02:35

Татьяна Буланова – Ты Мой Космос скачать песню бесплатно в mp3 и слушать онлайн https://shorturl.fm/QMDBV
Aileen4771

2 周前
2025-5-29 6:13:59

TALEH – Тёмная ночь скачать песню в mp3 и слушать онлайн https://shorturl.fm/AwZCB
Kyra4477

2 周前
2025-5-29 6:18:51

Jamala – ПОТАЙКИ скачать песню на телефон и слушать бесплатно https://shorturl.fm/3swwi
Michelle1110

2 周前
2025-5-29 6:32:11

Нурлан Шулаков – Красива Ты скачать бесплатно и слушать онлайн https://shorturl.fm/I5R8T
Zoe3128

2 周前
2025-5-29 7:06:17

Лёша Свик – Глаза счастливые не врут скачать бесплатно mp3 и слушать онлайн https://shorturl.fm/VZkTW
Celeste2945

2 周前
2025-5-29 7:08:47

Kornel – Падай скачать и слушать песню бесплатно https://shorturl.fm/744aj
Martin910

2 周前
2025-5-29 7:09:51

Евгений Леонов – Песня Винни-Пуха скачать и слушать песню бесплатно https://shorturl.fm/AL0CF
Jaiden3663

2 周前
2025-5-29 7:10:29

Toni – Ничей скачать и слушать онлайн https://shorturl.fm/hh8Bt
Darren3871

2 周前
2025-5-29 7:29:06

Жиши – Врум Врум скачать и слушать онлайн https://shorturl.fm/9HaFX
Judy3354

2 周前
2025-6-01 12:14:48

Евгений Коновалов – И Зацветут Цветы скачать песню бесплатно в mp3 и слушать онлайн https://shorturl.fm/PR3x3
Giselle2431

2 周前
2025-6-01 12:14:51

Jaffa – Под Рояль скачать бесплатно и слушать онлайн https://shorturl.fm/YWpRM
Ricardo4103

2 周前
2025-6-01 12:41:57

Рада Рай – Ты Самый Лучший скачать песню в mp3 и слушать онлайн https://shorturl.fm/yLnA1
Stanley3010

2 周前
2025-6-01 13:26:50

Настя Балог Feat. & Positiff – Додому скачать и слушать mp3 https://shorturl.fm/DHBk3
Leia1409

2 周前
2025-6-01 14:09:40

Plankina – Мирный Воин скачать и слушать песню бесплатно https://shorturl.fm/Z85v4
Tina4442

2 周前
2025-6-01 14:26:58

Алла Баянова – Марфуша скачать mp3 и слушать онлайн https://shorturl.fm/AM08c
Haiden3006

2 周前
2025-6-01 14:41:01

Катерина Корс – Закрывай Глаза скачать и слушать песню https://shorturl.fm/BJhJY
Angela1770

2 周前
2025-6-01 14:42:59

Anna Asti – По Барам скачать песню в mp3 и слушать онлайн https://shorturl.fm/cEROJ
Alyssa4551

2 周前
2025-6-01 15:07:04

Игорь Balan – Веточка Сирени скачать и слушать песню https://shorturl.fm/CGXMg
Billie2037

2 周前
2025-6-01 16:08:57

Letana – Другие Или Я скачать песню бесплатно в mp3 и слушать онлайн https://shorturl.fm/edy2f
Wade2275

2 周前
2025-6-02 4:57:07

http://terios2.ru/forums/index.php?autocom=gallery&req=si&img=4568
Isabelle1836

2 周前
2025-6-02 4:58:13

https://kaiztech.net/IPB/index.php?/gallery/image/697-fleetwood-mac/
Ashton3935

2 周前
2025-6-02 5:29:04

https://myteana.ru/forums/index.php?autocom=gallery&req=si&img=6778
Asher1682

2 周前
2025-6-02 5:38:19

https://hrv-club.ru/forums/index.php?autocom=gallery&req=si&img=7118
Leonel34

2 周前
2025-6-02 6:47:04

http://passo.su/forums/index.php?autocom=gallery&req=si&img=4313
Hailee3852

2 周前
2025-6-02 6:57:19

https://hrv-club.ru/forums/index.php?autocom=gallery&req=si&img=6966
Samantha3516

2 周前
2025-6-02 7:38:44

http://wish-club.ru/forums/index.php?autocom=gallery&req=si&img=5430
Gavin3200

2 周前
2025-6-02 7:38:44

https://mazda-demio.ru/forums/index.php?autocom=gallery&req=si&img=6411
Evelyn1916

2 周前
2025-6-02 13:23:25

https://honda-fit.ru/forums/index.php?autocom=gallery&req=si&img=7296
Elizabeth2926

5 天前
2025-6-10 15:59:59

Мираж – Я не хочу скачать песню и слушать онлайн
https://allmp3.pro/2390-mirazh-ja-ne-hochu.html
Jeremiah4291

5 天前
2025-6-10 16:00:02

ANik feat. Ignat Izotov – Больше Никогда скачать песню и слушать онлайн
https://allmp3.pro/3254-anik-feat-ignat-izotov-bolshe-nikogda.html
Carrie1216

5 天前
2025-6-10 16:59:37

Ханна – Море скачать песню и слушать онлайн
https://allmp3.pro/3149-hanna-more.html
Eden3854

5 天前
2025-6-10 16:59:38

Мария Богомолова – С новым годом скачать песню и слушать онлайн
https://allmp3.pro/3006-marija-bogomolova-s-novym-godom.html
Mathew3882

5 天前
2025-6-10 17:21:31

Братья Грим – Солнце Моё скачать песню и слушать онлайн
https://allmp3.pro/2768-bratja-grim-solnce-moe.html
Kiley4293

5 天前
2025-6-10 17:29:21

LXE – Пролетаю Москву скачать песню и слушать онлайн
https://allmp3.pro/2792-lxe-proletaju-moskvu.html
Roman1193

5 天前
2025-6-10 17:29:26

Rauf & Faik – Колыбельная скачать песню и слушать онлайн
https://allmp3.pro/2875-rauf-faik-kolybelnaja.html
Adam2592

5 天前
2025-6-10 18:49:44

Мечта – Не Уходи ( 2014 ) скачать песню и слушать онлайн
https://allmp3.pro/2488-mechta-ne-uhodi-2014.html
Nellie1064

5 天前
2025-6-10 18:49:49

Andrea Jьrgens – Und Dabei Liebe Ich Euch Beide скачать песню и слушать онлайн
https://allmp3.pro/2513-andrea-jrgens-und-dabei-liebe-ich-euch-beide.html
Angelina2885

4 天前
2025-6-10 22:16:43

Лирика – Забудем Всё скачать песню и слушать онлайн
https://allmp3.pro/2848-lirika-zabudem-vse.html