轻松搭建本地大模型 Web 交互界面 - Ollama + Open WebUI

bluemidi:
RTX 2080Ti 22G 两块加上 Tesla P40 24G 一块跑通义千问72b-chat-v1.5-q4_K_M显存大概的占用情况

【回复】回复 @羿潇贤鱼 :nvitop命令，自己找下怎么装
【回复】回复 @羿潇贤鱼 :nvitop，知乎上一个大佬写的，可以直接搜到
【回复】哥请问 Tesla P40 24G和 2080Ti 22G单卡速度差距有多少
堇卿Chris:
妮妮，我想制作本地知识库训练成自己的大模型。然后通过ai整合，能够精准的回答我提问的东西，（99%的答案都是我所提供的知识内容）。我想通过ai作为一个检索+整合+大语言推理整合这样的一个事。 那我想问几个问题，1在本地部署那些4B/7B的大模型，有影响吗？因想想7B比4B大很多，显存要求也很高。 2，假如我从网上下载一个训练好的模型，那我在本地电脑运行推理，是不是对显存方面要求，也跟这个训练网上这个模型的时候的配置一样，还是说我下载好了一个模型，在纯推理的话，对配置要求就不高了。 愿闻其详，谢谢up姐姐

【回复】回复 @guomou0537 : 推理的话也是模型参数越大、想要的上下文越长要求显存越高呀，但是肯定比训练小。举个例子 7B 的模型，推理的时候做 int4 量化，基本就需要 4GB 的显存呀。
bluemidi:
RTX 2080Ti 22G 两块加上 Tesla P40 24G 一块跑通义千问72b-chat-1.5-q4_K_M成功，速度每秒8tokens左右。

【回复】真好, 我的笔记本只能跑32b的Q4
【回复】回复 @R---Star :还可以，q4_K_M是资源要求和效果比较好的结合，感觉和ChatGPT 3.5接近了
微光失色if:
将ollama部署到4090上，挂一个webui在服务端，别人就能直接访问了吧？

【回复】回复 @微光失色if : 有没有可能是 windows 的防火墙...
【回复】回复 @漆妮妮 :4:45 我这样启动了ollama 另一台电脑还是访问不到模型。
【回复】回复 @微光失色if :当然服务器可以从127.0.0.1:11434访问到 但另一台电脑怎么访问嗯
週遊天宇:
感谢up的教程。我ollama跑在windows上，折腾wsl跑docker太麻烦了。之前我尝试把open-webui跑在nas上，结果没成功。现在有教程了应该行啦！

【回复】本来能运行docker的，后来感觉c盘空间不够想弄到D，现在直接被搞崩了一直报错[笑哭]，结果现在C盘空间反而更小了
【回复】回复 @欧阳来也 : 群晖那性能跑大语言模型不行吧，我只是用来跑个open-webui，ollama还是跑在Windows电脑的
【回复】回复 @欧阳来也 :群晖就算了吧，那个 CPU 跑不了的
sxyeah1:
up主声音这么温柔一定是女装大佬吧？[doge]

【回复】回复 @sxyeah1 :毫无疑问 ╮(￣▽￣)╭
kolokolokolokolo:
upup，请问下的模型在哪阿，我想删找不到在哪删

【回复】ollama ls 罗列所有模型 ollama rm <name> 可以删除模型 模型默认在 ~/.ollama/models
柯ko-:
docker run下载webui的时候报错事为什么呀

蒋仕相FPV:
up主请教一个问题，本机3000端口就第一次打开了一次 第二次就无法连接了。试了本机其他端口镜像又可以.open镜像运行是没问题的 这怎么回事？

嘉嘉宝贝蛋蛋:
讲的真仔细。[星星眼]。不像老师说教，像你温柔的学霸同桌耐心分享。[doge]UP能不能详细讲一下你末尾说的方案，怎么租云端GPU部署Ollama？

【回复】谢谢认可！最后云 GPU 的方案我会出个视频的！
丨牧飞飞丨:
windows11下配置完ollama，docker和open web UI，测试了gemma2b 7b,qwen7b的模型，只有第一次对话能显示回答，继续对话就Open WebUI: Server Connection Error，上方选择模型界面也看不到模型了，重启几次电脑和docker都没用，在系统变量里添加了OLLAMA_ORIGINS=*；OLLAMA_HOST=0.0.0.0也是没有任何用处，请问应该怎么解决？

【回复】你的docker用的是wsl里的还是直接docker desktop？
只為再一次的悸動:
windows設定完之後，是127.0.0.1:11434，我用虛擬機充當另一台機器 但是打開open webui後無法找到windows主機的model (ollama run可以運行) 請問要如何更改? 感謝

【回复】回复 @只為再一次的悸動 : localhost 肯定不太行了，要用它的 ip 地址
【回复】回复 @只為再一次的悸動 :我也是这个问题，今天想了一下，虚拟机的话，相当于你是局域网访问了，当然不能还用localhost或者127.0.0.1了，因为那意味着你在访问虚拟机的本机地址，而你的ollama部署在宿主机上，需要用宿主机和虚拟机之间能通的那个局域网的ip+端口才行
【回复】回复 @只為再一次的悸動 :假如你windows宿主机的ip为192.168.0.100，虚拟机ip为192.168.0.200，那么webui里面那个ollama配置的地址就填写192.168.0.100:11434，然后虚拟机里面用浏览器访问localhost:3001应该就可以了
反转了我是奶心糖:
你好，我想问一下为什么我输入那个docker命令没有用，我是windows系统

哈哈哈哈2336689:
请问这个网页可以让别的电脑来访问吗，就是给一个网址，大家点进来都能聊天的那种

【回复】回复 @漆妮妮 : 好的谢谢up主！！[星星眼]
【回复】可以的呀，你只要让别人能访问到就行的，open webui 本来也支持多用户的
ocean_22:
如何结合token或者【token+session】的方式对外提供服务呢

【回复】回复 @ocean_22 : 那是不是需要再套一个服务做验证
【回复】回复 @漆妮妮 : 不是，是token认证，token有效期为一定时间，过期了就不能访问了，以免无身份的人使用
【回复】回复 @ocean_22 :你是指 token 计费么
分手来不及说再见_:
up 你好，我想请问一下，我在本机 ollama 中下载了大模型，为啥安装 webui 又要重新下模型，有什么解决办法么