AI in a Box：你自己的私人开源LLM盒子，便携、离线、开源、私有

大探险家:
这时候就不得不问了：你们没有手机吗？

溯源递归:
内存小了能跑起来大模型吗 不过这种语音对话非长上下文场景小模型也应该能胜任

【回复】时间换空间，算一点存一点，在加秃头优化，保不齐能压在内存4G都行，跟何况现在内存也不是特别贵，8g总是能上的[doge][doge][doge][doge]
【回复】有没有可能是调用接口呢？
bili_20720269406:
等后续，ui什么的可以更加精致些，而且能连手机有个配套app就好了，这样文本图像的交互更方便

レーカン:
本地跑内存够吗？如果不，为什么不在手机上做app？

抓只波刚778:
本地部署大模型，能靠谱？算力够吗？

【回复】估计是在服务器上跑，远程连接
【回复】够，rk3588有npu的，跑起来快得很，我跑7B的秒出
sfranson:
国内已经有小奥AI机器人了，集成了各种大语言模型

【回复】这个是本地的。不是在线的。
【回复】回复 @當劳子 : 支持本地[呲牙]
【回复】不给联网，怎么办[吃瓜]