HelloWorld 发表于 2025-1-28 12:01:45

M3 Mac 用 ollama 跑不动 deepseek-r1:70b 吗？

本帖最后由 HelloWorld 于 2025-1-28 13:01 编辑

跟它说 hi，思考半天，然后也不进行任何回复，电脑都卡了





相关代码：
ollama list
ollama rm deepseek-r1:70b
brew services stop ollama

Frost_Ajax 发表于 2025-1-28 12:07:21

看上去内存不够了，估计要64GB以上才能跑得流畅吧，32GB可能勉强试一下。或许应该换成32b的模型？

HelloWorld 发表于 2025-1-28 12:15:45

Frost_Ajax 发表于 2025-1-28 12:07
看上去内存不够了，估计要64GB以上才能跑得流畅吧，32GB可能勉强试一下。或许应该换成32b的模型？ ...

我在手机上跑了 1.5b，很弱智
算了，用网页版吧

Frost_Ajax 发表于 2025-1-28 12:50:28

HelloWorld 发表于 2025-1-27 23:15
我在手机上跑了 1.5b，很弱智
算了，用网页版吧

网页版的是原版的R1, 自己在本地搭建的1.5B到70B的都是蒸馏过的模型。

HelloWorld 发表于 2025-1-28 13:00:31

Frost_Ajax 发表于 2025-1-28 12:50
网页版的是原版的R1, 自己在本地搭建的1.5B到70B的都是蒸馏过的模型。

671b (404 GB) 是原版吧？

619SG 发表于 2025-1-28 13:35:24

70b不量化 理论上需要280g显存 想跑起来得折腾不少优化

HelloWorld 发表于 2025-1-28 13:48:27

619SG 发表于 2025-1-28 13:35
70b不量化 理论上需要280g显存 想跑起来得折腾不少优化

很折腾
我 MacBook 还是乖乖用网页版和 api 吧

zzzzzddd 发表于 2025-1-28 17:16:12

看上去内存不够了
页: [1]
查看完整版本: M3 Mac 用 ollama 跑不动 deepseek-r1:70b 吗？