M3 Mac 用 ollama 跑不动 deepseek-r1:70b 吗？

HelloWorld · 发表于 2025-1-28 12:01:45

您需要登录才可以下载或查看，没有账号？注册免广告

×

本帖最后由 HelloWorld 于 2025-1-28 13:01 编辑

跟它说 hi，思考半天，然后也不进行任何回复，电脑都卡了

相关代码：

复制代码

Frost_Ajax · 发表于 2025-1-28 12:07:21

看上去内存不够了，估计要64GB以上才能跑得流畅吧，32GB可能勉强试一下。或许应该换成32b的模型？

HelloWorld · 发表于 2025-1-28 12:15:45

Frost_Ajax 发表于 2025-1-28 12:07
看上去内存不够了，估计要64GB以上才能跑得流畅吧，32GB可能勉强试一下。或许应该换成32b的模型？ ...

我在手机上跑了 1.5b，很弱智
算了，用网页版吧

Frost_Ajax · 发表于 2025-1-28 12:50:28

HelloWorld 发表于 2025-1-27 23:15
我在手机上跑了 1.5b，很弱智
算了，用网页版吧

网页版的是原版的R1, 自己在本地搭建的1.5B到70B的都是蒸馏过的模型。

HelloWorld · 发表于 2025-1-28 13:00:31

Frost_Ajax 发表于 2025-1-28 12:50
网页版的是原版的R1, 自己在本地搭建的1.5B到70B的都是蒸馏过的模型。

671b (404 GB) 是原版吧？

619SG · 发表于 2025-1-28 13:35:24

70b不量化理论上需要280g显存想跑起来得折腾不少优化

HelloWorld · 发表于 2025-1-28 13:48:27

619SG 发表于 2025-1-28 13:35
70b不量化理论上需要280g显存想跑起来得折腾不少优化

很折腾
我 MacBook 还是乖乖用网页版和 api 吧

zzzzzddd · 发表于 2025-1-28 17:16:12

看上去内存不够了

账号		自动登录	找回密码
密码			注册免广告