DeepSeek R1 Dynamic 1.58-bit の概要｜npaka

テクノロジーカテゴリーの変更を依頼記事元:

18 usersがブックマークコメント

記事へのコメント4件

注目コメント
新着コメント

MIZ “1.58bit R1 を実行するために VRAM (GPU) は必要ありません。20GBのRAM (CPU) があれば動作しますが、遅くなる場合があります。最適な性能を得るには、VRAM + RAM の合計が少なくとも 80GB 以上であることを推奨します”

2025/02/03 リンク

misshiki “「DeepSeek R1」のアーキテクチャを研究することで、特定のレイヤーを高bit (4bitなど) で選択的に量子化し、残り多くの MoEレイヤーを 1.5bitのままにすることに成功しました”

自然言語処理

2025/01/31 リンク

kei_1010 今ダウンロード中！俺のマシンでも動いてくれー！/ 131GB版が動いたがGPUの使用率が上がらない。あと2.51bit版がbest とあるが、文中で言及が無いのはなぜ？

2025/01/31 リンク

isrc 高速推論も160GBのVRAM に収まり、1 秒あたり約140トークン、単一ユーザー推論では1秒あたり14トークン／1.58bit R1 を実行するために VRAM (GPU) は必要ありません。20GBのRAM (CPU) があれば動作しますが、遅くなる場合があります

機械学習

2025/01/31 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

DeepSeek R1 Dynamic 1.58-bit の概要｜npaka

以下の記事が面白かったので、簡単にまとめました。・Run DeepSeek R1 Dynamic 1.58-bit - Unsloth 1. ... 以下の記事が面白かったので、簡単にまとめました。・Run DeepSeek R1 Dynamic 1.58-bit - Unsloth 1. DeepSeek R1 Dynamic 1.58-bit「DeepSeek-R1」は、オープンでありながら、「OpenAI」のo1に匹敵することで話題になっています。「Unsloth」では、より多くのローカルユーザーがこれを実行できるようにする方法を検討し、「DeepSeek-R1 671B」を「131GB」のサイズに量子化することに成功しました。これは、非常に機能的でありながら、元の720GBから80%のサイズ削減です。「DeepSeek R1」のアーキテクチャを研究することで、特定のレイヤーを高bit (4bitなど) で選択的に量子化し、残り多くの MoEレイヤーを 1.5bitのままにすることに成功しました。すべてのレイヤーを単純に量子化