DeepSeek-V4-Flash 284B 3bitをローカルで動かす現実解
RTX 5070(16GB VRAM)単体だと重みが入らないけど、メインRAMを128GB積んでMoE(アクティブ13B)のハイブリッドオフロード(llama.cpp等)を使えば動作可能
100GB超のモデルを128GB RAMに配置
16GB VRAMで計算補助
1秒に5〜15文字と実用速度で出力
DeepSeek V4 Flash 0731 can now be run locally! 🐳
Run DeepSeek V4 Flash lossless 4-bit on 168GB RAM and 3-bit on 110GB RAM.
V4 Flash 0731 outperforms V4 Pro. Run via Unsloth or llama.cpp. Smaller quants coming today.
Guide: unsloth.ai/docs/models/de…
GGUF: huggingface.co/unsloth/DeepSe…






