Qwen3.8-2.4T-A95Bが出ていたので、Unslothさんの1bit量子化版を試します。 397GBでMac Studio 512GBに余裕で乗りますね。 ということでいろいろ動かそうと思ったけど、やはり1bit量子化だとかなり性能劣化してそうな感じでした。 動いてえらい枠。 このスレッドで過程をまとめてます。 ブラウザで動かすLLM実装入門 Google Colaboratoryで実践するLLM・RAG・ファインチューニング作者:中西崇文インプレスAmazon ビルドと実行 今回はUnslothさんのUD_Q1_0を使います。 https://huggingface.
