Qwen3.8-2.4T-A95Bが出てたけど試せない、という人が多いですね。一番小さいUnslothさんのところのQ1_0でも384GBで、現実的にMac Studio 512GBくらいしか動かせるマシンがありません。 ただ、実際に動くときに必要なのは95Bパラメータ分、1bit量子化なら20GBのメモリがあればどうにか動かせるはず。 そして128GBマシンを持つ人なら割といる。 ということで、MoEのexpertを必要なものだけSSDから読み込むSSDストリーミングを実装したQwen3.
Qwen3.8-2.4T-A95Bが出てたけど試せない、という人が多いですね。一番小さいUnslothさんのところのQ1_0でも384GBで、現実的にMac Studio 512GBくらいしか動かせるマシンがありません。 ただ、実際に動くときに必要なのは95Bパラメータ分、1bit量子化なら20GBのメモリがあればどうにか動かせるはず。 そして128GBマシンを持つ人なら割といる。 ということで、MoEのexpertを必要なものだけSSDから読み込むSSDストリーミングを実装したQwen3.