Qwen3.8-27Bが出てました。 https://huggingface.co/Qwen/Qwen3.8-27B 確かに賢い。でも、ベンチマークの3.6からの劇的な向上はThinkingの長さで捻り出してると思います。しかしそうするとエージェントではThinkingが長すぎて成果物が出てこない・・・ チャットでワンショットで「〜をつくって」ではかなりいいものを作ってくれます。 でも、エージェントでもThinkingでコードの検討をして、検討に検討を重ね、成果物が出てこない…
Qwen3.8-2.4T-A95Bが出てたけど試せない、という人が多いですね。一番小さいUnslothさんのところのQ1_0でも384GBで、現実的にMac Studio 512GBくらいしか動かせるマシンがありません。 ただ、実際に動くときに必要なのは95Bパラメータ分、1bit量子化なら20GBのメモリがあればどうにか動かせるはず。 そして128GBマシンを持つ人なら割といる。 ということで、MoEのexpertを必要なものだけSSDから読み込むSSDストリーミングを実装…
Qwen3.8-2.4T-A95Bが出ていたので、Unslothさんの1bit量子化版を試します。 397GBでMac Studio 512GBに余裕で乗りますね。 ということでいろいろ動かそうと思ったけど、やはり1bit量子化だとかなり性能劣化してそうな感じでした。 動いてえらい枠。 このスレッドで過程をまとめてます。 ブラウザで動かすLLM実装入門 Google Colaboratoryで実践するLLM・RAG・ファインチューニング作者:中西崇文インプレスAmazon ビ…
NVIDIAから出たNemotron 3.5 Lightningを試します。 NVIDIA Nemotron 3.5 Lightning Delivers Fast, Accurate Specialized Task Execution for Long-Running Agents | NVIDIA Technical Blog サイズは30B-A3BでMamba 2ベースの線形アテンション採用モデルです。ライセンスはOpenMDW-1.1。 Nemotron 3 Nan…
MetaからMuse Glimmer 30Bというモデルが出ていました。 Introducing Muse Glimmer: An Open Agentic Model That Runs on Your Device | Meta AI Research マルチモーダルなDenseモデルです。 ベンチマークで、SWE-Bench ProがQwen3.6-27Bよりちょい上、Verifiedがちょい下というスコアだったので期待しつつ。 こちらで過程をまとめてます。 コードはそ…
Java 28ではPreviewとしてJEP 401: Value Objects(Preview)が導入されます。 https://openjdk.org/jeps/401 で、Value Objectsってなんじゃ、となるわけですが、雑にいうとIntegerやLongなどラップクラスのオブジェクトやLocalDateなどdate timeのオブジェクトが==で比較できるようになります。 JDK 28のEarly Access Build 10から--enable-prev…
韓国UpStageの250B-A15Bのモデル、Solar-Open2-250Bを試します。 ライセンスはUpstage Solar Licenseで、Apache-2.0をベースに、派生モデルへのSolar提示を求めるライセンスです。 どうも難しいタスクで繰り返しが発生しそうな気配なので、他にいいモデルがあることを考えると使う候補にするのは難しそう。 ただ、韓国でソブリンAIとしてこのレベルのモデルがあるのはいいですね。 GGUFの実行 今回はこちらのQ6_Kを使います。
128GBメモリのマシンで動かすのに最適サイズのStep-3.7-Flashを試します。 StepFunは日本ではあまり目立ってないけどZ.aiやMoonshotやMiniMaxと並んでSix AI Tigersに数えられている会社です。 音楽生成のAceStepのStepのほう担当。AceはAce Studio。 ちなみにSix AI Tigersはベンチャーキャピタル支援の企業ということなので、DeepSeekは含まれてません。 基本的なコードはなんなく動かすし、ここでは…
Poolsideというアメリカ拠点の企業が出した118B-A8BのLLM、Laguna-S-2.1を試してみます。 llama.cppではb10173で対応してるので、LM Studioでも動くはず。 https://github.com/ggml-org/llama.cpp/releases/tag/b10173 知識がかなり怪しくてコーディング全振り感あるけど、エージェント動作はかなりしっかりしてます。知識をちゃんと与えてやれば、それなりにはコード書けると思います。 In…
Ant Lingというところから、124B-A5.1BのLing-3.0-Flashというのが出ていたので試そうと思ったけどllama.cppでもmlxでも出力が変なのでOpenRouterで試しました。 過程はこちらのサブスク投稿でまとめてます。 https://x.com/kis/status/2085044195874783265 どうにもローカルでうまく動かなかったので、OpenRouterでfreeで使えたのでこちらを試しています。 llama.cppで使う場合 l…
いまサイズの割にパフォーマンスがよくて400B以下で最強と思っているモデルが、TencentのHy3です。 コーディングエージェントにはアクティブ20Bが必要と思っていて、知識も300Bくらい欲しいと思っているのだけど、Hy3の295B-A21Bというのがちょうどそのサイズです。 いつものUnslothさんからは量子化がでていないので、同じく性能の高い量子化を提供してるBartowskiさんのモデルを使います。 bartowski/Hy3-GGUF · Hugging Fac…
DeepSeek-V4-Flash-0731のベンチマークスコアが派手だったことで、ローカルLLMへの注目が一段と高まりましたね。 サイズ5倍のモデルを越える性能とかで、もうローカルLLMでいいんじゃないか、とか。まあ実際に使うとサイズなりよりちょっと弱いくらいの性能なんだけど、期待感が高まった。 で、そんな中で「LLMに投資しても元が取れんのだからおとなしくサービス型モデルを使っておけ」みたいな話もちらほら流れてきます。 けど、最近は、それなりのパソコンを買ったら当たり前に…