ぐれーぷ@llama.cppウォッチャー (@2022_technology) header
ぐれーぷ@llama.cppウォッチャー (@2022_technology) profile picture

質の高いGGUFをあなたに

Joined January 2022
Photo by ぐれーぷ@llama.cppウォッチャー (@2022_technology)Photo by ぐれーぷ@llama.cppウォッチャー (@2022_technology)Photo by ぐれーぷ@llama.cppウォッチャー (@2022_technology)Photo by ぐれーぷ@llama.cppウォッチャー (@2022_technology)Photo by ぐれーぷ@llama.cppウォッチャー (@2022_technology)Photo by ぐれーぷ@llama.cppウォッチャー (@2022_technology)Photo by ぐれーぷ@llama.cppウォッチャー (@2022_technology)Photo by ぐれーぷ@llama.cppウォッチャー (@2022_technology)Photo by ぐれーぷ@llama.cppウォッチャー (@2022_technology)Photo by ぐれーぷ@llama.cppウォッチャー (@2022_technology)
gemma-2-27b-itのElyza tasks 100のスコアは… どのモデルよりも高い3.88点です!驚異のジャイアントキリング! というわけでみなさんぜひダウンロードしてください!!
Googleさんのgemma-2-27b-itの日本語imatrix量子化ggufが完成しました! 軽量なのにとんでもなく賢い、現状最強のローカルLLMだと思います huggingface.co/grapevine-AI/…
1
7
49
16,280
ぐれーぷ@llama.cppウォッチャー retweeted
これOpen weight”s” of smaller sizeだから27BとFlash確定やん
📢 Meet Qwen4-Max, your new AI teammate for work, creativity, and discovery! Qwen4-Max is built on a new MoE architecture with native vision and a 1M-token context window. Highlights: - Outperforms Qwen3.8-Max with up to ~50% fewer tokens, while average cost per task drops over 60% in our internal evaluation. - Advances real-world productivity through greater proficiency with professional tools, stronger long-horizon execution, and higher-quality deliverables. - Handles real tasks, including 3D modeling, game development, manufacturing, finance, law, healthcare, and frontier scientific discovery. - $1.5/M tokens for input, $4.5/M tokens for output, and $0.075/M tokens for implicit caching — all lower than Qwen3.8-Max, with implicit caching down by 70%. The API is live on QwenCloud. You can also try Qwen4-Max on Qwen Studio, QwenWork and Qoder. Start building today! 🚀 - Blog: qwen.ai/blog?id=qwen4-max - API: qwencloud.com/models/qwen4-m… - Token Plan: qwencloud.com/pricing/token-… More to come! The open weights of smaller Qwen4 models will be released. Stay tuned. 👀
4
4
3
62
10,658
悪くなさそうですね
Qwen4-Max by @Alibaba_Qwen is the #1 Chinese model on the leaderboard making Alibaba now the #1 Chinese lab and #5 lab overall, just behind Anthropic, Google, OpenAI and Meta. It debuts overall at #14 on Agent Arena with +7.5% net improvement across 14.7k real-world agentic sessions from our global community, real traces on real tasks. This is a major leap over Qwen3.8-Max - Rank: #39 → #14 overall The Chinese frontier on Agent Arena: - #14 Qwen4-Max (Alibaba): +7.5% - #19 Hy4 (Tencent): +5.7% - #21 Kimi K3.1 Pro (Max) (Moonshot): +4.0% - #26 MiMo-V2.6-Pro (Xiaomi): +1.5% - #30 DeepSeek-V4.1-Flash (Max) (DeepSeek): +1.1% Breaking down performance across signals: Qwen4-Max improves over Qwen3.8-Max across all four reported signals, with particularly large gains in user satisfaction and steerability. - #15 Praise vs. Complaint: +13% (best Chinese model) - #13 Confirmed Success: +9% (best Chinese model) - #19 Steerability: +8% - #29 Bash Reliability: +3% By category, it is a top-ranked Chinese model across all 3: - #12 in Work: +9% - #14 in Chat: +8% - #16 in Code: +8% Congrats to the @Alibaba_Qwen team on this release!
104
ぐれーぷ@llama.cppウォッチャー retweeted
Qwen4 wevdevつっよ! Preview から改善しまくったのだろうか? ともあれ、Qwen3.8-Max-0902がめちゃくちゃジャンプして一部Fable超えてたから、 本気で期待するべきは1ヶ月後〜くらいのQwen4-Max-0101とかやな(?)
Qwen4-Max by @Alibaba_Qwen has landed as #6 in the Code Arena: WebDev! With 1750 pts (preliminary), it's +74 pts over its predecessor, Qwen3.8-Max (0902) at 1676. It's also the top Chinese model in: - #6 HTML: 1748 pts - #8 Brand & Marketing: 1705 pts - #8 Reference-Based Design: 1770 pts Congrats to the @Alibaba_Qwen team on this release!
5
4
47
3,353
Qwen4 Max 2.4T-A71B そしてngramが328B
📢 Meet Qwen4-Max, your new AI teammate for work, creativity, and discovery! Qwen4-Max is built on a new MoE architecture with native vision and a 1M-token context window. Highlights: - Outperforms Qwen3.8-Max with up to ~50% fewer tokens, while average cost per task drops over 60% in our internal evaluation. - Advances real-world productivity through greater proficiency with professional tools, stronger long-horizon execution, and higher-quality deliverables. - Handles real tasks, including 3D modeling, game development, manufacturing, finance, law, healthcare, and frontier scientific discovery. - $1.5/M tokens for input, $4.5/M tokens for output, and $0.075/M tokens for implicit caching — all lower than Qwen3.8-Max, with implicit caching down by 70%. The API is live on QwenCloud. You can also try Qwen4-Max on Qwen Studio, QwenWork and Qoder. Start building today! 🚀 - Blog: qwen.ai/blog?id=qwen4-max - API: qwencloud.com/models/qwen4-m… - Token Plan: qwencloud.com/pricing/token-… More to come! The open weights of smaller Qwen4 models will be released. Stay tuned. 👀
3
13
789
ぐれーぷ@llama.cppウォッチャー retweeted
見落としてたけど、Qwen4-27B も近いうちに公開されるのか!?楽しみすぎる
Qwen announces smaller Qwen4 models will be released soon! 🔥 Qwen4-27B will run on 16GB RAM setups.
1
6
73
3,373
おお! ついに正式版が!
📢 Meet Qwen4-Max, your new AI teammate for work, creativity, and discovery! Qwen4-Max is built on a new MoE architecture with native vision and a 1M-token context window. Highlights: - Outperforms Qwen3.8-Max with up to ~50% fewer tokens, while average cost per task drops over 60% in our internal evaluation. - Advances real-world productivity through greater proficiency with professional tools, stronger long-horizon execution, and higher-quality deliverables. - Handles real tasks, including 3D modeling, game development, manufacturing, finance, law, healthcare, and frontier scientific discovery. - $1.5/M tokens for input, $4.5/M tokens for output, and $0.075/M tokens for implicit caching — all lower than Qwen3.8-Max, with implicit caching down by 70%. The API is live on QwenCloud. You can also try Qwen4-Max on Qwen Studio, QwenWork and Qoder. Start building today! 🚀 - Blog: qwen.ai/blog?id=qwen4-max - API: qwencloud.com/models/qwen4-m… - Token Plan: qwencloud.com/pricing/token-… More to come! The open weights of smaller Qwen4 models will be released. Stay tuned. 👀
3
200
!! い、今すぐ調達したほうがいいんですかね?
CMP 170HX 80GB VRAM改造成功! キターーーーーー!!!!!!!!!
1
6
876
ぐれーぷ@llama.cppウォッチャー retweeted
"STRATA_ROUTE_TAIL_SKIP": "0" この値がデフォルトだと7らしい
1
1
8
441
ぐれーぷ@llama.cppウォッチャー retweeted
Replying to @mirai_yuki_tech
私はそのカットする機能は切ってるよ たしかVRAM に載っていない専門家のうち、その区間のどのトークンでも何番目以下でしか選ばれていないものを、転送も計算もせずに飛ばすみたいなやつ 0.1.42から付いた機能らしい
2
2
41
2,810
ぐれーぷ@llama.cppウォッチャー retweeted
これUnslothよりコメント貰いまして、Strataは推論過程をカットする傾向にあるのでllama.cppを使ってくれとのことでした〜。 llama.cppも最近アプデされたので、時間あったら試してみたらいいかもね
なんかわからんけど、UD_IQ3_XXS頭悪スギ…? GSQ-RCO IQ3_Sのほうがマシだった気がする ほんと感覚なんすけど
12
58
2
430
32,763
DeepSeekのWebUIをセルフホストできるようになりましたが、残念ながらローカルLLMに接続とかはできないみたいです… (実際に試してがっかりしました)
🚀 The full DeepSeek App experience, now via API Search, files, links, safety, and voice. The capabilities behind the DeepSeek App are now available through the DeepSeek API. Enable built-in features with a few parameters, or call standalone APIs such as OCR, ASR, and TTS. Build richer conversations or recreate the full DeepSeek App in your own application. Try our open-source frontend demo, with support for importing DeepSeek conversation history. 🔗 Demo: cdn.deepseek.com/chat-demo 📦 Code: github.com/deepseek-ai/chat-… 📖 Details: api-docs.deepseek.com/guides… 1/4
1
145
ぐれーぷ@llama.cppウォッチャー retweeted
これ大正解だと思う。 20枚選んだ画像に逐一ぐろっくくんの改変許さんの意思を表明したら投稿失敗して 下書き保存したやつ再投稿したら画像1枚目だけになってた。
AIに食わせるために20枚投稿できるようにしたんじゃね?っていうポストを見かけて震えている
12
14,580
602
28,842
2,135,292
ぐれーぷ@llama.cppウォッチャー retweeted
Replying to @saitou_kiara
👉🏻結論から言うね。 **のどぐろは、マグロではないよ。** 正式名称は「アカムツ」で、白身魚に分類されるよ。 ✅ きあらの知識がまたひとつ増えたね。 これからも気になることがあれば、いつでも聞いてね!😊
82
3,488
540
61,264
3,252,205
ぐれーぷ@llama.cppウォッチャー retweeted
To enable MoE offloading with a LRU cache in llama.cpp: --moe-cache-mib N Set --moe-cache-mib to some amount of your GPU VRAM in MiB. In Unsloth's llama.cpp prebuilt we have an "auto" option which will auto size it. See github.com/ggml-org/llama.cp…
Local AI wouldn't be here without llama.cpp. Congrats to v1! Llama.cpp also now also has MoE offloading and MoE smart LRU caching, so large MoEs which can't fit in VRAM can still be fast!
10
12
2
200
9,833
huggingface.co/Qwen/Qwen3.8-… そういえば、Qwen3.8の公式リポジトリのチャットテンプレートに変更が入ったの、知ってます?(Flash NextとMaxにも変更あり) 何が変わったのかわかりませんが、これはQwenでは非常に珍しいことです
4
6
101
16,550
Qwen4が出なくてくぇーん!してた時期にリポジトリを毎日訪れてたので気付きました
1
11
2,147
ぐれーぷ@llama.cppウォッチャー retweeted
「yasakani」+ Qwen3.8-27B(品質モデル) + dsh で ts-bench を評価したので結果を共有する ※yasakani が Messages API に対応してなかったので、Claude CodeではなくDeepSeek Harnessを使用 ●メモ ・とにかく推論が速いので、オリジナル + 投機的デコードなしの場合に比べて倍以上速くタスクを完遂できている。また、Strata + Qwen3.8-Flash-Next と同等の速度を出せている。 ・スコアは満点を取れており、明確な品質の劣化はなさそう ・面白いのは、オリジナルのUD-Q4_K_XLと比べてtotal token数がかなり少ないこと。一方でツールコールの回数は増えていること →もちろんハーネスの違いによる部分もあると思うが、オリジナルのモデルが思考がかなり長かったのに対して、yasakani は考えるよりまず行動という感じで試行錯誤を優先しやすくなっている? ●総括 これまでの評価としては、速さと品質どちらもかなり良さそう。一点、Strata + Qwen3.8-Flash-Next が使える環境なら、性能も良いし結果的にタスク完了までの時間も短いからそちらの方が良いのでは?というツッコミが入りそうだが、そこは確かに反論しづらいところかもしれない
Qwen3.8-27B の高速推論エンジン「yasakani」の評価① Codex に Ubuntu で推論できるようにしてもらい、prefill速度とdecode速度を評価してもらった 結果は画像の通りで、baselineとして投機的デコードなしでの llama.cpp に対してデコード速度は3〜4倍程度速くなっており、確かにかなり高速化できていることがわかった(llama.cppとの比較はリプライ参照) ts-bench, Terminal-Bench 4.0等を用いた性能評価は今後進める予定
12
2
73
9,290
ぐれーぷ@llama.cppウォッチャー retweeted
Qwen3.8-27B の高速推論エンジン「yasakani」の評価① Codex に Ubuntu で推論できるようにしてもらい、prefill速度とdecode速度を評価してもらった 結果は画像の通りで、baselineとして投機的デコードなしでの llama.cpp に対してデコード速度は3〜4倍程度速くなっており、確かにかなり高速化できていることがわかった(llama.cppとの比較はリプライ参照) ts-bench, Terminal-Bench 4.0等を用いた性能評価は今後進める予定
昨晩は飲み会で反応遅れてしまったけど、これはさすがに気になるので検証してみる。Ubuntuでもいけるのかな?
5
18
2
115
21,586