とりさん retweeted
ひやっしーを委員に入れることで、本邦での核融合開発に未来がないことを告白している文科省 mext.go.jp/b_menu/shingi/cho…
Windowsアプリで階層メニューを自作したことがありますが、ゲーム開発の感覚で「マウスの位置は正確に判定すればいい」くらいに思っていました。ところが、これが思いがけず使いにくかったのです。
例えば「ファイル」「編集」「表示」が縦に並び、「ファイル」にカーソルを合わせると右側にサブメニューが開くような画面です。「最近使ったファイル」を選ぼうと右下へ斜めに動かすと、途中で「編集」の上を横切ることがあります。
カーソルが触れた項目へ即座に切り替える実装だと、「ファイル」のサブメニューが閉じてしまう。処理としては正しくても、使う側からすれば、そこへ行きたいだけなんですけどね。
対策の一つは、マウスの移動方向を見ること。直前の位置とサブメニューの上下端を結ぶ三角形を目安に、そこへ向かう動きなら切り替えを少し保留します。一律に待たせると操作が鈍くなるので、別の項目を選ぶ動きにはすぐ反応させます。
QtなどのUI部品にも、斜め移動を考慮する仕組みがあります。見た目は簡単なメニューでも、単に素早く反応させるだけでは足りません。人がどこへ向かおうとしているかを考え、必要なときだけ猶予を持たせるんですね。
#UI設計 #Windowsアプリ
为什么现在的顶尖大模型说话越来越“拗口、难懂”了?
NYU 和 UT Austin 刚刚发了一篇非常扎心的心理语言学论文,直接扒开了现代大模型“不好好说人话”的底牌。
研究人员把 Claude Sonnet 5 / Opus 5.5、GPT-5.6、GLM-5、Kimi K2.5 等 9 款前沿模型拉出来做全方位句法解剖,发现了 3 个反直觉真相:
1️⃣ 顶尖 AI 正在滥用 6 种“高认知负荷”句式
相比真实人类写作和同义回译文本,前沿模型极度偏爱:省略 that 的宾语从句、多重名词硬堆叠(如 reader-patience budget)、名词强行作动词(如 calendar it / footnote it)、无生命主语配动作动词,以及超长句法依存距离。这些特征在心理语言学里全是消耗人类短期记忆的“阅读杀手”。
2️⃣ 根源在于“人类大脑”与“推理后训练”的错位
人类语言遵循“均匀信息密度(UID)”——为了照顾听众有限的工作记忆,我们会本能地加入过渡词把信息摊平。而现代大模型经过大量数学、代码和推理(RLVR)后训练,只追求在有限窗口内最大化“信息密度”。
3️⃣ 一个简单的长度惩罚,就能复刻这种“反人类文风”
团队在微调实验中加入长度惩罚(Length Penalty),逼模型少用 Token,结果模型立刻学会了砍掉连接词、堆叠名词,瞬间变成那股熟悉的“高密度 AI 味”。
当模型为了解题效率疯狂压缩 Token 时,你觉得未来的 AI 应该区分“高密度推理模式”和“人类友好沟通模式”吗?
とりさん retweeted
Softmaxとクロスエントロピーの標準的な実装に2種類の数値誤差が存在し、従来のGrokkingの研究で観測されていたSlingshot現象(突然の損失急増)が、この数値誤差によって説明できることが示された。さらに、蒸留で教師と生徒の出力が近い場合にも問題が発生しうることが明らかになった。
“A Fix for Softmax and Cross-Entropy”
* Softmax Collapse
通常のクロスエントロピー損失では、正解クラスのLogitに対する勾配は
gₜ = qₜ - 1
である。ここでqₜは、Softmaxが正解クラスに割り当てる確率である。
正解クラスに割り当てる確率が大きくなるにつれて勾配は小さくなるが、数学的にはゼロにはならない。しかし、浮動小数点演算ではqₜがちょうど1に丸められ、勾配がゼロになってしまう。
一方、不正解クラスに対する勾配は、より小さな値まで保持される。
本来、すべてのクラスに対するLogitの勾配の総和はゼロ、つまり
∑ₖ gₖ = 0
を満たす必要がある。これは、すべてのクラスのLogitに同じ値を加えてもSoftmaxが変わらないという性質に対応する。しかし、この数値誤差によって勾配の総和がゼロでなくなる。
正解クラスのLogitと、それ以外のLogitのLogSumExpとの差をマージンmと定義すると、FP32ではmが約16.6を超えた時点でこの問題が発生する。
例えば、Logitが
[9, -9, -9]
であり、最初のクラスが正解の場合、通常実装の勾配は、マージンが18と16.6を超えてしまうので0となり、
[0, 1.523 × 10⁻⁸, 1.523 × 10⁻⁸]
となるが、正しい勾配は
[-3.046 × 10⁻⁸, 1.523 × 10⁻⁸, 1.523 × 10⁻⁸]
である。
この違いは絶対値としては小さいものの、Adamのように勾配の大きさを使って更新量を正規化するOptimizerでは、重大な影響を与えうる。
特にGrokkingでは、ネットワークが訓練データを記憶した後、かなり時間が経ってから汎化性能が急上昇する現象が知られている。その過程では、Lossがゼロ近傍から急激に増大し、再びゼロに戻るSlingshot現象も観測されていた。このSlingshot現象が次の過程で発生することを示している。
1. モデルが訓練データを記憶すると、正解Logitのマージンが増大する。
2. マージンがFP32の約16.6を超えると、正解クラスの勾配がゼロに丸められる。
3. 勾配が極めて小さくなると、Adamの二次モーメント推定値が減衰する。
4. Weight Decayなどによってマージンが再び16.6未満になると、正解クラスの勾配が復活する。
5. 小さくなった二次モーメントによって勾配が正規化されるため、非常に大きなパラメータ更新が発生し、Lossが急増する。
さらに、AdamWのεとWeight Decayが、学習後のLogitのマージンを決めることも分析している。
Weight Decayが働く定常状態では、マージンは近似的に
m* ≈ log(1/ε)
となる。例えばε = 10⁻⁸の場合、m* ≈ 18.4となり、FP32で数値誤差が発生する16.6を超えてしまう。これもSlingshotが発生する原因となる。
この問題の解決方法は非常に単純であり、クロスエントロピーの計算に必要な
L = log(1 + e⁻ᵐ)
を、数値的に安定したSoftplus関数
L = softplus(-m)
で計算する。
さらに、正解Logitとその他のLogitとの差を使って損失を表現することで、自動微分によって正解クラスの勾配が、その他のクラスの勾配の負の総和として計算されるようにする。
これによって、非常に小さな勾配も保持され、勾配の総和がゼロになる性質も維持できる。
* Softmax Cancellation
もう一つの問題は、LLMの蒸留やKL正則化などで発生しうる。
TeacherとStudentの、確率分布をp, q
としたとき、Soft-target Cross-EntropyのStudent側のLogitに対する勾配は
g = q - p
となる。
このときTeacherとStudentが完全に一致すれば、勾配はゼロになるはずである。
しかし、従来の実装ではTeacherとStudentのSoftmaxを別々に計算してから引き算するため、近い値同士の減算による桁落ちが発生する。さらに、前向き計算と後ろ向き計算で演算経路が異なることによって、両者が完全に一致していてもゼロでない勾配が発生する場合がある。
これは、Teacherの重みをコピーしてStudentを初期化する場合などに問題となる。
実際に論文では、Teacherの重みからStudentを初期化して蒸留を続ける実験において、従来実装ではBF16の数値誤差がAdamによって増幅され、StudentがTeacherから乖離して精度が低下することを確認している。
この問題も計算方法の工夫によって解決できる。具体的には、TeacherとStudentの確率を別々に計算して引き算する代わりに、Logitの差から出発し、expm1やlog1pなどの数値的に安定した関数を用いて勾配を計算する。
これによって、TeacherとStudentが一致する場合には勾配が正確にゼロとなる。
コメント
====
今回指摘された数値誤差の原因となる計算は、PyTorchやJAXを含む現在の標準実装にも残っている。今後、これらの標準実装でも対応が進むと思われるが、大規模LLMの学習で使われるFused Kernelなどについても、同様の問題が存在するかどうかの確認が必要である。
このような一見わずかな数値誤差が、学習性能や学習中の不可解な挙動に大きな影響を与える、数値計算の方法によって勾配が変わり、Optimizerを通じて学習全体の挙動が変化するのは今後注意が必要である。
将来的には、コーディングエージェントが、勾配の総和がゼロになるといった数学的に保たれるべき不変性を理解し、実装の中でそれらが破られる可能性のある箇所を自動的に検出・指摘できるようになることを期待する。
とりさん retweeted
StrataでのDeepSeek V4.1 Flash 1017の検証、Radeon AI R9700 x2 + DDR5 128GBの構成で以下の速度。
まあ実用は厳しい。


















































