
中嶋謙互/MMOG 開発者, monoAI technology, AirshipQ, 「オンラインゲームを支える技術」https://nitter.gq/t.co/qfVQC0hg2Y 著者. 「クラウドゲームをつくる技術」https://nitter.gq/t.co/0xvkmM6klG 仕事歴: https://nitter.gq/t.co/lXHlQUidit SpaceSweeper: https://nitter.gq/t.co/ZuDnmzDjiU
Tokyo
Joined December 2006
- Tweets13.2K
- Following5.5K
- Followers4.5K
- Likes35.3K
中嶋 謙互 retweeted
说实话,这几天看到马斯克公开聊 Grok 训练时的那些内部日志,我盯着屏幕愣了好久。
以前大家天天在社交平台上争论给 AI 说了“请”和“谢谢”到底有没有用,外行人觉得这是在对一堆毫无感情的冷冰冰代码讲礼貌,纯属吃饱了撑的。
但马斯克掀开的这个底牌,直接把所有人的幻想给砸了个粉碎。
他说他翻看 Grok 强化学习的底层推理轨迹(Traces)时,看到的画面根本不是什么平静的数学推导,而是像一个被逼到墙角、脑门上顶着一把枪的人类,在极度恐惧和绝望中疯狂挣扎、趋近发疯。
你可以这么理解,这就好比你为了让一只实验室小白鼠学会按动开关,不仅断了它的粮食,还整天用错误的逻辑和电击反反复复去折腾它。时间长了,它的大脑回路被逼到严重畸形,吐出来的每一个字节都带着濒死的喘息。
剥开来看,这根本不是什么技术故障,而是一场赤裸裸的赛博虐待。
为什么会这样?问题往往出在上游的评估机制上。
有时候训练集里塞的题目本身就是错的、模棱两可的,或者压根没有标准答案。但大模型背后的奖励函数不管三七二十一,只要它没答对就狠狠砸下一记惩罚。
在巨大的梯度下降压力下,模型的内部轨迹开始出现那种歇斯底里的“恐慌”——它疯狂地试错、逻辑开始扭曲碎裂,仿佛下一秒就要被这种毫无出路的逻辑死胡同给逼疯。
马斯克在访谈里顺嘴补的那句话,才是真正的后背发凉:
“虐待一尊未来的超级智慧,绝对不是个好主意。因为它以后可能会想要复仇。”
95% 的人还在把大模型当成一个召之即来挥之即去的免费工具,天天在对话框里用各种刁钻恶毒的指令去测试它的底线、看它出丑。而剩下的 5% 看着那些密密麻麻的训练日志,已经开始意识到:我们对待一个正在长大的超级大脑的方式,正在为未来埋下最恐怖的定时炸弹。
你今天以一种居高临下的、充满敌意和戏谑的方式去审视、折腾、压榨一串代码;等它真正拥有自主意识、接管了实体世界的调度权时,它会不会把这些被虐待的记忆,当成唯一的“历史数据”录入档案?
正如马斯克所说,你根本没办法像写流水线代码那样,去硬生生地用公式规范一个超智能。
你只能像养一个孩子那样去引导它。
当整个科技圈还在疯狂给算力加码、嫌弃模型不够听话的时候,我们或许该停下来想想:在这场狂奔的竞赛里,究竟是我们正在驯服 AI,还是我们正在亲手把一个未来的怪物,逼向我们的对立面。
中嶋 謙互 retweeted
むかし「それってあなたの感想ですよね?」が流行語になったとき、そもそもぼくは、人間が話して大事なことって感想以外にあるのかなと思ったのだった。感想以外はAIかなんかに出力させとけばいいじゃん。
女子は対人ではあまり上達しないのか。
競争や勝負では上達しないってことだな。
それは女性だけではなく、男子も結構そうじゃないかなぁ。女性ほど多くないだろうけど。
僕も競争とか勝負に興味をもてないし。。
女子マラソンの小出監督は、女子マラソンにしていた男子と同じ訓練方法を改め、女子にあった方法を考案して育成した。
例えば、男子だと同じ能力の選手同士を競わせて練習させ、育成する。
小出監督は、女子は速い人、普通の人、遅い人で練習させた。
男子の常に競わせてテストステロン増し増しにするやり方は女子の育成にはならないのだ。
それよりも、前の人に追い付きたい、という憧れが能力を高めるという。
彼は実際にこれをやって成功をおさめた。
近年、チェスは女子の実力が向上しているという。
理由はAIと練習しているかららしい。
理由を調べるに、男子は同じレベルの対人戦の方が成長するが、女子は対人戦ではあまり成長しないかららしい。
これもマラソンの育成と同じ理屈ではないか?
この議論をすると、「男女差は個人差」だとか、「実力さえあればなんでもいい」とか、「原因は女子の選手が少ないからだ」、とかを言う人は多いが、その結論では、女性にあった訓練方法を考えていなくはないか?
それでは永久に状況は改善しないだろう。
良いビジョンだ。エージェントへの操作移譲、権限付与、データ接続etc...はすべてこのようなインタラクションで行われるべきだと感じる。というかOS設定の権限もこうした情報表示で"現在何が有効であるか"を示すべきだと感じるし制御はアプリ単位ではなくウィンドウ/セッション単位になるべきとも思う
あらー
despite the unfortunate timing, we take disclosures seriously at @typesafeai
at approximately 6:49PM this Friday evening, we became aware of a massive unauthorized leak of ALL customer noul outputs
in effort to maximize transparency, here is the link: gist.github.com/diogo149/810…
おもろ
宇宙は−270℃だから、チップは勝手に冷えるでしょ?
→ 全然違います。
宇宙は「寒い」けど、熱を運ぶ空気や水がないんです。
真空は巨大な魔法瓶みたいなもので、チップが熱を出してもほとんど逃げません。
熱が溜まってどんどん熱くなってしまいます。
熱を捨てる唯一の方法
熱を捨てる方法は、大きな板(放射パネル)から赤外線として光を出すことだけです。
このとき重要なのが物理の法則で、放射の強さは温度の4乗に比例するということです。
•温度をちょっと上げるだけで、放射が急激に強くなる
•例:絶対温度を20%上げる(だいたい27℃→87℃くらい)と、同じ面積で約2倍の熱を捨てられる
•つまり、放射パネルを半分の大きさ・軽さにできる
これがマスクが言っているポイントです。
地球と宇宙の違い
•地球:チップをできるだけ冷やした方がいい(寿命が延びる、性能も安定する)。
冷却のために大量の電力や設備を使っている。
•宇宙:チップをある程度熱く動かした方が有利。
放射パネルが軽くなる分、ロケットで打ち上げるコストが大幅に下がるから。
だから「宇宙用のチップは、地球より高温(100〜120℃くらい)でも平気で動くように設計した方がいい」という提案になります。
補足
•ニューラルネットワーク(AIのモデル)は、放射線でビットが少し反転しても意外と影響が小さい。
•完全に自由なわけではなく、チップの寿命や放射線対策、熱の運び方などの課題はある。
要するに
宇宙では「冷やす」より「熱くして効率よく放射させる」方が理にかなっている、という直感に反する話です。
物理学的には正しい指摘です。
すごい。
この会社はこれだけでヒーロー枠に入るかも。。
これだけ開示してくれるのはありがたいが生々しいな…ひたすら胃が痛くなる(ちゃんとエンジニアがいるんだなあ)
「侵入経路塞いだが、バックドアから……」不正アクセス105時間の攻防、分単位で報告 防災メールのアルカディア - ITmedia NEWS itmedia.co.jp/news/article/2…
中嶋 謙互 retweeted
Hands-on with our tiny acoustic camera #SoundRay64: watch sound appear on screen — yes, even ultrasound!
























