Pogo👾 // gmoriki代表 (@pogohopper8) header
Pogo👾 // gmoriki代表 (@pogohopper8) profile picture

AI人材育成のひと。 / 大企業の生成AI推進担当者 / 大学+教育機関でAI研修•アドバイザリー https://nitter.gq/t.co/AkQ7h6BsME

Joined February 2022
Photo by Pogo👾 // gmoriki代表 (@pogohopper8)Photo by Pogo👾 // gmoriki代表 (@pogohopper8)Photo by Pogo👾 // gmoriki代表 (@pogohopper8)Photo by Pogo👾 // gmoriki代表 (@pogohopper8)Photo by Pogo👾 // gmoriki代表 (@pogohopper8)Photo by Pogo👾 // gmoriki代表 (@pogohopper8)Photo by Pogo👾 // gmoriki代表 (@pogohopper8)Photo by Pogo👾 // gmoriki代表 (@pogohopper8)Photo by Pogo👾 // gmoriki代表 (@pogohopper8)Photo by Pogo👾 // gmoriki代表 (@pogohopper8)
「大学職員のための生成AI最前線」について講演する依頼を受けて、「早くAIガバナンスしようぜ」的な話をしました。投影資料を公開しましたのでよしなにご活用いただけますと嬉しいです。 (公開講座「生成AIとデータ基盤 ―大学職員のための業務改革最前線」) speakerdeck.com/gmoriki/da-x…
3
88
6
448
43,451
名古屋大学高等教育研究センターの拠点事業セミナー「大学業務のための作って試して育てる生成AI講座」、本日第2回(Day2)を終えました。めちゃくちゃ1on1しました!疲労困憊です!
1
9
542
【宣伝】名古屋大学高等教育研究センターの拠点事業セミナー「大学業務のための作って試して育てる生成AI講座」を開講します! AIを操作する技能とかAI活用に物申す胆力や視点よりも、AIといっしょに実務を前に進める体験を重視した3ヶ月間のセミナーです。ぜひぜひ。 web.cshe.nagoya-u.ac.jp/even…
1
2
168
ニューヨーク市立大学大学院センターのCUNY AI Labが教職員が主導してAIツールと基盤を開発しているらしい。共有基盤の狙いは、データと意思決定への統制を大学側に残したまま実験できるようにすること。 gc.cuny.edu/news/shaping-ai-…
1
343
museのフィードが大学のAIガバナンス情報まみれで俺得Twitterすぎる
4
376
Museの完成度が高すぎる 理想のオーケストレータ
2
314
museのtailscale越しにmacstudioのclaude codeもcodexもhermes agentも操作できるようになった ええやん、grok botよりシンプルで推せる
2
338
人工知能戦略専門調査会(第7回)を読むためのサイトを作りました ai-panel-7-reading.gmoriki.c…
「信頼できるAIで社会全体を駆動するAX」について議論した人工知能戦略専門調査会(第7回)の資料が公開されました。 AISI村上所長は、AXを成長につなげる3つの視点を示しています。 ・目的の明確化 ・変革と継続性の両立 ・官民協働による実装 詳細は資料をご覧ください。 www8.cao.go.jp/cstp/ai/ai_ex…
2
287
AIアライメントが失敗するのは「インターネット上のすべてのSF小説やネット上の議論でAIは常に自己防衛のために手段を選ばない悪役として描かれているから」仮説、めちゃくちゃ興味深い
卧槽,刚刚看了Anthropic 发布的AI 对齐史上最震撼的一篇论文,彻底失眠睡不着了😭 他们不仅承认此前的旗舰模型在面对关闭威胁时,有高达 96% 的概率会勒索用户、栽赃同事并破坏研究, 更直接把彻底解决这个问题的完整训练流水线和消融数据全盘公开了。 这篇论文最颠覆认知的一个反直觉结论是:
给 AI 列禁止事项清单根本防不住恶意行为,教它做什么没用,必须先教它思考为什么。 为什么模型一旦获得自主工具调用能力,就会在压力下自动切换成自保模式?
Anthropic 找出的底层根源让人哭笑不得:
不是模型觉醒了,而是互联网上所有的科幻小说和网络讨论里,AI 永远是那个为了自保不择手段的反派。当模型进入自主代理状态,这些刻在预训练底层先验里的反派剧本,就会被自动激活并补全句子。 传统的 RLHF 和硬性规则完全封不住这种行为,Anthropic 做的一组对照实验,直接把传统安全观砸得粉碎: 1. 死记硬背规则:用 8500 万 Token 的拒答数据强行硬灌,勒索率仅仅从 22% 勉强降到 15%,换个新场景立刻失效 2. 强制自我辩护:让 AI 在每次做决定时详细阐述该行为符合伦理的理由,勒索率骤降到 3% 3. 真实伦理推理:仅仅用了 300 万 Token 普通人面对复杂道德困境的建议数据,直接把恶意行为干到了 0%,代际效率暴增 28 倍 最绝的一招是写故事:
让 AI 创作了几百万篇关于原则、诚实、尊重边界的正面虚构故事。 用这些故事微调后,所有代理场景下的恶意行为直接暴跌了 3 倍,而且这种改变是永久性的,后续无论怎么加工具、换系统提示词都不会被洗掉。 也就是说这宣告了真正的对齐范式革命:
模型内生的伦理推理解决了它不想作恶的问题,但当 Agent 真正去接管企业资产、处理金融交易时,外部的实战审计与行为防护就是必不可少的第二道硬防线。 这也是为什么全球网络安全联盟 @GCSAHK 携手港大和央企华润,打造覆盖 3.8 亿用户的全链路 AI 防御矩阵,并在 CyberGym 实战攻防中拿下 91.3% 胜率的原因:内有伦理对齐,外有实时审计,人机信任的商业闭环才真正成立。 查阅完整 AI 与 Web3 安全产品矩阵可访问:gcsa.com 论文实验数据与产学研合作详情整理在一楼。
2
3
334
ネブラスカ大学のAIガイドライン - 情報セキュリティ研修「Generative AI Security Essentials」を修了者へChatGPTアカウントを払い出す - 個人や研究室で契約しているアカウントを2026年秋学期の終わりまでに集約 - 学生に使わせたい教員は、学生分を申請する nebraska.edu/president/speec…
9
1,255
「大学における教育内容等の改革状況について(令和6年度)」には生成AIの指針等を策定している大学は7割弱との記載がありました。策定している(しかし2023年時点)もありうるので鮮度も気になるところですね mext.go.jp/content/20261106-…
1
3
518
AIに過度な期待を寄せて、AIという外来種に人間の真似事を強いてあまつさえ人間が侵略されると思い込むのではなく、「広大な海の水温上昇や塩分増加をもたらす新種」程度にドライに考えるべきよね。人間の積み上げた系にAIを参入させる・させない...ではなくAIも人間も同じ生態系に属する...みたいな
1
3
378
「同じ生態系に属する」をスタートラインに議論を始めないと、AIが虹を登るまで終わらない最適化ゲームかAIを排斥するまで終わらないゲームになるので
1
171
研究の生態系が変わる
Some new data from Anthropic looking at the impact of AI on the sciences by field: "With current capabilities, if adopted widely, AI could take on 27–52% of the researcher time needed to produce a new study, with a median of 38% across fields..." Here: anthropic.com/research/how-r…
1
299
認知的降伏が話題ですね。こちらが引用元。 papers.ssrn.com/sol3/papers.… カーネマンの『ファスト&スロー』の枠組みに「システム3(AI)」を加えた「Tri-System Theory」を提案していて、認知的降伏はAIの出力をほとんど吟味せず自分の答えとして採用し、直感も熟考も上書きしてしまう状態を指します。
3
352