ML competition enthusiast / Kaggle Master / MSc in Health Data Science, UNSW Sydney / PhD student / MD and Diagnostic Radiology Fellow in Japan / RA at NII
Joined January 2019
- Tweets8.5K
- Following3K
- Followers3.1K
- Likes98.5K
既にwikipediaや検索頻度は調べられているけど、学習コーパスへの混入の影響が強そうなので、Common CrawlとかPMC OAとかの大規模ウェブコーパス内の登場頻度とかと比べたら何となくクセがわかりそう？
【Nature Health論文掲載】
生成AIの薬剤推奨は中立か？
5つのLLMで約17.7万の模擬症例を検証。同じ有効成分の複数製品があるにもかかわらず、第一推奨は平均97.5%が特定の1製品に集中しました。
先発品への強い偏りも判明。医療AIの「商業的中立性」を問う研究です。
nature.com/articles/s44360-0…
自分も見習って、このラベルを使って追試してみた。
チームのパイプラインのうち、自分のものだけを使用。
private: 0.949 → 0.955
public: 0.963 → 0.967
７位の方、凄すぎる。
pseudo labelingが自分は序盤に効かなくて投げてしまったけど、gold 58では改善凄かったので、もっと詰めればと反省…
yyama retweeted
✏️ニュースリリース
国産医療LLMと3万例規模の疾患因果ダイアグラムを統合した医療AIエージェントを開発～医師国家試験ベンチマークで90％超を達成した「SIP-jmed-llm-4」を活用、医師向け試験公開へ～
nii.ac.jp/news/release/2026/…
大学共同利用機関法人情報・システム研究機構 国立情報学研究所を中心とする研究チームは、SIP「統合型ヘルスケアシステムの構築」の支援のもと、国産医療LLM「SIP-jmed-llm-4」を開発し、医師国家試験ベンチマーク「JMedQA」において90％を超える正答率を達成しました。さらに、疾患因果ダイアグラムに基づく症例知識グラフを外部ツールとして参照する医療AIエージェントを開発し、知識グラフを参照しない場合と比べて、鑑別診断（症状や検査所見から考えられる複数の疾患を挙げ、比較して絞り込むこと）の性能が向上することを確認しました。
今年の筆頭著者としてのジャーナル論文は１本しか出してないのに、３本が同時にrevisionになっているのは計画性がなかったとしか言えない…
それを博士論文の時期に被せているのも運が悪いとしか言えない…
yyama retweeted
【LLM-jpの医療分野での活用】
LLM-jp-4を基盤とする国産医療LLM「SIP-jmed-llm-4」が、医師国家試験ベンチマークで正答率90％超を達成。約3万例の症例に基づく知識グラフと組み合わせ、鑑別診断を支援する医療AIエージェントを開発しました。
nii.ac.jp/news/release/2026/…
この一連の騒動を見ていると、インフルエンザの軽症例をそもそも大学病院で診てもらうメリットが患者側にないことを周知した方がいいのでは… と思ったりする。
(インフルエンザは結果論なので、基礎疾患によって、普段から通院してる総合病院等に電話相談はありと思いますが)
某議員が慶應病院を受診したことが燃えてるけど受診したこと自体は外野がとやかく言うことではない
・以前から慶應に通院していた
・事前に電話して受診していいか確認した
・病院側がOKを出した
患者と病院の双方が合意してるので手続き的には何ら問題ない
問題なのは受診したことじゃなくてそれをSNSに投稿したこと😓
普通の患者さんが夜に軽症で大学病院に電話したとてすぐ診てもらえない
そこで議員が「電話したらすぐ診てくれた」って発信したら「議員だから」が透けて見える
特権階級を発動させたと取られかねない発信をしたことが公人として軽率だったかなと🙇♀️
受診したのは全然悪くない
発信の仕方が良くないという話
しかし来年のRSNAのタスク設計が今年と同じなら、辛すぎたので絶対に出ない…笑
と思いつつ、これまでの設計としてもROI検出とかスライス単位のリッチなアノテーションはフロンティアモデル使うと強いって、普通にありそうなんだよなあ…
モデルはダメかもだけど、ラベルの公開はOKそう？笑
ちなみに強化学習などの規定は最近追加されたっぽくて勉強になった。
Claudeは思ったより寛容で驚いた。結構、蒸留を許してくれるんだな。(ROI detectionモデルを公開しちゃったが許されそう)
support.claude.com/en/articl…
RSNAのソリューションのポストを見ながら、それって蒸留では？と疑問に思ってたが、OAIの規約をよく見るとモデルが第三者に配布されず商用利用されなくて、分類タスクに使うケースは許可された例外らしい。
コンペ参加してないのに勉強になった。
openai.com/ja-JP/policies/us…
