D3 @tohoku_nlp | Visiting Research Student @cambridgenlp | Interests: V&L/NLP On the job market 💼 (共著) 📘マルチモーダルモデル入門 https://nitter.gq/t.co/3sJgTniF2s
Cambridge, England
Joined October 2018
- Tweets270
- Following828
- Followers510
- Likes5.4K
Pinned Tweet
ありがたいことに、錚々たる著者陣の中に、若輩ながら加えていただきました。
大規模視覚言語モデル (LVLM) の章を担当しています。
LVLM が画像をどのように扱い、どのように学習・評価されるのか、その全体像をつかんでいただける内容になっているかと思います。ぜひご一読ください！🙏
【新刊】2026年9月28日発売『マルチモーダルモデル入門』本体3,600円+税，栗田修平，品川政太朗，柳凜太郎，塩野大輝，高道慎之介，仁泉大輔，中村友彦，八木拓真，篠原崇之 著，コンピュータが世界を理解するしくみgihyo.jp/book/2026/978-4-297…
Daiki Shiono retweeted
#NeurIPS2026 What does projector training actually do in multimodal LLMs and can we skip it while retaining most downstream performance?
We investigate its role and find that it mainly provides coarse alignment. This insight led us to PORTAL 🌀: a training-free projector initialization requiring no paired captions and no gradient updates. Skip projector training stage entirely, then proceed with multimodal instruction tuning.
Across 16 benchmarks, PORTAL 🌀:
• Beats the standard 558k-pair pipeline in 3 of 7 model configurations.
• Reaches an average 98% of its score in the other four.
• With a little projector training, matches the baseline with 135x fewer alignment FLOPs.
Proud of my students @FabianGroger, Naël Ouerghemi and @ShuoWen18 for this work!
Paper: arxiv.org/abs/2610.18598
Webpage: brbiclab.epfl.ch/projects/po…
Code: github.com/mlbio-epfl/PORTAL
Daiki Shiono retweeted
書きました
『AI が何でも教えてくれる時代に、教科書を書いてしまった 』
ryokan0123.github.io/ja/blog…
Daiki Shiono retweeted
今、QueeenBでかなり力を入れているのが、研究者の実験手技をロボットに学習させるところです。
人の動きを見て、双腕ロボットが実験操作を学ぶ。
将来的には、実験が変わるたびに全部プログラミングし直すのではなく、データからどんどん動作を学べるようにしたいと思っています。
このあたりを一緒に作るAI・機械学習エンジニアを募集中です！
ロボット × 実験自動化、面白そうと思った方ぜひ！
queeen-b.com/careers/ai-ml-e…
Daiki Shiono retweeted
Acompany、東北大学言語AI研究センターと共同研究を開始しました。
東北大学の鈴木潤先生を始めとする皆様が持つ言語AIの知見をお借りして、AIエージェントの振る舞いの安全性・信頼性について技術を深めてまいります。
本共同研究を通して、「秘密を守れるAI」の実現を加速してまいります。
📢プレスリリース公開のお知らせ📢
東北大学言語AI研究センターと共同でAIエージェントの安全性・信頼性に関する研究を開始 acompany.tech/news/26-1002-1
#Acompany
Daiki Shiono retweeted
📢プレスリリース公開のお知らせ📢
東北大学言語AI研究センターと共同でAIエージェントの安全性・信頼性に関する研究を開始 acompany.tech/news/26-1002-1
#Acompany
Daiki Shiono retweeted
最近 @Masakichi333210 が取り組んでいる自然言語指示に従うE2E自動運転モデルです！完全自動運転では、単に公道を目的地に向かって走るだけでなく、私有地や駐車場での振る舞いを含むあらゆる動作を実現する必要があります。自然言語指示はそのための柔軟なインターフェースとなると期待しています！
【走行実験公開】人間の言うことを聞く「自然言語指示モデル」
「駐車場に入って」「発進してください」「前の車を追い越して」。 人間の言葉による指示で車を動かす、チューリングの自然言語指示モデルの実験風景を公開しました。
▼全編動画はこちら
youtu.be/LajfAYAL-Sw
Daiki Shiono retweeted
『マルチモーダルモデル入門』を頂きました。
先日発売したばかりの注目の一冊です。
視覚言語に始まり、音声、動画、三次元、と様々なメディアを扱う最新技術が詰まっています。
もくもく読んで復習していきます！
Daiki Shiono retweeted
『マルチモーダルモデル入門』PDF版発売 gihyo.jp/dp/ebook/2026/978-4… #gihyodp
Daiki Shiono retweeted
本日発売の「マルチモーダルモデル入門」をお贈りいただきました。
TransformerとLLMの知識を足場に、視覚-言語などマルチモーダルモデルの構造、性能を左右する学習要素、トークンの内部分析、ベンチマークや自動評価までを体系的に学べます。音声・動画・3Dにも広がる、実務としても頼れる一冊です
Daiki Shiono retweeted
9/14テスト販売『#マルチモーダルモデル入門』#技術評論社 （9784297158361）#栗田修平 #品川政太朗 #柳凜太郎 #塩野大輝 #高道慎之介 #仁泉大輔 ほか著 ◆「#人工知能」棚にて展開中!画像や音声、動画など複数の異なるデータを扱う #マルチモーダルモデル の基礎知識からその仕組みまで体系的に解説!
Daiki Shiono retweeted
“Read or Ignore?” — our work on typographic-attack robustness in VLMs is coming to #ECCV2026 @eccvconf! 👀
🗓 Sep. 10, 10:30 AM CET
📌 MalmoMassan, Exhibit Hall — Poster #387
🖼️ Poster Session 1
If you’re interested in VLM robustness, please stop by! 🇯🇵
🎉 My first-author paper has been provisionally accepted to #ECCV2026!
Work done at Turing Inc.
Congrats and huge thanks to all my co-authors 😀
@shojiro_yamabe @onely7_deep @kento_sasaki1 @tsubasashi
arxiv.org/abs/2512.11899
Daiki Shiono retweeted
チューリング、9/8~9/12にスウェーデンで開催されるECCV2026で、1件の発表を予定しています。
VLMは紛らわしい看板/標示にだまされやすいのですが、「読むべき」と「無視すべき」文字を同じ画像で評価することで、新しい評価と改善を実現した研究です arxiv.org/abs/2512.11899
Daiki Shiono retweeted
土日は情報科学若手の会に参加してました！いろいろ面白い話が聞けて良い会でした。登壇資料↓
speakerdeck.com/miwa_keita/k…
Daiki Shiono retweeted
10月22日に『イラストで学ぶ 自然言語処理』という本を出版します。
現代的な視点から、LLM を中心に据えた教科書を目指しました。
本を書く中で考えたことや、制作の裏話なども、これから少しずつ紹介していこうと思います。
hanmoto.com/bd/isbn/97840654…
Daiki Shiono retweeted
と言うことで、LLM開発の若手やインターンを募集しております！
nitter.gq/issei_y/status/2085624…
チューリングでは最近自然言語instructionを使ったe2eモデルの制御に取り組んでいます。e2eモデルへのinstructionを制御するLLMの学習に興味があるインターンを若干名募集しています。興味あるかたは私に直接DMをするか、こちらのURLからご応募ください！
herp.careers/v1/turing/BvH7U…
Daiki Shiono retweeted
[1/7] 🚨 We're releasing LAION-BVD: a 10-million-hour open video dataset for multimodal pre-training.
- 1.3B video URLs from CommonCrawl
- 80M downloaded videos
- 10M video hours
- 55M captioned clips
- 300M frame-caption pairs
🌐: projects.laion.ai/bvd/
🧵👇
