Pinned Tweet
日本語LLM-as-a-Judge評価を統一的に扱うことのできるツール『llm-jp-judge』の提案とそのメタ評価を行った論文がNLP2025優秀賞を受賞しました。今後とも改良を続けていく予定なので、どしどし使っていただけると嬉しいです。#NLP2025
論文
anlp.jp/proceedings/annual_m…
ツール
github.com/llm-jp/llm-jp-jud…
対応行を書き換えるより取り除いてしまったほうが計算量も削減できてエコ。
「自分の関節を误って攻撃してしまう病気」
みたいに、Qwen3.8 Flash Nextの日本語の答えに混ざる中国語(27%)を、出力層の書き換えだけで0にできました。他の重みは変えていません。MacとKestromで再現できます。
という記事です。
zenn.dev/caphtech/articles/q…
251
Kouta Nakayama retweeted
EACL 2027 Findingsに採択されました!
広範な文書種別・リアルな質問での評価を追求した、日本語視覚文書理解ベンチマーク(Omni-JDocVQA)に関する研究です。
例年好評です。是非に。
コーディングエージェントをテーマとするLLM-jpチューニングコンペティションの参加受付を開始しました!
参加申込締切は11月20日(日本時間)です。計算資源の貸与を希望するチームは、参加登録と併せてお申し込みください。
詳細・参加登録はこちら:llm-jp.github.io/tuning-comp…
5
458
Kouta Nakayama retweeted
コーディングエージェントをテーマとするLLM-jpチューニングコンペティションの参加受付を開始しました!
参加申込締切は11月20日(日本時間)です。計算資源の貸与を希望するチームは、参加登録と併せてお申し込みください。
詳細・参加登録はこちら:llm-jp.github.io/tuning-comp…
今年もチューニングコンペの運営をリードします。現在、計算資源の貸与を調整中です。
前回まではコンペのタスクが2つありましたが、今回はあえて1つのチャレンジングなタスクに絞りました。参加お待ちしてます🙏
昨年度に引き続き、LLM-jpではチューニングコンペティションを開催します。
今回のテーマはコーディングエージェントです。
参加募集は11月2日に開始予定です。希望するチームへの計算資源の貸与も予定しています。
詳細は以下のページをご覧ください。
llm-jp.github.io/tuning-comp…
13
963
Kouta Nakayama retweeted
【日本語評価データセット2件を公開しました!】
llmc.nii.ac.jp/other-dataset…
LLMの安全性・公平性の向上に向けて
◆ BiasCLASP
「法令と判例に基づく社会的バイアス評価データセット」
◆ JSocialFact2
「偽・誤情報に関連する質問にLLMが適切に回答できるかを評価する日本語ベンチマーク」
詳細・利用条件は下記からご覧ください。
llmc.nii.ac.jp/other-dataset…















