Metaが日本でMuse出さないから、dots向けesp32デバイス作った。アリエクで10ドルちょい。 Muse Gadgets、楽しそうだけど、そもそも日本でMuse使えないので、週末にdots魔改造ってほどじゃないが・・。 コツは、前にも書いたSecure Tunnel MCPと、通常チャット返信に加え、デバイスには専用フォーマットで、会話の要約などを送らせること。これにより選択肢で答えられる質問なら、端末側ボタンで返しやすく。 またdotsらしさとして、dotsが作った自分だけのキャラ素材を取り込んで、この動画のように端末を傾けて、キャラを左右に歩かせたり。 以下、技術とプロダクトの要点をAIにまとめさせた。レポジトリURLはコメント欄に。 ────────── 【プロダクトとして何をするか】 普段のチャットを主な会話の場所にしながら、手元の端末には短い要約や質問を出す。長い説明はチャットで読み、ちょっとした返事は端末の画面ボタンでも返せるように。 この機種にはマイクがないので、入力はタッチによる選択肢に絞った。「はい／いいえ」だけでなく、Dotsが会話に応じた回答候補を送れる。端末で選んだ答えは、通常のチャットの続きに使われる。 キャラは飾りとして置くだけでなく、会話の要約を吹き出しで伝える役。傾きセンサーに合わせて左右に歩いたり。将来は独自フォーマットのJSON使って、dots側から表情の指示なども検討。 【通信とJSON】 ESP32から直接HTTPSでSecure Tunnel MCPへ接続する。ChatGPTアプリなどで中継させる必要はない。AIの処理はDots側で行い、端末は表示・センサー・入力を担当する。 Dotsには、通常のチャット返信に加えて、端末向けの要約や質問をMCPツールで送るよう指示する。JSONをチャット本文に混ぜず、ツールの引数として渡す。 質問の例： { "question_id": "drink-001", "text": "今飲むならどっち？", "choices": [ {"id": "coffee", "label": "コーヒー"}, {"id": "tea", "label": "お茶"} ] } 端末はこのデータから質問文と回答ボタンを表示する。選択肢は最大4つ、2つずつページ表示。質問文は左側でスクロールでき、回答ボタンは右側に置く。 回答には質問IDと選択肢IDを付けて返す。Dots側で該当する回答を取得し、会話を続ける。端末での操作と通信待ちを分け、回答の保存・再送とIDによる重複処理の防止を組み込んでいる。 なお、チャット返信と端末への送信は別の処理。真の同時実行ではなく、Dotsへの指示で両方を行わせる構成になっている。 【キャラと描画】 自分のDotsに、対応形式のスプライトシートと動作定義を用意してもらい、付属の変換ツールで取り込む。キャラごとに描画コードを書き直さず差し替えられる。 画像はRGB565＋アルファに変換・圧縮して、ESP32でアニメーション表示する。傾きによる移動はIMUの加速度から重力方向を求め、摩擦と減衰を加える。平らに置いたときは左側へ戻る。 日本語表示にはアンチエイリアス付きのフォントを使用。接続状態は小さなインジケーターにまとめ、画面の大部分をキャラと会話に使う。 【作る人向けに】 ここでの使用機種はWaveshare ESP32-C6-Touch-LCD-1.47。 320×172のタッチ画面とIMUを搭載。レポジトリにはファームウェア、Dotsへの指示テンプレート、JSON仕様、素材変換ツール、セットアップ手順を収録。自分のDotsとキャラで試せる構成にしている。