@4wavetech

音声合成を勉強しています。歌声合成に特に興味があります。音声合成に関わる全ての人に尊敬と感謝を。業界の外の人ですが、絡んでくれると喜びます。

github.com/wavtechyukky
Joined February 2022
  • Tweets1.1K
  • Following391
  • Followers751
194Media
新しい歌声合成ソフトを公開しました！　インストール、GPU不要で、あなたのCPUとブラウザで軽快に動作するフル機能のSVSです(Chrome推奨)。ページにアクセスしてすぐ使えるので、ぜひ触ってみてください。 wavtechyukky.github.io/vocat…
12
403
31
2,023
78,063
重音テト…、嘘だよな…？
5
中国語の歌声データセット、沢山あるのだけど、ACV以外どれもピンイン表記なので諦めてピンインで学習させようと思ってる。XSAMPAやIPAの方が絶対に優れてはいると思うのだが…。
2
3
668
bilibiliのDeepSeek娘の歌声合成モデル(DeepSeekの読み上げ音声を学習させてる)、違法すぎるという問題はあるのだけど完成度高くて驚いてた。教師データどうしたんだと思ったが、DeepSeekには読み上げ音声を歌わせるというハックがあるらしい(ChatGPTやGeminiだとできなかった)。
2
30
2,113
ゆっきー@音声合成 retweeted
강쿠로@Yh_evil17h
github.com/geujang/OTONova/r… OTONova 업데이트 했습니다! VC 수식 수정, UI를 개편하였고, 가수 파일 수정하여 압축, 내보내어 오픈우타우에서 바로 쓸 수 있게 3단계를 추가했어요! 피드백 받아서 UI 개편했으니 피드백 편히 주시면 감사하겠습니다!

Release OTONova V2.0 · geujang/OTONova

OTONova V2.0 Windows x64 설치 마법사와 macOS Apple Silicon(arm64) DMG를 함께 배포합니다. 제작: KURO. V1.5 이후 변경 사항 원설 규칙과 편집 일반 VC 오프셋을 앞 모음 구간의 3/4 위치로, 오버랩을 오프셋→선행 구간의 1/4 위치로 변경했습니다. 별도 CC 규칙은 유지합니다. 먼저 각 패턴의 ...

github.com
5
13
344
ゆっきー@音声合成 retweeted
ゆうすけ
@yusuke_kizuna23h
ゆっきーさんのモデルにテンションがあがってしまい、諸々のパーツをお借りして、ゼロショット版SVSの開発を始めた。まだ声の類似度は足りないけど、可能性を感じる....! モデルサイズは全パーツで約4Mパラメータに減らして、ESP32-S3で動かせるようにする予定です。
ゆっきー@音声合成@4wavetechOct 24
新しい歌声合成ソフトを公開しました！　インストール、GPU不要で、あなたのCPUとブラウザで軽快に動作するフル機能のSVSです(Chrome推奨)。ページにアクセスしてすぐ使えるので、ぜひ触ってみてください。 wavtechyukky.github.io/vocat…
1
7
32
1,809
データセットを揃えて適当にポチポチしたら歌声合成用のモデルができて、完璧なSVSにインストールできる、というのがあったら理想だと思うのだけど…。今のところ1話者だけ欲しい場合でも多話者モデルにした方がいい場合が多いと思うし、言語によっては十分データを確保できない。
1
17
925
ゆっきー@音声合成 retweeted
黒猫大福@roku10shiOct 24
UTAUプラグインの需要を調査するためのフォームを作成した docs.google.com/forms/d/e/1F…

UTAUプラグイン調査

最初の説明 「黒猫大福」による個人の活動です。 サービス終了する、uploaderjpで配布されいるプラグインやサイト閉鎖、サイトがセキュリティによりアクセスできないなど 需要のあるが利用できないプラグインを調査し維持、情報共有する活動です。 今後、第三者へ情報を提供します。 下記の順番で回答してもらいます。 uploaderjp 個人サイト クラウドストレージ 新規プラグイン要望...

docs.google.com
1
22
1
54
5,315
ご感想、不具合報告、ご要望などは気兼ねなくお寄せください。現在3人のシンガーが使えます。DB製作者の皆様いつもありがとうございます…！
1
2
11
4,166
github.com/wavtechyukky/voca… SVS自体のソースコードはこちらをご参照ください。GitHub Pagesから開けるのはエンジン部分もTypeScriptのバージョンですが、より高速なPython版も同梱されており、開発者の方にとって何かしら参考になることを願っています。

GitHub - wavtechyukky/vocatab: Full-featured singing voice synthesis, running in your browser.

Full-featured singing voice synthesis, running in your browser. - wavtechyukky/vocatab

github.com
6
14
2,875
男女混合でひとつのF0モデル、音響モデルを学習しているので、弊モデルの方が得意音域は広いと思います。入力するF0と音量がリアルなら、音響モデルの品質はたしか同じくらいのはず…。
あきゆき（REJNO）
@rejno_kkOct 24
すげえ 比較としてDiffSinger
5
19
1,857
ゆっきー@音声合成 retweeted
uthree@UThree271828Oct 24
github.com/uthree/auris-stud… Auris Studio v0.10.0 をリリースしました。 エージェントパネルからCodexやClaude Codeを使って作曲ができるようになりました。

Release Auris Studio v0.10.0 · uthree/auris-studio

Downloads File What it holds …-macos-universal.dmg Drag Auris Studio.app to Applications; CLI and MCP are inside the app …-windows-x86_64-setup.exe Per-user installer for the desktop, CLI ...

github.com
2
1
263
ソラミミックビデオを更新しました！ ・歌声合成を高速化 ・伴奏なしの歌声WAV、楽譜（MusicXML）・歌詞入りMIDIの保存に対応 ・スマホなど不安定な回線でも音源をアップロードしやすく video.soramimic.com/

Soramimic | 替え歌動画メーカー

曲と単語リストを選ぶだけ。空耳で置き換えた替え歌動画を作れます。

video.soramimic.com
1
1
2
158
ブレス(息継ぎ)入れ機能。左クリックでリテイク、右クリックで削除。
4
1
40
1,780
ゆっきー@音声合成 retweeted
uthree@UThree271828Oct 19
Auris Studio v0.9.0をリリースしました。 github.com/uthree/auris-stud… 同梱のサウンドフォントを廃止し、独自実装の物理モデル音源を追加しました。

Release Auris Studio v0.9.0 · uthree/auris-studio

Downloads File What it holds …-macos-universal.tar.gz Auris Studio.app, auris, and auris-mcp — Apple Silicon and Intel universal binaries …-windows-x86_64.zip auris-studio.exe, auris.exe, ...

github.com
1
2
9
492
歌声合成用の音響モデルLeapSingerを更新しました！　GANの廃止、reverse step前の擬似melの最適化、reflowの導入などにより、RTFはそのままに、より話者再現度の高いmelが生成されます。 github.com/wavtechyukky/Leap…
ゆっきー@音声合成@4wavetechAug 29
歌声合成用の音響モデルを公開しました！ ・高精細なmelを生成できながら、1コアのCPUでRTF0.03を切ります。 ・歌声合成への適性を考慮し、入力したF0に完全に忠実で、周期的成分を鮮明に描画します。 Releaseに学習済みのモデルを公開しています。DBの製作者様方に感謝…！ github.com/wavtechyukky/Leap…

GitHub - wavtechyukky/LeapSinger: Fast singing-voice acoustic model: harmonic + noise excitation...

Fast singing-voice acoustic model: harmonic + noise excitation refined into a mel by a 1-step rectified flow (bundled NHVSing vocoder). Multi-speaker + style control; ONNX/OpenUTAU export. - wavtec...

github.com
1
14
1
51
3,925
ちなみに、最近たまに見せてるSVSはすでにLeapSinger V2になってます。
ゆっきー@音声合成@4wavetechOct 19
自作SVSの進捗。CPUでも軽く、高速にブラウザで動作します。GitHub Pageから無料で開放する予定です。パラメータのカーブによる調声やAIリテイクなど、高度な機能を備えています。そして何より、独自のF0モデルや音響モデルにより、デフォルトでもかなり歌が上手いです。興味を持っていただければ…！
1
348
調声パネルの動作。色んなソフトを参考にした。実際に調声やってる人の意見を聞きたいところだが…。
2
3
1
31
1,538
完全にCPUで駆動する前提で作っていたけれど、GPU環境ではGPU使ったライブラリに比べた遅さが気になってきますね。GPUで使うためのガイドなどがあっても良かったかもと反省…。
しまじろう@はかせちゃれんじ@shimajiroxyzOct 19
ソラミミックビデオで使っている、VOICEVOXとPrettyPitchを組み合わせて、いい感じに歌声合成する方法について記事にしました！ 【歌声合成】VOICEVOXの苦手音域をPrettyPitchでカバーする qiita.com/shimajiroxyz/items… #Qiita

【歌声合成】VOICEVOXの苦手音域をPrettyPitchでカバーする - Qiita

背景 歌詞やメロディから動画を生成するSoramimic Videoで、VOICEVOXの歌声合成を使っています。VOICEVOXはライセンス面で利用しやすく、環境構築も簡単で、歌声の品質も気に入っています。 一方、実際にいろいろな曲を歌わせると、音域によって音程が外れた...

qiita.com
2
6
1,180
Load more