機械学習、プログラム、電子工作などの話題のアカウントです。 sd-scripts https://xitter.cf/t.co/05ZbhTqcfw

日本
Joined December 2022
Musubi Tunerに引き続き、sd-scriptsについても、AiHUB様からスポンサーシップをいただきました、重ねてのご支援に深く感謝いたします。ありがとうございます!  github.com/kohya-ss/sd-scrip…
2
4
1
59
103,043
moss-imageの仕様見ての思い付きはとりあえずこんな感じでおいとく。他にもいくつか別方向の考えは浮かんでるけどキリないんでここまで。 claude.ai/artifact/LzD9qc2Cy……まだ検証もなにもしてないmoss-image初見プレイ的な時点での思いつきだから実際どうかは分からんけど。
9
35
1,961
Kohya Tech retweeted
I made a simple motion capture app using FlowHMR, ExMR, and GVHMR! It supports basic foot locking and motion retargeting for characters with different body proportions. It also supports importing Mixamo .fbx, .pmx, and .vrm #mocap #ai github.com/toyxyz/toyxyz_RGB…
12
50
4
445
14,582
MOSS-ImageのControl LoRA、kv cache方式で実装してみたけど、concat方式の半分くらい、通常の+20%くらいで推論できるな。 それだけだとつまらないので、一緒にgateを学習してblock単位でon/offできるようにしたら、通常+10%くらいまで速くなった(;・∀・)
1
21
1,545
0.95でも相当細かいところまでできてるな……。
3
941
Kohya Tech retweeted
うん、よくわからんね
1
2
489
sd-scriptsにMOSS-Image関連の機能追加を行いました。 ・--timestep_sampling truncated_logit_normalをサポートし、MOSS-Image公式の学習時のtimestepを再現します。そこそこ分布が変わる(ノイズ寄りが多くなる)ので--show_timesteps imageなどでご確認ください。 ・timestep_sampling.offsetをshiftだけでなくtruncated_logit_normalやsigmaでもサポートしました。 ・RTX 3090(Ampere)でのConvRot INT8 Linearを高速化しました。単体で40%、学習全体でも2割程度速くなると思います。Blackwellでもわずかに高速化しています。 ・その他のいくつかの高速化を行いました。
6
38
2,365
Now thanks to community resources like gpu-unlock-ada or gpu-unlock-4080s. I successfully unlocked my 4090 on "Windows" system. All the details are released in github.com/KohakuBlueleaf/Ko… Plz check it out! xitter.cf/KBlueleaf/status/21137…
Confirmed that 3090 unlock is successful with 360watt power wall, I got 75T -> 135T (measured in Pytorch) Which is insane I used github.com/Zagitta/gpu-unloc… with commit a9b0c75
16
39
3
289
20,968
無料の画像生成AI「Moss-Image」がすごい 日本語も漫画も生成、商用利用OKの実力を試した 画像だけでなくテキスト表示など複雑な表現に対応した画像AIがオープンウェイトモデルかつ、自由度が高いラインセンスで登場しました。中国の行政からの大きな投資を受けています。 ascii.jp/elem/000/004/445/44…
2
39
9
268
35,999
Now I also confirmed that 2080ti unlock is successful with similar approach as the 30-series' method it reach nearly same speed as 350w 3090(locked) with only 250w in mmapeak and mamf-finder github.com/KohakuBlueleaf/Ko…
Confirmed that 3090 unlock is successful with 360watt power wall, I got 75T -> 135T (measured in Pytorch) Which is insane I used github.com/Zagitta/gpu-unloc… with commit a9b0c75
49
97
28
1,048
164,173
MOSS-Imageでペン画っぽい画像を出すのに苦戦していてプロンプト力の弱さを感じている(;・∀・) LLMと相談して、 The artwork is drawn in refined Japanese manga G-pen linework, expressive pressure-sensitive nib strokes, bold tapered outlines, thick-to-thin transitions, sharp flicking strokes, elegant fine details. Avoid heavy black fills, avoid rough sketchy strokes. Pure black lines on a white background, monochrome, elegant, polished, expressive, high-quality line art. で添付くらいまで来た。SFTは画風が固定されちゃうのでbase使用。
🤖 Made with AI
2
3
34
2,801
AnimaだとA highly detailed black-and-white lineart of Kagasaka Sonoha ~だけでこんな感じなのでドメイン特化の力を感じる……。 (でも絵としてはMOSSのやつも好き。) ちなみにMOSSでlineartだけの指示だと線に強弱のないほんとの線画になってしまう(;・∀・)
🤖 Made with AI
2
900
sd-scripts用にこのPRで入れました。devにマージ済みです。 github.com/kohya-ss/sd-scrip…
「MOSS-ImageでINT8 ConvRotの3090の推論が遅いんだけど調査してちょ」とClaudeに頼んだら、tritonのINT8 GEMM autotunerのデフォルト設定がAmpere向けに最適化されていない、って言われた。設定を追加したらINT8 Linearが7割、推論全体で3割くらい速くなった(;・∀・) スゴーイ
2
13
1,803
Confirmed that 3090 unlock is successful with 360watt power wall, I got 75T -> 135T (measured in Pytorch) Which is insane I used github.com/Zagitta/gpu-unloc… with commit a9b0c75
148
375
90
5,246
1,172,667
sd-scriptsのdevブランチでMOSS-Imageの高速化を進めてる。bf16は変わらないけどint8 ConvRotはcompile有効時に3割くらい速くなってbf16より速くなった。
2
25
1,939
\DGXじゃないよRTXだよ!/ 話題の新製品RTX Sparkコーナーが4階PCコーナーに誕生!早速MSIモデルを展示中 ウィンドウズ搭載でローカルAIから多目的に利用可能! ぜひ4階PCコーナーへお越しくださいませ。
1
3
4
2,870
Kohya Tech retweeted
Just trained a @MOSS_Global character LoRA for Evie from Stellar Blade: Blood Rain🤘🏻 Works perfectly across whichever styles MOSS-image supports - do a fashion photoshoot, turn her into Spider Girl, and more (gentlemanly prompts work too) Used @kohya_tech さん's SD-scripts on AMD Strix Halo (ROCm 10.0). The process took ~1 h 50 m for 21 images * 1000 steps Still optimizing the speed on Strix, expect a guide soon 🤗
2
2
3
1,375
sd-scriptsでMOSS-Imageで学習するとき、バッチサイズ2以上ならFlash Attentionを入れて--attn_mode flashにするか、思い切ってバッチサイズ1にすると速くなるかもしれません。
1
13
2,195
デフォルトのtorch(SDPA使用)だとバッチサイズ2以上でattention maskを使用するため。--split_attnを指定するとattention maskは使わなくなるけれど、--compileの効果が落ちる。Flash Attentionならどちらも避けられる。
1
3
850