■画像生成AIで流行ってることをお前に教える2(階層マージ・LoRA編)

前回：anond:20221129215754

前回の投稿から状況がめまぐるしく変わっている。

前回紹介したAnythingv3を投稿者が削除したり関係の無い第三者がAnythingv4や4.5を勝手にリリースしたり…(しかもマージモデルだとか)

増田も追いかけきれていないが追いかけてるぶんは自分のためにここでまとめておく。

基本モデル

NAIリークモデルやAnythingv3に関しては前回を参照。

インスタモデル

Instagramで投稿されている画像を学習させたモデルの総称。

実在の人物画像を学習しているため人物の体型をより正確に描画させることができる。

cafe-instagramやzeipher-f222など複数存在し、Basil_Mixのようなアジア人に特化したものも存在する。

後述するマージモデルのベースの一つ。

マージモデル(階層マージ)

モデル同士を混ぜるマージモデルに進展があった。

U-NETの階層ごとにマージを行う階層マージというマージ手法が考案されたからだ。

これにより実写モデルをベースに見た目をアニメ風にマージするという方法が採れるようになった。

流行っているモデルのシリーズを二つ挙げてみる。

AbyssOrangeMixシリーズ

5chなんU(なんJもしくはなんGのパートスレ向けの板でVIPに対するパー速のような板)の住民が作成した階層マージモデル。

現在はBasil_MixとAnythingv3を階層マージしている。

このモデルには派生版があり、nsfw版やhard版は上記マージモデル(通称base)にNAIリークモデルやGape60を混ぜたものらしい。

Gapeについては前回の記事を参照。

NAIのように長いネガティブプロンプトを設定しなくても綺麗な絵を出すことができる。

7th_layerシリーズ

リアルよりになったAbyssOrangeMixを漫画アニメ向けにファインチューンしたモデル。

Abyss→深界七層(メイドインアビス)→7th_layerということらしい。

アニメ寄りなA、漫画寄りなB、より漫画寄りで破綻しやすいCの三種類がある。

Anything系のような中華で好まれる独特の厚塗りではなく比較的パキっとした塗りの絵が出るので個人的には一番好き。

他にもいろんなマージモデルがあるが、だいたいがNAIリークモデルやAnythingv3と実写系モデルを混ぜたりそれにファインチューンをかけたりしたモデルだ。

Anythingv3もNAIリークモデルがベースだからなんだかんだいってNovelAIが作ったモデルはまさに特異点的な存在なのだろう。

LoRA

Low-rank Adaptation for Fast Text-to-Image Diffusion Fine-tuningの略で、

Dreamboothの簡易版のようなものとされているが実はDBとは似て非なる技術らしい。

DBよりも短い時間かつ省メモリの環境で学習が可能で、生成されるファイルも30～200MB程度とHypernetworkとそこまで変わらず一定以上のクォリティで追加学習を行えるようになった。

何よりもVRAMが8GB程度のグラボでも学習できるようになったのが大きい。

現在は目的ごとに大きく分けて3種類のLoRAがある。

Style

特定の作者の画像を学習させることでその画風を再現するためのLoRA。

従来はHypernetworkで行っていた。

Concept

特定のものやこと(例：ふたなり)を学習させるためのLoRA。

NovelAIやその派生モデルでは困難だった種付けプレスや断面図などの構図の再現が可能となった。

Character

キャラクターを再現するLoRA。

従来は主にDBで行っておりモデルの配布に苦労していたがLoRAによって配布が非常に楽になった。

なお、LoRAは同時に複数適用させることもできるため

「士郎正宗風の絵柄でふたなりのナンジャモ」という画像を生成することもできる。

またLoRAはHypernetworkのようにモデルを選ばないが、NAIリークモデルを学習のベースにすると破綻しづらいらしい。

というか今流行っているモデルはほぼNAIリークモデルの血筋が入っているので馴染みやすいんだろう。

そのほか

HuggingFace

https://huggingface.co/

アメリカの謎のベンチャー企業。通称🤗。

同社が運営しているHuggingFace HUBはユーザ登録すれば無料で無限にAI学習モデル(1ファイル2GB~7GB)をアップロードできる上回線も異常に高速であるため重宝されている。

モデルマージなどでストレージが圧迫されているローカル民にとっては救世主のような存在。

資金源は謎だが、2022年の5月に2億ドル調達しているのでストレージを無尽蔵に増やせるらしい。知らんけど。

SAFETENSOR

HuggingFaceが考案したモデルファイルのファイル形式。

実行コードを含んでいることもあり従来のckptモデルはしょっちゅうトロイの誤検出が起きていたが、

SAFETENSOR形式のモデルは実行コードを含まないため安全であるとされる。

🎈

スカトロ、転じてウンコそのもののこと。由来は割愛する。

Baloon_MIXというスカトロ特化のマージモデルもあるらしい。

Permalink | 記事への反応(0) | 20:50

ツイートシェア