まず入れておくべき拡張のa1111-sd-webui-tagcompleteに推奨するタグのレコメンド機能がある それに使われるCSVをデータベースに変換してこのタグはDANBOORUでなんだっけe621でなんだっけを検索できるようにした GitHub - NEXTAltair/genai-tag-db-tools 会心の出来というわけじゃないが日本語での検索にも対応してる探したい単語を含むタグとかをばばっと一覧で表示はできる
発表後、悪い意味で話題になってしまっていた画像生成AI「Stable Diffusion 3 Medium（SD3M）」に動きがありました。開発元のStability AIは、Weta Digitalの元CEOのプレム・アッカラジュ（Prem Akkaraju）氏がCEOに就任し、新たな資金も調達しました。これで組織として当座の危機は脱したと言えそうです。また、Stable Diffusion 3（SD3）のライセンスについての変更を打ち出してきました。果たして失われた信頼は取り戻せるでしょうか。 人気モデル「Pony Diffusion」開発者との対立 基本的な情報からすると、やはり、SD3Mはコケたと言っていい状況です。参考情報となりますがGoogleトレンドを見てみると、6月12日のリリース直後は1日で150万ダウンロードされるほど注目を集めていたものの、すぐにシュリンクしてしまって
画像生成AI関連の著名な開発者、lllyasviel（イリヤスフィール）氏が5月7日、生成AI画像の照明を自在に操作できるツール「IC-Light（Imposing Consistent Light）」を公開した。 2種類のモデルを公開 IC-Lightは画像の照明を操作するプロジェクト。前景画像（人物やオブジェクトなど）を入力し、プロンプトにテキストや背景画像を指定するだけで、まるで別の環境で撮影したかのような画像を得ることができるという。 現在、「テキスト条件付きリライティングモデル（text-conditioned relighting model）」と「背景条件付きモデル（background-conditioned model）」の2種類がGitHubで公開されており自由に試すことができる。 なお、作者のlllyasviel氏は「Stable Diffusion」のWebUIであ
英Stability AIは4月17日（現地時間）、画像生成AIの「Stable Diffusion 3」と「Stable Diffusion 3 Turbo」、AIチャットbot「Stable Assistant」を発表した。Stable Diffusionの新版はまだプレビュー段階だとしているが、開発者プラットフォームからアクセスできる。 Stable Diffusion 3に「Awesome artwork of a wizard on the top of a mountain, he's creating the big text "Stable Diffusion 3 API" with magic, magic text, at dawn, sunrise.」（夜明けに山頂にいる魔術師が、魔法で大きな「Stable Diffusion 3 API」という文字を日の出の光の中に
TL;DR: X-Adapter enable plugins pretrained on old version (e.g. SD1.5) directly work with the upgraded Model (e.g., SDXL) without further retraining We introduce X-Adapter, a universal upgrader to enable the pretrained plug-and-play modules (e.g., ControlNet, LoRA) to work directly with the upgraded text-to-image diffusion model (e.g., SD-XL) without further retraining. We achieve this goal by tra
AUTOMATIC1111 に標準で付いている Checkpoint Merger の実装について調べる。 ※Checkpoint Merger で使用されているマージ処理について理解が不足していると判明したので、ちゃんと確認しておく。 extras.py run_modelmergerコードはこのあたり。run_modelmerger 関数がマージを処理している。 https://github.com/AUTOMATIC1111/stable-diffusion-webui/blob/311354c0bb8930ea939d6aa6b3edd50c69301320/modules/extras.py#L244 sd_models.py厳密にいえば、マージ前のモデルロードのやり方も関連する。 コードはこのあたり。sd_models 内でロードされるが、過去経緯からかマージ時のモデルロード
ChatGPTが業務分担してゲームを作る「ChatDev」がすごく面白かった。 同じような発想で、エージェント化したAIが分業して漫画を作るアプリとかあったら楽しいので、誰か作って公開してほしい… …漫画はムリでも絵本くらいなら自分でもイケるかも、という安直な考えを抱いたので、とりあえずAPIの使い方を調べた。 「ChatDev」では画像生成にOpenAIのAPI（DALL-E）を使っている。手軽だが自由度が低く、創作向きではない印象。今回は「ComfyUI」のAPIを試してみた。 ComfyUIの起動まず、通常どおりComfyUIをインストール・起動しておく。これだけでAPI機能は使えるっぽい。 # ComfyUIのインストール !git clone https://github.com/comfyanonymous/ComfyUI %cd ComfyUI # 依存関係のインストール !
Stable Diffusion、楽しいですよね。 なんかもう技術の進歩が早すぎて油断すると一瞬で取り残されてしまいがちです。この記事も書きながら「すぐに古くなってしまいそうだな……」と思ってます。 LoRAを使って自分の画風を学習させるまで今回は追加学習の手法であるLoRAを試してみた内容を紹介します。 LoRAとは……いえ、なにも詳しくないので下手に説明すると嘘を書いてしまいそうですが、ざっくりいうと……。 Stable DiffusionのモデルデータはだいたいGB単位です。 一方、LoRAは元モデルとの差分データをつくるのでだいたい150MBくらいで済むという代物です。 追加学習で元モデルとマージする形だとGB単位のデータをたくさんつくることになってしまうので、LoRAが便利というわけです。 これでなにができるかというと、たとえば特定のキャラの特徴を学習させることができます。これは
月見ねぎとろ＠3Dモデラー/動画・シナリオ屋さん @tukimi_negitoro もひゃー！漫画/シナリオ/映像作家/３Dモデラー。 モデリング依頼受付しています。動物キャラとか学習漫画やメカ物がすき。 #月見山ラボ pixiv.net/member.php?id=… 月見ねぎとろ＠3Dモデラー/動画・シナリオ屋さん @tukimi_negitoro 最近、絵柄の批判でたまに見かける「マスピ顔」って言葉は何？って思って調べたら、画像生成AIのプロンプトに「masterpiece(＝傑作)」と入力すると出力されがちな顔の事らしく、つまり人々が傑作だと賛美した絵の平均的な顔が濫用されて陳腐化、賛美の言葉が逆転する現象が起きてるらしい…おもしろ。 2023-09-24 11:56:47 月見ねぎとろ＠3Dモデラー/動画・シナリオ屋さん @tukimi_negitoro 今となっては典型的AI絵
概要学習の省メモリ化に有効なbitsandbytesの8-bit optimizerですが、Windows用のDLLが提供されていないためそのままでは動きません。 以前の記事に8-bit optimizerをWindows（非WSL）で動かす方法について書きましたが、わかりやすいように記事として独立させました。 手順仮想環境等を適宜設定しておいてください。 bitsandbytesのインストールpipでインストールします。Windows対応のための変更スクリプトが0.35.0でしか動かないため、バージョンを指定してインストールします。 （10/28現在。将来的にはbitsandbytesがネイティブでWindowsに対応してくれることを期待します。） pip install bitsandbytes==0.35.0Windows用DLLのダウンロードとコピーこちらのissueを参考に、有志
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
