Waifu Diffusion v1.4の使い方とポイント

Waifu Diffusion v1.4が公開されました。Stable Diffusion v2.1ベースに5,468,025点の画像と付随するテキストを使いファインチューニングを行っています。

ダウンロード方法の説明と、実際に生成してみた画像を掲載します。また、プロンプトにつけるべき単語も紹介します。

Waifu Diffusion v1.4の詳しい説明はこちら：wd1-4-anime-release.md · GitHub

ダウンロード
- ckptファイル
- 【注意】yamlファイル
作例
推奨されるプロンプト単語
- 品質、レーティングのための修飾語
  - 品質修飾語
  - レーティング修飾語
- プロンプトにレーティング修飾詞を加えてみた

ダウンロード

ckptファイル

モデルはこちらからダウンロード

hakurei/waifu-diffusion-v1-4 at main

ファイル名「wd-1-4-anime_e1.ckpt」をダウンロードします。

Stable Diffusion web UIを使っているなら：「J:\stable-diffusion-webui\models\Stable-diffusion」等に保存

【注意】yamlファイル

次にyamlファイルですが「wd-1-4-anime_e1.yaml」はそのままwebからダウンロードしないでください。勝手にHTMLに変換し保存され、読み込めない問題が起きます。

内容をコピーし、メモ帳などに張り付け、「wd-1-4-anime_e1.yaml」という名前でckptと同じ場所に保存してください。

あとはStable Diffusion web UIで他のモデルと同じように使うことができます。

Stable Diffusionの導入の参考：

画像生成AI「Stable Diffusion」を4GBのGPUでも動作OK＆自分の絵柄を学習させるなどいろいろな機能を簡単にGoogle ColaboやWindowsで動かせる決定版「Stable Diffusion web UI(AUTOMATIC1111版)」インストール方法まとめ - GIGAZINE

作例

Waifu Diffusion 1.4 Anime Release Notesのプロンプト例から作成

masterpiece, best quality, 1girl, black eyes, black hair, black sweater, blue background, bob cut, closed mouth, glasses, medium hair, red-framed eyewear, simple background, solo, sweater, upper body, wide-eyed

masterpiece, best quality, 1girl, aqua eyes, baseball cap, blonde hair, closed mouth, earrings, green background, hat, hoop earrings, jewelry, looking at viewer, shirt, short hair, simple background, solo, upper body, yellow shirt

masterpiece, best quality, high quality, scenery, japanese shrine, no humans, absurdres

推奨されるプロンプト単語

開発者のほうから推奨プロンプトが提示されています

高いクォリティの作品を作るためのプロンプト

masterpiece, best quality, high quality, absurdres

ネガティブプロンプト

worst quality, low quality, medium quality, deleted, lowres, comic, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry

品質、レーティングのための修飾語

品質修飾語

データセット処理時に、画像のスコアに応じて、以下の品質修飾語が付加されました。

品質修飾語	スコア基準
masterpiece	>150
best quality	100-150
high quality	75-100
medium quality	25-75
low quality	-5-0
worst quality	<-5

レーティング修飾語

レーティング修飾語という形で、特定のメタデータも追加されました。

レーティング修飾語	基準
safe	仕事に使っても大丈夫なサンプル
questionable	仕事には安全でないと思われる、きわどいビジュアルを含むサンプル
nsfw	性的に露骨な、または生々しい内容で、上司が肩越しに見ているときに見るべきものではない
deleted	削除するようにマークされたサンプル