绘画模型(*.ckpt/*.safetensors)
Novel AI 泄露版模型
- 基于Stable Diffusion网络结构,使用Danbooru数据集进行多次训练后的权重
- 至少需 5.8GiB 存储空间
- 磁力链接,使用BitTorrent协议下载
1 | magnet:?xt=urn:btih:5bde442da86265b670a3e5ea3163afad2c6f8ecc |
- SFW(Suitable For Work)模型:
stableckpt/animesfw-final-pruned
- NSFW模型:
stableckpt/animefull-final-pruned
Stable Diffusion 官方模型
- 官方Stable Diffusion,使用多个图片数据集
- Stable Diffusion 1.5
- runwayml/stable-diffusion-v1-5 · Hugging Face
- 至少需 4.0GB 存储空间
- 其他Stable Diffusion 1.x版本模型:CompVis (CompVis)
1 | wget https://huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned-emaonly.ckpt |
- Stable Diffusion 2.1
- stabilityai/stable-diffusion-2-1 · Hugging Face
- 至少需 4.9GB 存储空间
- 其他Stable Diffusion 2.x版本模型:stabilityai (Stability AI)
1 | wget https://huggingface.co/stabilityai/stable-diffusion-2-1/resolve/main/v2-1_768-ema-pruned.ckpt |
Waifu Diffusion
- 使用Stable Diffusion网络结构,精选了Danbooru数据集
- Waifu Diffusion 1.4
- hakurei/waifu-diffusion-v1-4 · Hugging Face
- 至少需 4.8GB 存储空间
- 其他Waifu Diffusion 1.x版本模型:hakurei (Reimu Hakurei)
1 | wget https://huggingface.co/hakurei/waifu-diffusion-v1-4/resolve/main/wd-1-4-anime_e2.ckpt |
Kenshi
- 基于Stable Diffusion网络结构,强调“照片感”。是对多个模型的加权融合,包括BoChen模型、WLOP模型等;
- Kenshi01
- SweetLuna/Kenshi · Hugging Face
- 至少需 4.0GB 存储空间
1 | wget https://huggingface.co/SweetLuna/Kenshi/resolve/main/KENSHI%2001/KENSHI01_Pruned.ckpt |
AbyssOrangeMix3
- 基于Stable Diffusion网络结构,是对多个模型的加权融合,侧重“高质量”和“画面内的纹理效果”
- 分为A1(平涂)、A2(厚涂;油画风)、A3(融合)三个版本
- 至少需 2.0GB 存储空间
- WarriorMama777/OrangeMixs · Hugging Face
1 | wget https://huggingface.co/WarriorMama777/OrangeMixs/resolve/main/Models/AbyssOrangeMix3/AOM3A3.safetensors |
NeverEnding Dream
- 基于Stable Diffusion网络结构,是对多个模型的加权融合及补充训练,侧重“好看的人像”及“有生成cosplay照片的能力”
- 至少需 4.0GB 存储空间
- NeverEnding Dream (NED) | Stable Diffusion Checkpoint | Civitai
1 | wget https://civitai.com/api/download/models/11925 |
ChilloutMix
- 基于Stable Diffusion网络结构,是对多个模型的加权融合及补充训练,侧重“2.5D”、“人像”及“cosplay照片生成”
- 至少需 2.0GB 存储空间
- ChilloutMix | Stable Diffusion Checkpoint | Civitai
1 | wget https://civitai.com/api/download/models/11732 |
momoko-e
- 基于stable-diffusion网络结构,训练了ももこ画师的图片,该模型比较火的原因可能是手和脚的崩坏次数少一些(被一些人称为“有手修复包”,很可能是因为模型过拟合)
- 至少需 2.0GB 存储空间
- 链接来自其他人转存,有失效风险
1 | wget https://huggingface.co/LarryAIDraw/momoko-e/resolve/main/momoko-e.ckpt |
Anything v4.5
- 基于Stable Diffusion网络结构,是对多个模型的加权融合及补充训练,侧重“全能(二次元男角色、二次元女角色、二次元风景)”和“更短的tag”
- 至少需 2.0GB 存储空间
- andite/anything-v4.0 · Hugging Face
1 | wget https://huggingface.co/andite/anything-v4.0/resolve/main/anything-v4.5-pruned-fp16.ckpt |
Realistic Vision V2.0
- 基于Stable Diffusion网络结构,侧重“真实感”,“真实人像”
- 至少需 3.5GB 存储空间
- Realistic Vision V2.0 | Stable Diffusion Checkpoint | Civitai
1 | wget https://civitai.com/api/download/models/29460 |
WebUI 插件
a1111-sd-webui-tagcomplete
- 给WebUI增加Danbooru tag数据库和自动补全支持
- DominikDoom/a1111-sd-webui-tagcomplete: Booru style tag autocompletion for AUTOMATIC1111’s Stable Diffusion web UI
sd-webui-supermerger
- 直接加权融合多个模型并进行使用,而不需要先合并网络参数制作模型文件
- hako-mikan/sd-webui-supermerger: model merge extention for stable diffusion web ui
sd-webui-controlnet
- 给WebUI增加ControlNet支持
- ControlNet必须搭配这个插件使用
- Mikubill/sd-webui-controlnet: WebUI extension for ControlNet
openpose-editor
- 直接在WebUI里通过摆放骨骼的方式生成OpenPose图像
- Openpose Editor for AUTOMATIC1111’s stable-diffusion-webui
Auto-Photoshop-StableDiffusion-Plugin
stable-diffusion-webui-localization-zh_CN
sd-webui-additional-networks
- 用于融合多个LoRA模型
- 建议LoRA搭配这个插件使用
- kohya-ss/sd-webui-additional-networks
deforum-for-automatic1111-webui
- 用于使用stable diffusion生成视频
- deforum-art/deforum-for-automatic1111-webui: Deforum extension script for AUTOMATIC1111’s Stable Diffusion webui
sd-webui-depth-lib
- 预制的手部动作深度图,用于固定和修复手部动作
- 有ControlNet后才能使用这个插件
- jexom/sd-webui-depth-lib: Depth map library for use with the Control Net extension for Automatic1111/stable-diffusion-webui
sd-webui-cutoff
- 使带颜色的tag绑定物件,避免颜色污染;例如:
red skirt, blue hair
- hnmr293/sd-webui-cutoff: Cutoff - Cutting Off Prompt Effect
stable-diffusion-webui-promptgen
- 根据给定的tag,随机生成全图的prompt
- AUTOMATIC1111/stable-diffusion-webui-promptgen: stable-diffusion-webui-promptgen
- 需要配合以下模型使用:
sd-webui-regional-prompter
- 切分画面,对不同区域的画面应用不同的LoRA模型
- hako-mikan/sd-webui-regional-prompter: set prompt to divided region
ebsynth_utility
- 使用ebsynth和Stable Diffusion生成视频
- s9roll7/ebsynth_utility: AUTOMATIC1111 UI extension for creating videos using img2img and ebsynth.
- 需要配合EbSynth使用:EbSynth - Transform Video by Painting Over a Single Frame
stable-diffusion-webui-two-shot
- 另一个切分画面的插件
- opparco/stable-diffusion-webui-two-shot: Latent Couple extension (two shot diffusion port)
stable-diffusion-webui-composable-lora
- 控制各层(共17层)中LoRA模型的应用强度,可用于LoRA训练检查和精细调整出图结果
- opparco/stable-diffusion-webui-composable-lora: This extension replaces the built-in LoRA forward procedure.
stable-diffusion-webui-wd14-tagger
- 对图片进行Tag反向推断
- toriato/stable-diffusion-webui-wd14-tagger: Labeling extension for Automatic1111’s Web UI
- 需要配合DeepDanbooru、e621、wdTagger等模型使用
Textual Inversion模型
- 引入新的prompt,并将其与已有的prompt关联起来;
- 放置在WebUI的
embeddings
文件夹下;
EasyNegative
- 用于快速屏蔽负面tag
- 配合使用:AbyssOrangeMix3、Counterfeit-V2.5
- gsdf/EasyNegative · Datasets at Hugging Face
- Prompt:
EASYNEGATIVE
1 | wget https://huggingface.co/datasets/gsdf/EasyNegative/resolve/main/EasyNegative.pt |
Ulzzang-6500
- 用于生成 韩国女明星式的 人像图片
- 配合使用:ChilloutMix
- Ulzzang-6500 (Korean doll aesthetic) | Stable Diffusion TextualInversion | Civitai
- Prompt:
ulzzang-6500-v1.1
1 | wget https://civitai.com/api/download/models/10107 |
LoRA模型
- LoRA用于训练差分模型。用户给出一系列具有相似特征(比如都是某个动漫角色、都是某个绘画风格、都是某个地区的人的脸型,……)的图片,经过训练生成一个几十/几百MB的模型
- 载入绘画模型,再载入LoRA模型,使用LoRA的Prompt(或是插件),便可生成具有训练数据特征的图片
- 特点:速度快,模型小(类似的Dreambooth技术会生成完整模型),准确度高(对“风格”来说更优秀,但对“脸型”来说不如Dreambooth),可组合
- 推荐配合
sd-webui-additional-networks
插件使用- 使用插件:LoRA模型放到
extensions/sd-webui-additional-networks/models/lora
下 - 不使用插件:LoRA模型放到
models/Lora
下
- 使用插件:LoRA模型放到
*-doll-likeness
- 配合ChilloutMix绘画模型,生成具有特定地域脸型的人像图片(“伪Cosplay照片”)
- 原作者已删除模型,链接来自他人转存,有失效风险
- Prompt:
woman, girl
1 | # 日本模特脸型 |
chinese-doll-likeness
- 配合ChilloutMix绘画模型,生成具有中国人脸型的人像图片(“伪Cosplay照片”)
- [LORA] Chinese Doll Likeness | Stable Diffusion LORA | Civitai
- Prompt:
chinese doll
1 | wget https://civitai.com/api/download/models/11195 |
Pastel-Mix
1 | wget https://civitai.com/api/download/models/7397 |
Glorious (Azur Lane) Spring 光荣 凉夜春雪
- 画特定人物(碧蓝航线 光荣 凉夜春雪皮肤),同时少量使用可能可以改善画面细节
- Glorious (Azur Lane) Spring 光荣 凉夜春雪 | Stable Diffusion LORA | Civitai
- Prompt:
blonde hair, cleavage, bare shoulders
1 | wget https://civitai.com/api/download/models/8855 |
Gacha splash LORA 3.1
- 使输出的图像更像游戏角色立绘
- Gacha splash LORA | Stable Diffusion LORA | Civitai
- Prompt:
[(white background:1.5)::5], (bottle bottom:0.9), 1 girl, mid shot, full body
1 | wget https://civitai.com/api/download/models/26536 |
Anime Lineart (线稿/線画) Style 3.0
- 使Stable Diffusion直接画出图片线稿,而不是填色的图片
- Anime Lineart (线稿/線画) Style | Stable Diffusion LORA | Civitai
- Prompt:
monochrome, lineart
1 | wget https://civitai.com/api/download/models/28907 |
前景龟背竹V11(foreground plant LORA)
- 使Stable Diffusion画面添加植物,并使植物作为前景
- 前景龟背竹V11(foreground plant LORA) | Stable Diffusion LORA | Civitai
- Prompt:
plant, tree, flower, grass, bush, potted plant, flower pot, broadleaf plant
1 | wget https://civitai.com/api/download/models/15004 |
工具模型
- 与绘画不直接相关,主要用于图片后处理、图片内容识别,以及图片放大
变分自编码器(VAE)
- 改变生成结果的概率分布,表现为图片的对比度、饱和度等
- 部分模型内置VAE,看到
_bakedVAE
字样可忽略 - 最常用的VAE:NovelAI的VAE,下载:
- 通过磁力链接,见上述NovelAI模型章节:
stableckpt/animevae.pt
- Huggingface上其他项目的转存
- 通过磁力链接,见上述NovelAI模型章节:
- 放置在WebUI的
models/VAE
文件夹下
1 | wget https://huggingface.co/WarriorMama777/OrangeMixs/resolve/main/VAEs/orangemix.vae.pt |
- Stable Diffusion 官方也提供了一个针对拟真图片(Realistic Pictures)的VAE:
1 | wget https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.safetensors |
torch_deepdanbooru
- 用于识别给出的图片,将图片内容转化为Danbooru的tag
- AUTOMATIC1111/TorchDeepDanbooru: Pure pytorch implementation of DeepDanbooru
- 放置在WebUI的
models/torch_deepdanbooru
文件夹下
1 | wget https://github.com/AUTOMATIC1111/TorchDeepDanbooru/releases/download/v1/model-resnet_custom_v3.pt |
RealESRGAN(R-ESRGAN4x)
- 通用图片放大器,4倍时最佳
- xinntao/Real-ESRGAN: Real-ESRGAN aims at developing Practical Algorithms for General Image/Video Restoration.
- 放置在WebUI的
models/RealESRGAN
文件夹下
1 | wget https://github.com/xinntao/Real-ESRGAN/releases/download/v0.1.1/RealESRNet_x4plus.pth |
RealESRGAN+Anime6B(R-ESRGAN4x + Anime6B)
- 专为二次元图片训练的图片放大器,边缘更锐利、速度更快
- xinntao/Real-ESRGAN: Real-ESRGAN aims at developing Practical Algorithms for General Image/Video Restoration.
- 放置在WebUI的
models/RealESRGAN
文件夹下
1 | wget https://github.com/xinntao/Real-ESRGAN/releases/download/v0.2.2.4/RealESRGAN_x4plus_anime_6B.pth |
GFPGAN、CodeFormer
- 用于真实人脸的放大和重建
- TencentARC/GFPGAN: GFPGAN aims at developing Practical Algorithms for Real-world Face Restoration.
- xinntao/facexlib: FaceXlib aims at providing ready-to-use face-related functions based on current STOA open-source methods.
- 放置在WebUI的
models/GFPGAN
文件夹下
1 | wget https://github.com/TencentARC/GFPGAN/releases/download/v1.3.4/GFPGANv1.4.pth |
- sczhou/CodeFormer: [NeurIPS 2022] Towards Robust Blind Face Restoration with Codebook Lookup Transformer
- 放置在WebUI的
models/CodeFormer
文件夹下
1 | wget https://github.com/sczhou/CodeFormer/releases/download/v0.1.0/codeformer.pth |
4xUltraSharp
- 用于二次元图片或真实图片的放大和重建。据部分测试结果,4xUltraSharp放大半厚涂或厚涂的图片时,背景和边界的效果好于RealESRGAN
- Model Database - Upscale Wiki
下载地址:MEGA
ControlNet
- 用于部分控制Diffusion网络的参数,例如
- 固定生成图片的人物动作(OpenPose)
- 通过精细线稿生成图片(Canny)
- 通过简笔画生成图片(Scribble)
- 通过景深生成图片(Depth)
- …
- lllyasviel/ControlNet: Let us control diffusion models!
- 需要配合插件
sd-webui-controlnet
使用
1 | # ControlNet差分模型,放置在WebUI的extensions/sd-webui-controlnet/models文件夹下 |
第三方ControlNet
1 | # Face Landmark |