Stable Diffusion 基础 2 | 模型快速上手 | Gavin Liu

模型是什么？

这里的模型并不是现实生活中的模型、手办，而是一种机器学习模型。通过机器学习训练后，会把模型中的参数存成一个文件，这个文件就是我们通常意义上的模型文件。

Stable Diffusion 基础模型常见的有三个版本：

其中目前生态最好的是 1.5 版本，网上有各种基于这个版本的衍生模型。

通常我们并不会使用原版模型，而是使用训练/微调后的模型，目前训练模型方案有非常多种：

训练方式	存放路径	说明
DreamBooth	models/Stable-diffusion	这个目录下的模型又被称为基础模型或者 ckpt 模型，这种训练方式可以让模型学习到一个特定的角色
LoRa	models/Lora	这个目录下的模型又被称为 LoRa 模型，这是一种轻量级模型，可以让模型学习到一种风格，需要配合基础模型使用
Textual Inversion	embeddings	这个目录下的模型又被称为 embedding 模型，比较轻量，可以固化模型效果，配合提示词来使用
Hypernetwork	models/hypernetworks	可以训练出无法用语言精确表述的细节，也更适用于画风的训练

目前 TI 和 Hypernetwork 基本上快被淘汰了，这里先重点关注前两种模型

网站	说明
Huggingface	全球最大的 AI 交流社区
Civitai	全球最大的 Stable Diffusion 模型分享站
哩布哩布 AI	中文社区最大的 Stable Diffusion 模型分享站

格式	说明
.ckpt	Pytorch 框架模型文件，包含大量 Python 代码的压缩文件，可能存在安全风险，不建议从未知或不信任的来源加载
.safetensors	Huggingface 推出的模型文件，只包含生成所需的数据，没有任何代码，更安全和快速

大致会遇到这几个格式的文件，两者的区别如上。

但模型格式和模型类型没有关联关系，只需要关心模型类型即可，然后优先使用 safetensors 格式的模型

这里以需要绘制一个 一个长发女啦啦队长 为例，大致会分为以下几个步骤进行分解

下载模型，确定人物风格
- 通过模型网站，找到你喜欢的 ckpt 模型下载，这里以 Anything 为例
放置模型，刷新 WebUI，并选中 Anything 模型，等待程序加载完成
- 将模型文件，拷贝到 models/Stable-diffusion 文件夹下

提示词编写

正向提示词

1	masterpiece, best quality, highly detailed, 1girl, cheerleader, long hair, colorful hair

这里以需要绘制一个 一个在体育馆内的长发女啦啦队长 为例，大致会分为以下几个步骤进行分解

下载模型，确定场景风格
- 通过模型网站，找到你喜欢的 LoRa 模型下载，这里以 SchoolGym 为例
- SchoolGym 是一个描述学校体育馆场景的模型
放置模型，刷新 WebUI
- 将模型文件，拷贝到 models/Lora 文件夹下
编写提示词
- LoRa 提示词规则
  - <lora:$LoRA文件名:$权重>
    - 权重是一个 0-1 的数值
- LoRa 模型触发词
  - 通常模型页面会注明，这里 SchoolGym 的触发词是：school gym
- 我期望这个模型的权重占比 80%
  - 最终 LoRa 提示词是：<lora:school_gym_v0.1:0.8> school gym
- 把 LoRa 提示词放在之前的提示词前面：
  1
  <lora:school_gym_v0.1:0.8> school gym, masterpiece, best quality, highly detailed, 1girl, cheerleader, long hair, colorful hair
点击生成
- 可以看到背景已经变成学校体育馆，模型成功生效