Stable Diffusion是一种机器学习模型,它经过训练可以逐步对随机高斯噪声进行去噪以获得图像。
模型详解
1】大模型/底模型-属于基础模型也叫预调模型
首先介绍的是大模型,是SD能够绘图的基础模型。安装完SD软件后,必须搭配基础模型才能使用。不同的基础模型,其画风和擅长的领域会有侧重。决定了ai绘画的主要模型。
【2】Lora模型-属于微调模型
如果把基础模型比喻作一座房子的地基,那么Lora模型就好比在这个地基上盖起来的房子。我们通常也称为微调模型,用于满足一种特定的风格,或指定的人物特征属性。在数据相似度非常高的情形下,使用微调模型,可以节省大量的训练时间和训练资源,就可以产出我们需要的结果。
【3】VAE美化模型
VAE,全名Variational autoenconder,中文叫变分自编码器。作用是:滤镜+微调。
【4】Embeddings和Hypernetworks个性化模型
Embeddings-也是属于微调模型,Hypernetworks则不太用了。
Embeddings叫文本反转,通过仅使用的几张图像,就可以向模型教授新的概念。用于个性化图像生成。与lora模型一样,Embeddings也必须配合基础模型使用。
【5】DreamBooth模型
DreamBooth,可用于训练预调模型用的。是使用指定主题的图像进行演算,训练后可以让模型产生更精细和个性化的输出图像。