Illustrious 模型是什么、怎么用:从版本差异到出图的完整教程

Illustrious 模型是什么、怎么用:从版本差异到出图的完整教程

Illustrious 模型是什么、怎么用:从版本差异到出图的完整教程

Contents

Illustrious 是一套面向动漫插画的开源图像生成模型,由韩国团队 OnomaAI 在 SDXL 架构上微调,训练数据与提示词语法都来自 Danbooru 标签体系。它属于 SDXL 系 checkpoint:放进 ComfyUI 或网页平台即可出图,支持 LoRA、ControlNet 与负面提示词,2024 年发布 v0.1 后迭代出 v1.0 与 TensorArt 独占的 v1.1。

简介:Illustrious 是什么模型,适合谁用?

一句话:这是给“想用标签式提示词画动漫插画”的人准备的 SDXL 派生基础模型,既能直接出图,也能当作训练 LoRA 的底模。

客观事实层面,各来源给出的信息如下:

版本对照表

版本范围关键变化使用建议
v0.1首个公开版提示词自由度与整体出图质量存在明显局限更适合当训练基底,不建议作主力出图
v1.0全球发布提升高分辨率能力(最高 1536×1536),并支持自然语言提示词日常出图的主力选择
v1.1TensorArt 独占数据集更精细、色彩与对比更好、更适合风格 LoRA 训练训练风格 LoRA 优先;其他平台可能拿不到

⚠️ 来源冲突(发布时间):Tensor.Art 的一篇指南称 v0.1 于 2024 年 11 月发布(Source 2);另外两篇中英文指南则明确写 2024 年 9 月 30 日(Source 3、Source 5)。本文不擅自取舍,两者并列呈现,实际以官方仓库发布时间为准。

⚠️ 来源冲突(分辨率基线):早期指南把 1024×1024 列为推荐标准尺寸(Source 3、Source 5);针对 v1.0 的指南则称它是首个把 1536×1536 作为标准档的 SDXL 模型(Source 2)。合理解读是“版本差异”,而非互相否定——v0.1 时代按 1024 出图,v1.0 之后可上探到 1536 甚至 1248×1824 而不必开高清修复。

前置准备:跑 Illustrious 需要哪些环境和工具?

先明确一件事:Illustrious 本身是权重文件,不是一个能双击打开的软件,你需要一个推理前端来加载它。

必备项

  1. 推理前端:ComfyUI 是最常见的搭配,官方 GGUF 包直接给出 ComfyUI 的目录结构(Source 1);不想装环境也可以用托管平台在浏览器里出图(Source 4)。
  2. 模型文件:一份 Illustrious checkpoint(原始 bf16/fp16 safetensors、fp8 scaled safetensors,或 GGUF 量化版)。
  3. 配套组件:按 Source 1 的 GGUF 方案,还需要对应的 text encoder(illustrious_g_clip、illustrious_l_clip)与 VAE(illustrious_vae)。
  4. GGUF 节点(仅量化版需要):从 calcuis/gguf 的 release 页获取整合包(Source 1)。
  5. 硬件:量化版对老机器更友好,9xx 系列及更早的显卡可用 legacy 模式 --disable-cuda-malloc --lowvram 运行(Source 1)。
  6. 可选扩展:LoRA、Textual Inversion、ControlNet——Illustrious 属于 SDXL checkpoint,这些都支持(Source 4)。
  7. 网络与账号:下载权重通常需要模型站账号;使用 TensorArt 独占的 v1.1 需要该平台账号(Source 2)。

文件形态对照表

形态量化/精度来源特点适合谁
原始 bf16 safetensors官方原始权重精度最高、体积最大显存充裕、追求稳定画质
fp8 scaled safetensors高精度缩放版体积更小;Source 1 实测 VAE 与 clip 也能正常工作想在高画质与占用之间折中
illustrious gguf(q4_0 / q8_0 等)由原始 bf16 量化保留原始精度血统,占用更低一般本地部署
fast-illustrious gguf(q4_0 / q8_0 等)由 fp8 scaled safetensors 量化作者本人的说法是“少 50% 张量是否真的加载更快,请自行测试”想验证加载速度的人

Source 1 明确提醒:不同模型可能有各自的结构特性,影响加载器表现,“never one size fits all”,量化档位不是越高越好或越低越好,需要实测。

分步教程:Illustrious 模型怎么用?

以下步骤以 ComfyUI + 本地权重为主线,其他前端的逻辑相同:放模型 → 载工作流 → 写提示词 → 调参数。

  1. 确定版本与文件形态。 日常出图选 v1.0;要训练风格 LoRA 优先 v1.1(TensorArt 独占)。显存吃紧或显卡较老,直接选 GGUF q4_0;追求质量选原始 bf16 或 q8_0。
  2. 放置扩散模型。 把 checkpoint 或 GGUF 文件放进 ./ComfyUI/models/diffusion_models(Source 1)。
  3. 放置文本编码器。 将 illustrious_g_clip、illustrious_l_clip 等放进 ./ComfyUI/models/text_encoders(Source 1)。
  4. 放置 VAE。 将 VAE 文件放进 ./ComfyUI/models/vae(Source 1)。注意 Source 1 的目录名写作 illustrious_vae,以你所用整合包的实际路径为准。
  5. (GGUF 用户)装好 GGUF 节点。 下载 calcuis/gguf 的整合包,运行主目录下的 .bat 文件即可启动,无需额外安装(Source 1)。
  6. 载入工作流。 两种方式:把工作流 JSON 拖进已激活的浏览器,或把一张带 workflow metadata 的成品图直接拖进去,参数会自动还原(Source 1)。
  7. 写正向提示词。 以 Danbooru 标签为主、自然语言为辅;质量标签放最前,构图类修饰放最后;主体务必写数量,如 1girl、2boys;需要指定主体时用 focus,如 vehicle focus(Source 2)。
  8. 写负向提示词。 Illustrious 对负面提示词相当敏感(Source 2),建议常驻一组质量类负向词,例如 worst quality, low quality, bad anatomy, bad hands, jpeg artifacts, watermark, signature, lowres, extra digits(综合 Source 1、Source 3、Source 5)。
  9. 设置采样参数。 按下方参数表填写,Clip Skip 设为 2(Source 2)。
  10. 设置分辨率。 起步用 1024×1024、896×1152、832×1216、768×1344 这类 SDXL 常规档(Source 3、Source 5);v1.0 及以后可直接尝试 1536×1536 或 1248×1824,无需额外高清修复(Source 2)。
  11. (可选)加载 LoRA。 风格 LoRA 与角色 LoRA 均可挂载(Source 2),但同时叠加数量控制在 2–3 个以内,堆多了画质会下降(Source 4)。
  12. 保存并复现。 出图后保留原图,下次把图拖回浏览器即可还原整套参数(Source 1)。

关键参数怎么设?(含来源冲突)

参数来源 A 建议来源 B 建议处理方式
采样器Euler aEuler a一致,推荐 Euler a
采样步数20–2820–28,长复杂提示词可加到 40一致,默认 20–28
CFG3–7;要精确细节时用 4.5–5(Source 2)5–7.5(Source 3、Source 5)冲突:两区间在 5–7 重叠,建议从 5 起手自行对比
Clip Skip2(Source 2)未提及采纳 2
标准分辨率1536×1536(v1.0,Source 2)1024×1024(Source 3、Source 5)版本差异,见上文说明
分级标签general / sensitive / questionable / explicit 四档(Source 3、Source 5)同想要 SFW 输出就用 general 或 sensitive

提示词怎么写才稳?

一个 SFW 起手示例(自行组合,非照抄任何模板):

正向:masterpiece, best quality, 1girl, upper body, black hair, blue eyes, school uniform, looking at viewer, outdoors, depth of field, soft lighting 负向:worst quality, low quality, bad anatomy, bad hands, lowres, jpeg artifacts, watermark, signature, extra digits

常见问题排查

现象可能原因解决办法
画面糊、细节少分辨率过低或没加质量标签提到推荐档位,正向加 masterpiece, best quality, absurdres,负向加 lowres(Source 3、Source 5)
手崩、结构错乱缺少解剖类负向词负向补 bad anatomy, bad hands, deformed hands(Source 1、Source 3)
角色画不出或画错人角色标签拼写错误、训练不足去 Danbooru 核对准确标签,下划线换空格,必要时加权(Source 3、Source 5)
多人画面糊成一团缺少数量标签明确写 1girl, 2boys 等,并用 focus 指定主体(Source 2)
整体风格飘忽、不稳定训练面太宽导致画风稳定性偏弱加详细正向描述与负向词,或换用社区派生模型(Source 3、Source 5)
显存不足、加载失败原始精度权重太大换 GGUF q4_0,老卡加 --disable-cuda-malloc --lowvram(Source 1)
叠 LoRA 后画质崩LoRA 叠加过多控制在 2–3 个以内(Source 4)
图里出现水印/签名负向词没覆盖负向加 watermark, signature, username, scan(Source 3、Source 5)
4K 以下正常、超高分辨率变形超出该版本处理范围v1.0 上限约 1536×1536,别盲目再往上顶(Source 2)

FAQ

Q1:Illustrious 和 Pony、Animagine 有什么区别? A:Illustrious 只靠标签就能画出大量已被训练过的角色,不必先找 LoRA;同时它比 Pony 对负面提示词更敏感,用好负向词收益明显;相较 Animagine,它支持的角色范围更广,画百合与多人场景更省标签(Source 2、Source 3、Source 5)。

Q2:它支持自然语言提示词吗? A:v1.0 与 v1.1 已支持,官方风格指南也把“自然语言 + 标签混写”列为可用方式;但由于底层训练数据是 Danbooru 标签,纯自然语言的效果通常不如标签稳定(Source 2)。

Q3:v1.0 和 v1.1 该选哪个? A:只出图选 v1.0;要训练风格 LoRA 选 v1.1——它数据集更精细、色彩对比更好、对风格更宽容。代价是 v1.1 为 TensorArt 独占,其他平台不一定拿得到(Source 2)。

Q4:SDXL 的 LoRA、ControlNet 能直接用吗? A:能。Illustrious 是 SDXL checkpoint,支持 LoRA、Textual Inversion、ControlNet 与负面提示词;但托管平台上的这类模型通常不与特定角色或参考图系统打通,且 LoRA 堆叠上限约 2–3 个(Source 4)。

Q5:Clip Skip 一定要设成 2 吗? A:目前只有一份指南明确给出“必须设为 2”的建议(Source 2),其他来源未提及。可以此为起点,再按自己的出图结果微调。

Q6:不想装环境,能直接在网页上用吗? A:可以。Mage 这类平台并不提供“唯一一个叫 Illustrious 的模型”,而是在目录里托管多款 Illustrious checkpoint,你挑一个画风合适的,在浏览器标签页里生成即可(Source 4)。

Q7:GGUF 量化和原版权重差别大吗? A:GGUF 有两种来源——illustrious gguf 由原始 bf16 量化,fast-illustrious gguf 由 fp8 scaled safetensors 量化。作者本人也强调加载速度与效果需自行实测,不存在通用最优解(Source 1)。

Q8:Illustrious 是开源的吗? A:它是开放权重模型。需要注意 Hugging Face 上那个 GGUF 测试包仓库标注的是 apache-2.0,但这只覆盖该仓库的打包产物,基础模型本身仍以官方发布页的许可条款为准(Source 1)。

Q9:用它画有版权的角色会有风险吗? A:有。多份指南明确提示:该模型很容易生成受日本及其他国家著作权保护的角色,请遵守当地法律,不要用于商业或恶意用途,否则可能承担侵权风险(Source 3、Source 5)。

Q10:显存不大,能用吗? A:优先选 GGUF q4_0 档,并在 9xx 系列及更早的显卡上启用 legacy 模式(--disable-cuda-malloc --lowvram);作者明确表示这条路径就是为老机器准备的(Source 1)。

CTA

如果你更想先看看 Illustrious 在实际项目里的表现、再决定要不要本地部署,可以到 tuniang.ai 逛一圈,那里有相关的实测与整理内容。

Sources

这篇有帮助吗?