Illustrious 模型是什么、怎么用:从版本差异到出图的完整教程
Illustrious 模型是什么、怎么用:从版本差异到出图的完整教程
Contents
Illustrious 是一套面向动漫插画的开源图像生成模型,由韩国团队 OnomaAI 在 SDXL 架构上微调,训练数据与提示词语法都来自 Danbooru 标签体系。它属于 SDXL 系 checkpoint:放进 ComfyUI 或网页平台即可出图,支持 LoRA、ControlNet 与负面提示词,2024 年发布 v0.1 后迭代出 v1.0 与 TensorArt 独占的 v1.1。
简介:Illustrious 是什么模型,适合谁用?
一句话:这是给“想用标签式提示词画动漫插画”的人准备的 SDXL 派生基础模型,既能直接出图,也能当作训练 LoRA 的底模。
客观事实层面,各来源给出的信息如下:
- 定位:动漫/插画向的开源权重图像模型,生态里有大量微调版与 LoRA(Source 4)。
- 血缘:OnomaAI 基于 SDXL 微调;中文指南进一步指出底模为 kohaku-xl-beta5(Source 3、Source 5),而 Hugging Face 上的 GGUF 测试包把 base_model 标为
OnomaAIResearch/Illustrious-xl-early-release-v0(Source 1)。两者说的是不同层级:前者指 SDXL 起点,后者指官方早期发布版。 - 数据与语法:以 Danbooru 资源训练(Source 2 称数据截至 2023 年),因此提示词语法与 SD1.5、Animagine 系列接近,老用户迁移成本低(Source 3、Source 5)。
- 发布节奏:v0.1 打开局面,v1.0 面向全球,v1.1 为 TensorArt 独占(Source 2)。
- 适合的场景:动漫与漫画插画、特定画风的角色图、线稿与赛璐璐上色、以逗号分隔标签写的提示词(Source 4)。
版本对照表
| 版本 | 范围 | 关键变化 | 使用建议 |
|---|---|---|---|
| v0.1 | 首个公开版 | 提示词自由度与整体出图质量存在明显局限 | 更适合当训练基底,不建议作主力出图 |
| v1.0 | 全球发布 | 提升高分辨率能力(最高 1536×1536),并支持自然语言提示词 | 日常出图的主力选择 |
| v1.1 | TensorArt 独占 | 数据集更精细、色彩与对比更好、更适合风格 LoRA 训练 | 训练风格 LoRA 优先;其他平台可能拿不到 |
⚠️ 来源冲突(发布时间):Tensor.Art 的一篇指南称 v0.1 于 2024 年 11 月发布(Source 2);另外两篇中英文指南则明确写 2024 年 9 月 30 日(Source 3、Source 5)。本文不擅自取舍,两者并列呈现,实际以官方仓库发布时间为准。
⚠️ 来源冲突(分辨率基线):早期指南把 1024×1024 列为推荐标准尺寸(Source 3、Source 5);针对 v1.0 的指南则称它是首个把 1536×1536 作为标准档的 SDXL 模型(Source 2)。合理解读是“版本差异”,而非互相否定——v0.1 时代按 1024 出图,v1.0 之后可上探到 1536 甚至 1248×1824 而不必开高清修复。
前置准备:跑 Illustrious 需要哪些环境和工具?
先明确一件事:Illustrious 本身是权重文件,不是一个能双击打开的软件,你需要一个推理前端来加载它。
必备项
- 推理前端:ComfyUI 是最常见的搭配,官方 GGUF 包直接给出 ComfyUI 的目录结构(Source 1);不想装环境也可以用托管平台在浏览器里出图(Source 4)。
- 模型文件:一份 Illustrious checkpoint(原始 bf16/fp16 safetensors、fp8 scaled safetensors,或 GGUF 量化版)。
- 配套组件:按 Source 1 的 GGUF 方案,还需要对应的 text encoder(
illustrious_g_clip、illustrious_l_clip)与 VAE(illustrious_vae)。 - GGUF 节点(仅量化版需要):从 calcuis/gguf 的 release 页获取整合包(Source 1)。
- 硬件:量化版对老机器更友好,9xx 系列及更早的显卡可用 legacy 模式
--disable-cuda-malloc --lowvram运行(Source 1)。 - 可选扩展:LoRA、Textual Inversion、ControlNet——Illustrious 属于 SDXL checkpoint,这些都支持(Source 4)。
- 网络与账号:下载权重通常需要模型站账号;使用 TensorArt 独占的 v1.1 需要该平台账号(Source 2)。
文件形态对照表
| 形态 | 量化/精度来源 | 特点 | 适合谁 |
|---|---|---|---|
| 原始 bf16 safetensors | 官方原始权重 | 精度最高、体积最大 | 显存充裕、追求稳定画质 |
| fp8 scaled safetensors | 高精度缩放版 | 体积更小;Source 1 实测 VAE 与 clip 也能正常工作 | 想在高画质与占用之间折中 |
illustrious gguf(q4_0 / q8_0 等) | 由原始 bf16 量化 | 保留原始精度血统,占用更低 | 一般本地部署 |
fast-illustrious gguf(q4_0 / q8_0 等) | 由 fp8 scaled safetensors 量化 | 作者本人的说法是“少 50% 张量是否真的加载更快,请自行测试” | 想验证加载速度的人 |
Source 1 明确提醒:不同模型可能有各自的结构特性,影响加载器表现,“never one size fits all”,量化档位不是越高越好或越低越好,需要实测。
分步教程:Illustrious 模型怎么用?
以下步骤以 ComfyUI + 本地权重为主线,其他前端的逻辑相同:放模型 → 载工作流 → 写提示词 → 调参数。
- 确定版本与文件形态。 日常出图选 v1.0;要训练风格 LoRA 优先 v1.1(TensorArt 独占)。显存吃紧或显卡较老,直接选 GGUF q4_0;追求质量选原始 bf16 或 q8_0。
- 放置扩散模型。 把 checkpoint 或 GGUF 文件放进
./ComfyUI/models/diffusion_models(Source 1)。 - 放置文本编码器。 将
illustrious_g_clip、illustrious_l_clip等放进./ComfyUI/models/text_encoders(Source 1)。 - 放置 VAE。 将 VAE 文件放进
./ComfyUI/models/vae(Source 1)。注意 Source 1 的目录名写作illustrious_vae,以你所用整合包的实际路径为准。 - (GGUF 用户)装好 GGUF 节点。 下载 calcuis/gguf 的整合包,运行主目录下的
.bat文件即可启动,无需额外安装(Source 1)。 - 载入工作流。 两种方式:把工作流 JSON 拖进已激活的浏览器,或把一张带 workflow metadata 的成品图直接拖进去,参数会自动还原(Source 1)。
- 写正向提示词。 以 Danbooru 标签为主、自然语言为辅;质量标签放最前,构图类修饰放最后;主体务必写数量,如
1girl、2boys;需要指定主体时用focus,如vehicle focus(Source 2)。 - 写负向提示词。 Illustrious 对负面提示词相当敏感(Source 2),建议常驻一组质量类负向词,例如
worst quality, low quality, bad anatomy, bad hands, jpeg artifacts, watermark, signature, lowres, extra digits(综合 Source 1、Source 3、Source 5)。 - 设置采样参数。 按下方参数表填写,Clip Skip 设为 2(Source 2)。
- 设置分辨率。 起步用 1024×1024、896×1152、832×1216、768×1344 这类 SDXL 常规档(Source 3、Source 5);v1.0 及以后可直接尝试 1536×1536 或 1248×1824,无需额外高清修复(Source 2)。
- (可选)加载 LoRA。 风格 LoRA 与角色 LoRA 均可挂载(Source 2),但同时叠加数量控制在 2–3 个以内,堆多了画质会下降(Source 4)。
- 保存并复现。 出图后保留原图,下次把图拖回浏览器即可还原整套参数(Source 1)。
关键参数怎么设?(含来源冲突)
| 参数 | 来源 A 建议 | 来源 B 建议 | 处理方式 |
|---|---|---|---|
| 采样器 | Euler a | Euler a | 一致,推荐 Euler a |
| 采样步数 | 20–28 | 20–28,长复杂提示词可加到 40 | 一致,默认 20–28 |
| CFG | 3–7;要精确细节时用 4.5–5(Source 2) | 5–7.5(Source 3、Source 5) | 冲突:两区间在 5–7 重叠,建议从 5 起手自行对比 |
| Clip Skip | 2(Source 2) | 未提及 | 采纳 2 |
| 标准分辨率 | 1536×1536(v1.0,Source 2) | 1024×1024(Source 3、Source 5) | 版本差异,见上文说明 |
| 分级标签 | general / sensitive / questionable / explicit 四档(Source 3、Source 5) | 同 | 想要 SFW 输出就用 general 或 sensitive |
提示词怎么写才稳?
- 标签优先,自然语言为辅。 v1.0/v1.1 已能理解自然语言,但因训练数据是标签体系,标签仍然更准(Source 2)。
- 质量词前置。
masterpiece, best quality, good quality、very aesthetic、absurdres这类词放最前(Source 3、Source 5)。 - 数量词必写。 不写
1girl/2boys/no human,多人场景很容易糊在一起(Source 2)。 - 空格与下划线有别。 画版权角色时,把标签里的下划线换成空格往往成功率更高;角色名拼错会直接导致出不来(Source 3、Source 5)。
- 画不出来就加权。 训练较弱的角色可提高标签权重,画男性角色可加
male focus提升准确度(Source 3、Source 5)。
一个 SFW 起手示例(自行组合,非照抄任何模板):
正向:
masterpiece, best quality, 1girl, upper body, black hair, blue eyes, school uniform, looking at viewer, outdoors, depth of field, soft lighting负向:worst quality, low quality, bad anatomy, bad hands, lowres, jpeg artifacts, watermark, signature, extra digits
常见问题排查
| 现象 | 可能原因 | 解决办法 |
|---|---|---|
| 画面糊、细节少 | 分辨率过低或没加质量标签 | 提到推荐档位,正向加 masterpiece, best quality, absurdres,负向加 lowres(Source 3、Source 5) |
| 手崩、结构错乱 | 缺少解剖类负向词 | 负向补 bad anatomy, bad hands, deformed hands(Source 1、Source 3) |
| 角色画不出或画错人 | 角色标签拼写错误、训练不足 | 去 Danbooru 核对准确标签,下划线换空格,必要时加权(Source 3、Source 5) |
| 多人画面糊成一团 | 缺少数量标签 | 明确写 1girl, 2boys 等,并用 focus 指定主体(Source 2) |
| 整体风格飘忽、不稳定 | 训练面太宽导致画风稳定性偏弱 | 加详细正向描述与负向词,或换用社区派生模型(Source 3、Source 5) |
| 显存不足、加载失败 | 原始精度权重太大 | 换 GGUF q4_0,老卡加 --disable-cuda-malloc --lowvram(Source 1) |
| 叠 LoRA 后画质崩 | LoRA 叠加过多 | 控制在 2–3 个以内(Source 4) |
| 图里出现水印/签名 | 负向词没覆盖 | 负向加 watermark, signature, username, scan(Source 3、Source 5) |
| 4K 以下正常、超高分辨率变形 | 超出该版本处理范围 | v1.0 上限约 1536×1536,别盲目再往上顶(Source 2) |
FAQ
Q1:Illustrious 和 Pony、Animagine 有什么区别? A:Illustrious 只靠标签就能画出大量已被训练过的角色,不必先找 LoRA;同时它比 Pony 对负面提示词更敏感,用好负向词收益明显;相较 Animagine,它支持的角色范围更广,画百合与多人场景更省标签(Source 2、Source 3、Source 5)。
Q2:它支持自然语言提示词吗? A:v1.0 与 v1.1 已支持,官方风格指南也把“自然语言 + 标签混写”列为可用方式;但由于底层训练数据是 Danbooru 标签,纯自然语言的效果通常不如标签稳定(Source 2)。
Q3:v1.0 和 v1.1 该选哪个? A:只出图选 v1.0;要训练风格 LoRA 选 v1.1——它数据集更精细、色彩对比更好、对风格更宽容。代价是 v1.1 为 TensorArt 独占,其他平台不一定拿得到(Source 2)。
Q4:SDXL 的 LoRA、ControlNet 能直接用吗? A:能。Illustrious 是 SDXL checkpoint,支持 LoRA、Textual Inversion、ControlNet 与负面提示词;但托管平台上的这类模型通常不与特定角色或参考图系统打通,且 LoRA 堆叠上限约 2–3 个(Source 4)。
Q5:Clip Skip 一定要设成 2 吗? A:目前只有一份指南明确给出“必须设为 2”的建议(Source 2),其他来源未提及。可以此为起点,再按自己的出图结果微调。
Q6:不想装环境,能直接在网页上用吗? A:可以。Mage 这类平台并不提供“唯一一个叫 Illustrious 的模型”,而是在目录里托管多款 Illustrious checkpoint,你挑一个画风合适的,在浏览器标签页里生成即可(Source 4)。
Q7:GGUF 量化和原版权重差别大吗?
A:GGUF 有两种来源——illustrious gguf 由原始 bf16 量化,fast-illustrious gguf 由 fp8 scaled safetensors 量化。作者本人也强调加载速度与效果需自行实测,不存在通用最优解(Source 1)。
Q8:Illustrious 是开源的吗? A:它是开放权重模型。需要注意 Hugging Face 上那个 GGUF 测试包仓库标注的是 apache-2.0,但这只覆盖该仓库的打包产物,基础模型本身仍以官方发布页的许可条款为准(Source 1)。
Q9:用它画有版权的角色会有风险吗? A:有。多份指南明确提示:该模型很容易生成受日本及其他国家著作权保护的角色,请遵守当地法律,不要用于商业或恶意用途,否则可能承担侵权风险(Source 3、Source 5)。
Q10:显存不大,能用吗?
A:优先选 GGUF q4_0 档,并在 9xx 系列及更早的显卡上启用 legacy 模式(--disable-cuda-malloc --lowvram);作者明确表示这条路径就是为老机器准备的(Source 1)。
CTA
如果你更想先看看 Illustrious 在实际项目里的表现、再决定要不要本地部署,可以到 tuniang.ai 逛一圈,那里有相关的实测与整理内容。
Related guides
- agnai 本地部署与使用教程
- Grok 接入酒馆教程:SillyTavern 配置 xAI API 与 400/403 报错全流程
- Janitor AI 中文版怎么用:tuniang reviews 整合教程
- KoboldAI 使用教程