抠图崩溃?试试这个免费的 AI 解决方案 ①

抠图崩溃?试试这个免费的 AI 解决方案


以往,要创建一张透明背景的图片,我们需要在 Photoshop 中投入数小时的精细工作。即便这样,一点小小的错误也可能导致成果远远低于预期,带来极大的挫败感。尽管人工智能在移除背景方面表现出色,对于一些复杂的图像,AI 去背景技术仍然可能无法完美去除所有部分。然而,最新的 AI 技术 LayerDiffusion 的问世彻底改变了这一切。你只需要通过简单的几个指令,它就能迅速生成符合我们预期的透明背景图片,将之前的烦恼一扫而空。


这个工具是由 ControlNet 的创作者带来的最新杰作。但 LayerDiffusion 究竟是如何实现这一切的呢? 要怎样才能有效利用 LayerDiffusion 呢?让我们一探究竟。

1. 技术原理


LayerDiffusion 的特点是其能够精准地辨识出图像内的透明度信息,同时保持图像整体外观不受损坏。相对于传统抠图技术依赖于像素颜色的训练,这个潜在扩散模型(Latent Diffusion Model)让抠图流程变得更为轻松和准确。


该工具利用了可视化技术来训练基础模型,以生成透明图像,并且能够训练多层模型以便同时生成多个图层。在训练基础扩散模型时(情景 a),所有模型的权重均可进行训练。而在训练多层模型时(情景 b),仅有两个 LoRA(前景 LoRA 和背景 LoRA)是可训练的。


2. 安装

首先,你需要下载 ComfyUI LayerDiffuse 插件 (opens in a new tab) 。如果你不清楚具体应该如何安装,可以参考这篇教程:如何安装 ComfyUI 插件? (opens in a new tab)

另外,你也可以在 GitHub 上下载插件作者做好的 workflow,然后将其导入到 ComfyUI 或者 Comflowy 里面。将 workflow 导入到 Comflowy 后,你会看到缺失插件的引导,点击安装按钮,即可一键安装缺失插件:


Layer Diffusion 支持 XL 和 1.5 的 base model,这里我下载的 Checkpoint 模型是 DreamShaper XL Lightning (opens in a new tab)。 如果你想试用更多高质量的模型,可以在 Model 页面 (opens in a new tab) 寻找下载。


3. 效果演示

这是一个生成透明素材的工作流,我用简单的提示词生成了一只狗。最后抠图后的狗的轮廓形很精准,甚至完整识别到了边缘反光。


当然,你也可以下载自己喜欢的 Lora 模型来控制最后的生成风格,我使用了一个生成动漫贴画风格的 Lora,可以看到最后生成的小狗非常可爱,很有卡通贴纸的味道。


这里我使用的 Lora 模型是 Stickers.Redmond - Stickers Lora for SD XL (opens in a new tab) 它生成的贴纸图像颜色和质感很棒,如果你也感兴趣的话,可以尝试。


在上期 AI-Weekly-010 (opens in a new tab) 中我们曾介绍过 Face-to-sticke 这个在线将人脸照片转换为贴纸工具。现在,你可以通过这个工作流来实现这个效果。


提示词:Taylor Swift,portrait, sticker, 8k, high quality


提示词:Justin bieber,portrait, sticker, 8k, high quality


提示词:Anne Hathaway,portrait, sticker, 8k, high quality