5-29 有趣的指令Pix2Pix(P2P)

前言：

上一节我们介绍了ControlNet中使用IP-Adapter能力 本节主要介绍ControlNet中的指令P2P。 全称Pix2Pix,顾名思义是针对Pixel像素级别的操作和影响。实际上通俗的理解，我们可以认为，编写一个指令，去影响这个最终图片。 有点和Reference类似，不同的是一个通过图片，一个是通过文字，或者说指令。但最终形成的都是RA/SD处理过程中参考对象的内容或者数据。所以原理是一样的。

知识点：

1. 指令P2P

基础官方知识：

使用 Instruct Pix2Pix 控制稳定的扩散。 模型文件：control_v11e_sd15_ip2p.pth 配置文件：control_v11e_sd15_ip2p.yaml 这是一个在 上训练的控制网络。 与官方的 Instruct Pix2Pix 不同，该模型是用 50% 指令提示和 50% 描述提示进行训练的。例如，“一个可爱的男孩”是描述提示，而“让男孩可爱”是指令提示。 因为这是一个 ControlNet，所以您无需为原始 IP2P 的双 cfg 调整而烦恼。并且，该模型可以应用于任何基本模型。 另外，“将其变成 X”之类的指令似乎比“将 Y 变成 X”效果更好。 使用随机种子 12345 进行非精心挑选的批次测试（“使其着火”）： []( content/uploads/2024/05/ip2p_3.png)

实战

这次我们学习用ControlNet中的 InstructP2P 类型。 关键字这里给它指令 【让它着火】 或 对等英文 set it on fire, 选择一个建筑物的原图， ControlNet配置类型 []( content/uploads/2024/05/image-268.png) 结果出来的图片， 真的着火了。。。。。可以看到，大火的结构样子还是和这个建筑物有点关系的。 。 这样看来，你给的指令可以有很多。比如让2个人打架。。。。 []( content/uploads/2024/05/image-267-1024x671.png) 作为对比， 如果没有ControlNet的参考图控制， 则出来的结果啥也不是 []( content/uploads/2024/05/image-266-1024x470.png) RA/SD 衍生者AI训练营