过程:(1)提供原始图像,(2)创建掩码指示要重新生成的区域,(3)可选地提供描述掩码区域应出现内容的文本提示,(4)模型仅对掩码区域去噪,同时保持未掩码区域固定,利用周围上下文确保连贯性。模型在生成过程中看到完整图像(包括掩码和未掩码区域),确保新内容与光照、透视和风格匹配。
图像外扩扩展图像画布:想象拍一张肖像照并将其扩展以显示整个房间。模型在边界生成与现有图像一致的新内容。这对以下场景有用:更改宽高比(将正方形图像变为横向图像)、为裁剪的图像添加上下文,以及从单张照片创建全景视图。质量取决于原始图像提供了多少上下文。
为获得干净的修复结果:遮盖区域略大于你要更改的部分(模型在有一些重叠时处理过渡更好),为替换内容提供描述性提示,使用适当的去噪强度(0.7–0.9用于替换内容,0.3–0.5用于细微修改),并确保掩码边缘是羽化的而非锐利的,以实现无缝融合。