過程:(1)提供原始影像,(2)建立遮罩指示要重新生成的區域,(3)可選地提供文字提示描述遮罩區域中應出現的內容,(4)模型只對遮罩區域進行去噪,同時保持未遮罩區域固定,使用周圍上下文確保連貫性。模型在生成過程中看到整個影像(遮罩和未遮罩區域),確保新內容在光線、透視和風格上匹配。
外擴繪圖擴展影像畫布:想像拍一張肖像照並將其擴展以顯示整個房間。模型在邊界處生成與現有影像一致的新內容。這對以下場景有用:改變長寬比(將正方形影像變為橫向)、為裁切的影像添加上下文,以及從單張照片建立全景視圖。品質取決於原始影像提供了多少上下文。
為獲得乾淨的修復結果:遮罩要稍大於你想改變的區域(模型在有些重疊時處理過渡效果更好)、為替換內容提供描述性提示、使用適當的去噪強度(替換內容時 0.7–0.9,微妙修改時 0.3–0.5),並確保遮罩邊緣是羽化的而非銳利的,以實現無縫融合。