麻豆传媒

基于梯度引导的Tri-Plane扩散模型的非配对3D形状迁移
发布日期:
2026-01-20
浏览次数:
14

区别于传统的2D图像迁移,3D形状到形状的转换(Shape-to-Shape Translation)任务要求在将输入形状的几何和语义转换为新域的同时,保留其原始的结构或拓扑变化。这一特点使得该任务在3D建模和动画领域具有重要意义。然而,由于缺乏成对的训练数据,现有的非配对3D转换方法(主要基于GAN架构,如LOGANUNIST)面临严峻挑战:其一是模式崩溃Mode Collapse),即生成器无法探索完整的数据分布,导致生成结果多样性有限且质量低劣;其二是潜在表示能力不足,即低维的潜在向量或网格难以捕捉丰富的3D形状细节,往往导致输出模糊且难以精确重建输入形状。

针对上述挑战,本文提出了一种基于梯度引导的三平面扩散模型(Gradient-Guided Triplane Diffusion),通过在三平面表示上执行扩散过程来实现非配对形状转换。该方法包含几大创新操作:三平面表示与扩散操作,将3D物体分解为高效的三平面特征(Triplane Representations),利用扩散模型的前向过程平滑特定域的细节并保留整体结构,再通过反向过程逐步去噪以对齐目标域分布;梯度引导机制,设计了结构保持引导(利用低通滤波器保留原始几何结构)和分类器引导(利用预训练分类器促使生成结果符合目标域特征),有效提升了转换的保真度和准确性;跨平面卷积层,在扩散模型中引入该层以增强不同平面轴向特征间的信息交互。实验表明,该方法在ShapeNet数据集(如扶手椅与无扶手椅、桌子与椅子互转)以及动物模型数据集上显著优于现有技术,验证了所提方法的有效性 。

本文的原创性体现在范式转移与机制设计的双重创新。首次将扩散模型引入非配对3D形状转换任务,替代了传统的对抗生成网络(GAN),有效解决了模式崩溃问题,能够生成具有高保真度和高质量的变换形状;提出的梯度引导机制与跨平面卷积设计,巧妙地平衡了源形状的结构保持与目标域的特征对齐。本文为缺乏成对数据情况下的3D几何建模提供了高质量的解决方案,在计算机图形学与几何深度学习领域具有重要的应用价值 。

(第一作者张文逍为麻豆传媒 副研究员;通讯作者刘俊为英国兰卡斯特大学教授)。

原文题目为:“Unpaired 3D Shape-to-Shape Translation via Gradient-Guided Triplane Diffusion”,于2025年被IEEE Transactions on Visualization and Computer Graphics (TVCG) 录用发表,DOI10.1109/TVCG.2025.3535531 TVCG属于中国计算机学会(CCF)推荐A类期刊,是计算机图形学与可视化领域的国际顶级期刊之一,主要发表在可视化、虚拟现实、增强现实、3D计算机图形学等方面的最新研究成果。