单图直出CAD工程文件！新研究解决AI生成3D模型“不可编辑”痛点

从图像到高质量CAD模型的端到端生成流程

在现实世界中，大多数人造物体最初都是通过计算机辅助设计（CAD）软件以参数化的方式建模的。

然而，如今大热的3D AI生成内容（3D AIGC）技术，例如等方法，大多仍依赖于“网格模型”（Mesh）作为基础。

问题也随之而来。

相比CAD的参数化设计，网格模型不仅难以理解，更难精确编辑。用户想要修改一个小部件的尺寸？在CAD中只需调整参数，在网格模型中却可能要大动干戈。

而且，这些AI生成的网格模型表面常常不够光滑，边缘也不够锐利，尤其是使用像 Cubes这样的算法从隐式函数转换生成网格时，几何质量更容易受到影响。

这种粗糙不清的表面，在需要高质量渲染或动画的应用中，显得格外捉襟见肘。

相比之下，CAD的参数化模型则提供了极高的可控性和精度。它们允许用户直接通过参数调整几何形状，实现快速且精准的修改，大大提升了设计的灵活性与可解释性。

就率先尝试了从Image-to-Mesh到Image-to-CAD的范式转变。

方法概述如下：

1. 基于VAE与 的隐空间生成框架

采用了一种结合VAE与扩散模型的两阶段生成架构。

团队训练了一个变分自编码器（VAE），将CAD指令序列映射到一个结构化的隐空间。

接着，在该隐空间中引入条件扩散生成过程：基于 （DiT）架构，训练一个扩散生成大模型，输入条件为用户提供的图像，从而实现图像引导下的CAD隐空间采样与生成。

2. 蒸馏策略：从多视图到单视图的高效建模转移

考虑到从单张图像重建CAD模型的挑战性，团队首先构建了一个多视图输入的DiT生成模型，以更稳定地学习图像到CAD空间的映射关系。

随后，通过引入蒸馏机制（使用损失），将多视图模型的知识迁移到单视图模型中，从而实现了仅基于单张图像进行高质量CAD生成的能力。

3. 引入基于DPO的可编译性代码检查机制

在CAD生成过程中，CAD指令还需经过CAD内核（CAD ）解析，才能生成可视的3D模型。

然而，若生成指令存在语义错误，例如不闭合曲线等问题，模型构建将直接失败。

为解决这一关键挑战，作者设计了一个代码合理性判别模块，用于判断生成的CAD代码是否能够被成功编译。

作者进一步采用DPO（ ）损失，引导模型倾向于生成更可编译、几何结构完整的CAD指令，从而显著提升最终3D模型生成的成功率与实用性。

渲染零件、拍摄的3D打印零件等均能重建

研究团队选取多个标准CAD模型，使用 SOTA 3D打印机将其打印成实物，并通过拍照获取图像输入。

实验表明，能够基于单张图像，准确生成结构清晰、符合几何特征的CAD建模指令，其生成效果在细节还原度方面优于现有方法。

拍摄日常生活中的物体，也能直接生成其设计制造时可用的工程文件，其表面平面度、棱角等细节均符合物体被生产加工制造时的特点（良好表面、尺寸和几何特征均可编辑）。

这一成果不仅展示了在建模精度上的突破，也展现了其在实际应用场景中的可行性。

在制造与维修领域，工程师可通过拍摄现有零件照片，快速生成可编辑的CAD模型，进而加速原型设计或零件重建流程。

团队相信，为AI辅助工业设计提供了新的解决方案，其从Image-to-Mesh到Image-to-CAD的范式转变，有助于推动图像驱动的AI 3D建模向真正可落地应用迈出关键一步。

论文链接：