单张图径直就能生成可剪辑的 CAD 工程文献！claude 文爱

来自魔芯科技、NTU 等的说合东说念主员提倡图生 3D 新框架，名为CADCrafter。

CADCrafter 和已往得到网格（Mesh）或 3D 高斯泼溅（3DGS）的图生 3D 标准大不雷同。

岂论是零件渲染图，依然拍摄的 3D 打印零件，以致是收缩拍摄的平方糊口中的物体，CADCrafter 均好像生成的对应的原始 CAD 文献（以 CAD 请示的面容暗意，包括表征每个几何特征的请示和对应参数）。

而且通过 CAD 编译器进行编译，可得到径直分娩加工的 3D 文献（如 STP 模式的文献）。

用户不错通过剪辑 CAD 请示杀青对物体的剪辑（下图右）。

实验中，从落地实用性、名义质料等特质来看，CADCrafter 相较于现在的图生 3D 标准均有权臣擢升。

这项说合的作家来自 KOKONI 3D（魔芯科技）、新加坡南洋理工大学、新加坡 A*STAR、西湖大学、德州大学奥斯汀分校和浙江大学。

通信作家为魔芯科技创举东说念主 Tianrun Chen 和新加坡 A*STAR 说合科学家 Fayao Liu。

论文已被 CVPR 2025 接纳。

以下是更多细节。

从图像到高质料 CAD 模子的端到端生成过程

在试验寰宇中，大无数东说念主造物体率先王人是通过运筹帷幄机扶植联想（CAD）软件以参数化的面容建模的。

关联词，如今大热的 3D AI 生成内容（3D AIGC）本事，举例 TRELLIS 等标准，大多仍依赖于"网格模子"（Mesh）手脚基础。

问题也随之而来。

比拟 CAD 的参数化联想，网格模子不仅难以清爽，更难精确剪辑。用户思要修改一个小部件的尺寸？在 CAD 中只需调理参数，在网格模子中却可能要大动战争。

而且，这些 AI 生成的网格模子名义时常不够光滑，边际也不够敏感，尤其是使用像 Marching Cubes 这么的算法从隐式函数转念生成网格时，几何质料更容易受到影响。

这种神圣不清的名义，在需要高质料渲染或动画的哄骗中，显得很是掣襟肘见。

比拟之下，CAD 的参数化模子则提供了极高的可控性和精度。它们允许用户径直通过参数调理几何体式，杀青快速且精确的修改，大大擢升了联想的生动性与可讲解性。

CADCrafter 就率先尝试了从 Image-to-Mesh 到 Image-to-CAD 的范式改换。

标准详尽如下：

1. 基于 VAE 与 Diffusion Transformer 的隐空间生成框架

CADCrafter 汲取了一种结合 VAE 与扩散模子的两阶段生成架构。

发轫，团队锤真金不怕火了一个变分自编码器（VAE），将 CAD 请示序列映射到一个结构化的隐空间。

接着，在该隐空间中引入要求扩散生成过程：基于 Diffusion Transformer（DiT）架构，锤真金不怕火一个扩散生成大模子，输入要求为用户提供的图像，从而杀青图像疏通下的 CAD 隐空间采样与生成。

2. 蒸馏计谋：从多视图到单视图的高效建模转动

斟酌到从单张图像重建 CAD 模子的挑战性，团队发轫构建了一个多视图输入的 DiT 生成模子，以更安静地学习图像到 CAD 空间的映射关系。

随后，通过引入蒸馏机制（使用 Ldistill 亏损），将多视图模子的常识迁徙到单视图模子中，从而杀青了仅基于单张图像进行高质料 CAD 生成的才略。

3. 引入基于 DPO 的可编译性代码查验机制

在 CAD 生成过程中，CAD 请示还需经过 CAD 内核（CAD Kernel）贯通，才调生成可视的 3D 模子。

关联词，若生成请示存在语义诞妄，举例不闭合弧线等问题，模子构建将径直失败。

为责罚这一重要挑战，作家联想了一个代码合感性判别模块，用于判断生成的 CAD 代码是否好像被得胜编译。

作家进一步汲取 DPO（Direct Preference Optimization）亏损，疏通模子倾向于生成更可编译、几何结构完好的 CAD 请示，从而权臣擢升最终 3D 模子生成的得胜率与实用性。

渲染零件、拍摄的 3D 打印零件等均能重建

说合团队中式多个标准 CAD 模子，使用 KOKONI SOTA 3D 打印机将其打印成什物，并通过拍照获得图像输入。

实验标明，CADCrafter 好像基于单张图像，准确生成结构明显、相宜几何特征的 CAD 建模请示，其生生效果在细节规复度方面优于现存标准。

拍摄平方糊口中的物体，CADCrafter 也能径直生成其联想制造时可用的工程文献，其名义平面度、棱角等细节均相宜物体被分娩加工制造时的特质（细腻名义、尺寸和几何特征均可剪辑）。

这一恶果不仅展示了 CADCrafter 在建模精度上的壅塞，也展现了其在本体哄骗场景中的可行性。

举例，在制造与维修畛域，工程师可通过拍摄现存零件像片，快速生成可剪辑的 CAD 模子，进而加快原型联想或零件重建过程。

团队肯定，CADCrafter 为 AI 扶植工业联想提供了新的责罚决议，其从 Image-to-Mesh 到 Image-to-CAD 的范式改换，有助于鼓舞图像启动的 AI 3D 建模向确实可落地哄骗迈出重要一步。

论文联接：https://arxiv.org/pdf/2504.04753

一键三连「点赞」「转发」「提神心」

迎接在驳倒区留住你的思法！

—  完  —

学术投稿请于责任日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿内容‍

附上论文 / 面容主页联接，以及关系面容哦

咱们会（尽量）实时回话你

� � 点亮星标 � �

科技前沿剖析逐日见claude 文爱