Stability AI发布SPAR3D:实时编辑和即时结构生成,彻底改变3D建模
2025年1月8日 – Stability AI 在CES上与英伟达合作,推出了一项突破性进展:Stable Point Aware 3D (SPAR3D),这是一个最先进的模型,有望改变3D资产创建的格局。SPAR3D设计可在英伟达RTX AI电脑上无缝运行,可在不到一秒的时间内从单个图像实时编辑和完整生成3D对象的结构,为3D建模行业树立了新的标杆。
发生了什么
Stability AI以其Stable Diffusion等开源AI工具而闻名,现已推出SPAR3D,这是一种革命性的3D建模工具,它利用人工智能来促进快速和精确的3D资产创建。在与英伟达合作的消费电子展(CES)上宣布,SPAR3D设计可在英伟达RTX AI电脑上高效运行,使用户能够在不到一秒的时间内从单个图像生成详细的3D对象。
该模型的发布同时提供了Stability AI 社区许可证下的免费版本,适用于商业和非商业用途。开发者和创作者可以通过多个平台访问SPAR3D,包括用于权重下载的Hugging Face、用于代码访问的GitHub和用于与现有工作流程无缝集成的Stability AI开发者平台API。
主要收获
-
**实时3D生成:**SPAR3D可在不到一秒的时间内从单个图像创建完整的3D对象结构,彻底改变了3D建模的速度。
-
**高级编辑功能:**用户可以直接操作点云——删除、复制、拉伸、添加特征或重新着色点——从而实现对3D资产前所未有的控制。
-
**创新的双阶段架构:**结合精确的点云采样和高级网格生成,确保精确的几何形状和详细的360度视图,包括隐藏区域。
-
**易用性和开源:**在Stability AI社区许可证下免费提供,可以通过Hugging Face、GitHub和Stability AI开发者平台API访问资源。
-
**行业就绪性能:**在GSO和Omniobject3D数据集上优于现有算法,尤其是在图像遮挡处理和细节重建方面表现出色。
深入分析
SPAR3D标志着人工智能和3D建模集成方面的一项重大进步,解决了游戏、产品设计和虚拟环境创建等行业面临的关键挑战。该模型能够在不到一秒的时间内从单个图像生成高度详细的3D网格,大大减少了3D原型制作和资产创建所需的时间和资源。
SPAR3D创新的核心在于其两阶段架构。第一阶段采用专门的点扩散模型来生成详细的点云,捕捉对象的根本结构。第二阶段利用三平面变换器来处理这个点云以及原始图像特征,生成驱动最终重建的高分辨率三平面数据。这种双阶段方法和谐地融合了基于回归的建模的精度和生成技术的创造性灵活性,从而产生精确的几何形状和全面的360度预测。
该模型的实时编辑功能使用户能够直接与点云交互,允许进行诸如删除、复制、拉伸和重新着色点之类的修改。这种控制水平增强了创作过程,使设计师能够快速迭代并实现所需的结果,而无需进行大量的手动调整。
此外,SPAR3D在处理图像遮挡和重建复杂细节方面的性能使其区别于现有模型。通过采用显式的点云作为中间表示,SPAR3D促进了进一步的用户驱动编辑,从而改善了整体用户体验并扩展了3D建模工具的潜在应用。
尽管拥有强大的技术实力,但SPAR3D是在Stability AI面临财务和运营挑战之际进入市场的。该公司在2024年面临严重的财务压力,包括累积未付账款和领导层变动,但已成功获得知名投资者的巨额资金。这笔资金的注入,加上SPAR3D的推出,使Stability AI能够克服最近的障碍,并抓住对人工智能驱动3D建模解决方案日益增长的需求。
你知道吗?
-
**速度和效率:**SPAR3D可以在短短0.7秒内将单个2D图像转换成完全详细的3D模型,编辑后只需0.3秒即可完成最终网格生成。
-
**开放访问:**SPAR3D模型可免费用于商业和非商业用途,为全球开发者和创作者营造了协作的环境。
-
**技术优势:**SPAR3D在GSO和Omniobject3D等基准数据集上优于多种最先进的算法,尤其是在涉及图像遮挡和复杂细节重建的场景中表现出色。
-
**综合许可:**年收入超过100万美元的组织可以咨询企业许可证,确保大型企业的可扩展性和支持。
-
**社区和发展:**通过在Hugging Face和GitHub等平台上提供SPAR3D,Stability AI鼓励社区驱动的开发和模型的持续改进。
Stability AI的SPAR3D将重新定义3D建模的标准,提供无与伦比的速度、精度和控制。随着各行业越来越多地采用人工智能驱动的工具来增强其创作过程,SPAR3D作为一项关键创新脱颖而出,弥合了快速原型制作和高保真3D资产创建之间的差距。尽管公司最近面临财务挑战,但在强大的投资者支持下推出的SPAR3D,突显了Stability AI致力于推进人工智能在创意技术领域的进步。