轻量级神经网络可实时呈现机织织物的真实感
人工智能 (AI) 和计算领域的最新进展推动了用于创建高度逼真的媒体、虚拟现实 (VR) 环境和视频游戏的新工具的开发。其中许多工具现在被世界各地的图形设计师、动画电影创作者和视频游戏开发者广泛使用。虚拟和数字化环境中，面料是难以真实再现的一个方面。虽然目前已有各种计算工具可用于数字化设计逼真的基于面料的物品（例如围巾、毯子、枕头、衣服等），但实时创建和编辑这些面料的逼真渲染图可能具有挑战性。
山东大学和南京大学的研究人员最近推出了一种用于实时渲染机织织物的新型轻量级人工神经网络。他们提出的网络在计算机图形学和交互技术特别兴趣小组会议论文 '24上发表的一篇论文中进行了介绍，其工作原理是将织物的图案和参数编码为一个小的潜在向量，然后解码器可以对其进行解释，以产生各种织物的真实表示。
“我们的论文源于提高实时虚拟世界真实感的愿望，”论文合著者项晨告诉 Tech Xplore。“织物被广泛使用，影响着真实感，因此必须有一种实时渲染真实织物的方法。我们发现最新的基于表面的织物模型重量轻但逼真，为实时织物渲染奠定了基础，因此我们试图提出一种实现它的方法。”
编织织物图案（即由编织线形成的纺织品图案）往往规则且重复。陈和他的同事开始利用其重复性来实现实时逼真的渲染。
他们开发的算法首先将织物的规则图案编码成一个小的潜在向量。然后由一个小型解码器处理这个向量，解码器对其进行解释并利用其中编码的信息来生成给定织物的真实表示。
“我们提出了一种具有编码器-解码器结构的神经网络，”陈解释道。
“通过将编织织物材料编码为潜在向量，我们的网络经过训练后可以表示多种编织织物类型。此外，我们发现目标的分布很复杂，但可以分离。因此，我们将其分成四个更简单的部分，让轻量级解码器来表示它们。”
虽然研究人员开发的网络体积小、重量轻，但研究人员发现，它能够有效、快速地复制多种类型的织物。与过去引入的其他计算方法相比，它还能够实时渲染和随后编辑渲染后的织物。
在初步测试中，陈和他的同事展示了他们的算法能够在 NVIDIA RTX 3090 显卡上以惊人的每秒 60 帧的速度渲染和编辑编织织物。值得注意的是，它还可以生成没有可见噪音和可辨别缺陷的高质量渲染图。
未来，该团队的神经网络可以集成到图形设计平台中，让设计师进一步提高他们所创作的视频游戏或动画的真实感。与此同时，陈和他的同事们计划扩展他们的算法的功能，例如，让它能够逼真地再现机织织物以外的其他纺织品。
陈补充道：“通过将织物表示模型引入实时渲染，我们的方法可以进一步提高各种现实世界应用（例如视频游戏）的真实感。”
“目前，我们的方法仅支持机织织物，但我们很快将希望将其扩展到其他织物类型，如针织织物。我们计划探索的另一个方向是更复杂织物的表示。”
页:
[1]