基于Omniverse的NVIDIA Isaac Sim 现已发布公测版

发布: 2021-06-22 23:34 | 作者: | 来源: | 字体: 小中大

全新Isaac模拟引擎不但能够创造更逼真的环境，而且还能简化合成数据生成和域随机化，从而建立真值数据集来训练用于物流、仓库、未来工厂等的各种机器人。

Omniverse是NVIDIA模拟器的根本基础，包括加入了多项新功能的Isaac平台。NVIDIA Isaac Sim目前已发布公测版，值得期待。您可以通过该平台探索更高级的机器人模拟功能。

Isaac Sim基于NVIDIA Omniverse平台而构建，它是一个机器人模拟应用与合成数据生成工具。机器人专家可使用它更高效地训练和测试机器人，模拟机器人与指定环境的真实互动，而且这些环境可以超越现实世界。

Isaac Sim的发布还增加了经过改进的多摄像头支持功能、传感器功能以及一个PTC OnShape CAD导入器，让3D素材的导入变得更加轻松。从实体机器人的设计和开发、机器人的训练，到在“数字孪生”中的部署（数字孪生是一种精确、逼真的机器人模拟和测试虚拟环境），这些新功能将全方位地扩大可以建模和部署的机器人和环境范围。

主要新功能

● 支持多摄像头

● 带合成数据的鱼眼相机

● 支持ROS2

● PTC OnShape导入器

● 经过改进的传感器支持

○ 超声波传感器

○ 力传感器

○ 自定义激光雷达模式

● 可从NVIDIA Omniverse Launcher中下载

Isaac Sim可以将多摄像头传感器数据发送到Rviz（ROS可视化工具）

在Isaac Sim中控制Dofbot操作机器人

Isaac Sim实现了更多的机器人模拟

开发者早已明白强大的模拟环境对机器人测试和训练的益处，但此类模拟器往往存在着限制其使用的缺点。Isaac Sim通过以下优势来弥补这些缺点。

逼真的模拟

为了提供逼真的机器人模拟，Isaac Sim运用了Omniverse平台的强大技术：使用PhysX 5进行高级GPU物理模拟、借助实时光线追踪和路径追踪实现高逼真度，以及支持物理渲染的材质定义语言（Material Definition Language ，MDL）。

模块化设计与丰富的应用

Isaac Sim专为解决许多最常见的机器人用例而创建，包括操控、自主导航和用于训练数据的合成数据生成。其模块化设计能够让用户轻松自定义和扩展工具集，以适应多种应用和环境。

无缝连接和互操作性

借助NVIDIA Omniverse，Isaac Sim可以使用Omniverse Nucleus和Omniverse Connectors在通用场景描述（USD）中合作构建、分享、导入环境模型与机器人模型。通过ROS/ROS2接口或功能齐全的Python脚本，以及用于导入机器人模型和环境模型的插件，可以轻松地让机器人的大脑与虚拟世界相连。

Isaac Sim的合成数据生成助力实现机器学习

合成数据生成是一个重要的工具，它正在被越来越多地用于训练当今机器人的感知模型。获取真实世界的、正确标记的数据是一项耗时且成本高昂的工作。但就机器人技术而言，在现实世界中收集某些所需的训练数据可能太困难或太危险。对于必须靠近人类工作的机器人来说尤其如此。

Isaac Sim 内置了对训练感知模型很重要的各种传感器类型的支持。这些传感器包括 RGB、深度、边界框和分割。

玻璃物体的真值合成数据

在公测版中，我们能够输出KITTI格式的合成数据。这些数据可以直接用于NVIDIA迁移学习工具包，以使用特定用例数据提高模型性能。

域随机化

域随机化能够对定义模拟场景的参数进行更改，如场景中的照明、颜色和材质纹理等。域随机化的主要目标之一，便是通过将神经网络暴露在所模拟的各种域参数中，来加强机器学习（machine learning ，ML）模型的训练。这有助于模型在真实世界场景中实现有效的泛化。实际上，这项技术能够教会模型忽略不重要的内容。