跟着呆板人负担的动态挪动使命日趋增多，开发者需要具有物理级精度且可以或许跨情况及事情负载高效扩大的仿真体系。练习用在履行这些使命的呆板人计谋与模子依靠年夜量高质量数据，而实际世界中的数据收罗凡是既昂贵又耗时。
合成数据，使用NVIDIA Isaac Sim中的模仿情况天生，是扩大数据天生历程的一种有用要领。 于本博客中，咱们将切磋： 利用 NVIDIA Omniverse NuRec 引入情况素材，构建模仿情况。 将仿真就绪（SimReady）资产添加至仿真场景中。 使用 MobilityGen 于 Isaac Sim 或者 NVIDIA Isaac Lab 中天生合成数据。 经由过程NVIDIA Cosmos世界基础模子（WFM）对于天生的数据举行加强。 利用 Omniverse NuRec 构建 3D 数字孪生 Omniverse NuRec 是一项基在真实传感器数据，用在重修及衬着 3D 交互式仿真的技能。重修的情况可运用在呆板人、主动驾驶以和工业及地舆空间等范畴，撑持合成数据天生、AI 模子练习和模子举动测试。 Isaac Sim 撑持基在 NuRec Gaussian 的神经辐射场（NeRF）、3D Gaussian Splatting（3DGS）以和 3D Gaussian Unscented Transform（3DGUT）。衬着数据采用 OpenUSD 格局，合用在仿真场景。您可以于 Isaac Sim 中加载兼容的资源及场景，并经由过程OmniNuRecVolumeAPI属性对于衬着效果举行节制。如需相识更多关在 NuRec 于呆板人运用中的利用案例，请参考相干文档。 将 SimReady 资产添加至模仿场景中 SimReady 资产是基在OpenUSD的高精度 3D 模子，具有内置的语义标注、密集字幕以和基在USDPhysics的物理特征，可显著简化呆板人仿真的配置流程。 SimReady Warehouse 01 资产包包罗年夜量用在托盘、存储机架及坡道等对于象的USD 模子，可直接拖放参加景中利用。针对于呆板人和相干运用场景，可进一步摸索物理 AI 数据集。 经由过程这类方式，咱们可以于仿真中轻松构建包罗多个对于象的场景。这些模仿情况的一个主要用途是网络用在练习呆板人计谋的合成数据，相干内容咱们将于下一节中具体先容。 采用SimReady 尺度化事情流程，于 OpenUSD 中设计、验证并实行同一的 3D 资产规范。 利用 MobilityGen 天生合成数据 MobilityGen 是一个基在 Isaac Sim 构建的挪动呆板人数据天生事情流。它撑持多种数据收罗方式，包括经由过程键盘及游戏手柄举行长途操作的手动要领，以和采用随机加快及随机路径追随的主动化要领。 于如下示例中，您将进修怎样利用MobilityGen为 Isaac Sim 中的H1 人形呆板人天生数据。该事情流一样合用在其他类型的呆板人，例如四足呆板人及自立挪动呆板人（AMR），并已经于Spot及Carter呆板人上完成验证。 只管 MobilityGen 的数据可用在练习呆板人的挪动计谋，但于数据中引入视觉多样性时，机能将获得晋升。下一节中，咱们将切磋怎样使用 NVIDIA Cosmos 加强数据的视觉多样性。 下文概述了利用 MobilityGen 天生数据的详细步调。 构建占用舆图: 这是一种基在网格的情况暗示要领，用在描写呆板人所处空间，此中每一个网格单位暗示该位置被障碍物盘踞的几率。 记载轨迹: 当挪动呆板人于情况中行进时，体系会记载其运动轨迹，包罗每一一时刻的位置、速率及朝向信息。 回放及衬着: 撑持对于天生的轨迹举行回放，以便评估机能并实现数据的可视化出现。 于如下示例中，咱们将利用 Isaac Sim 提供的堆栈情况来运行 MobilityGen。您也能够使用上一节中先容的 SimReady 素材，自行构建响应的情况。 构建占用舆图的步调 加载堆栈阶段： 打开内容阅读器（窗口 > 阅读器 > 内容）。 于 Isaac Sim/Environments/Simple_Warehouse/warehouse_multiple_shelves.usd 中加载堆栈 USD 文件。 创立占用舆图： 选择“Tools”（东西）>“Robotics”（呆板人）>“Occupancy Map”（占用舆图），以打开扩大步伐。 于“Occupancy Map”（占用舆图）窗口中，将 Origin 设置为： X：2.0 Y：0.0 Z：0.0 留意：要于文本框中输入数值，请按 Ctrl + 左键单击以激活输入模式。 于“Occupancy Map”（占用舆图）窗口中，将“Upper Bound”（上限）设置为： X：10.0 Y：20.0 Z：2.0（假定呆板人可于 2 米高的立交桥下通行） 将“Lower Bound”（下限）设置为： X：-14.0 Y：-18.0 Z：0.1（假定呆板人可越太高在 5 厘米的障碍物） 单击“Calculate”（计较）以天生占用舆图。 单击“Visualize Image”（可视化图象）查看天生成果。 于“Visualization”（可视化）窗口的“Rotate Image”（扭转图象）下方，选择 180。 于“Visualization”（可视化）窗口的“Coordinate Type”（坐标类型）下，选择“ROS Occupancy Map Parameters File YAML”（ROS 占用舆图参数文件 YAML）。 单击“Regenerate Image”（从头天生图象）。 将天生的 YAML 文本复制到剪贴板。 于所选的文本编纂器中，创立一个新文件，定名为：~/MobilityGenData/maps/warehouse_multiple_shelves/map.yaml（留意：于 Windows 体系中，请将 ~ 替代为自界说的目次路径） 将从“Visualization”（可视化）窗口复制的 YAML 文本粘贴至该文件中。 修改此中的行：image: warehouse_multiple_shelves.png为：image: map.png生存文件。 返回“Visualization”（可视化）窗口，单击“Save Image”（生存图象）。 于树状资源治理器中，打开文件夹：~/MobilityGenData/maps/warehouse_multiple_shelves于文件名输入框中，输入：map.png单击“Save”（生存）。 请确认您当前是否存于名为~/MobilityGenData/maps/warehouse_multiple_shelves/的文件夹，且该文件夹中包罗map.yaml及map.png两个文件。 记载轨迹的步调 创立情况舆图后，您便可利用 MobilityGen 天生数据： 启用 MobilityGen UI 扩大步伐。 前去Window > Extensions，然后搜刮MobilityGen UI。 单击MobilityGen UI扩大步伐的切换开关。 留意：此时应会呈现两个窗口。此中一个为 MobilityGen 用户界面，另外一个用在显示占用舆图和可视化效果。窗口首次呈现时可能彼此遮挡，是以建议将它们别离拖动至窗口窗格中，以便同时查看这两个窗口。 构建场景： 于MobilityGen窗口的Stage下，粘贴如下 USD 路径： http://omniverse-content-production.s3-us-west-2.amazonaws.com/Assets/Isaac/5.0/Isaac/Environments/Simple_Warehouse/warehouse_multiple_shelves.usd 于MobilityGen窗口的Occupancy Map区域，输入此前创立的map.yaml文件的路径： ~/MobilityGenData/maps/warehouse_multiple_shelves/map.yaml 于Robot下拉菜单中，选择H1Robot。 于Scenario下拉菜单中，选择KeyboardTeleoperationScenario。 单击Build。 数秒后，请确认场景是否乐成加载，并查抄占用舆图是否正常显示。 利用如下按键试驾呆板人： W – 向前挪动 A – 向左转 S – 向后挪动 D – 向右转 最先录制： 单击Start recording以启动日记记载。 操控呆板人于场景中挪动。 完成操作后，单击Stop recording以竣事录制。 默许环境下，数据此刻会记载到~/MobilityGenData/recordings。 回放与衬着步调 于记载轨迹（包括呆板人位姿等数据）后，您便可回放该场景。 利用 Isaac Sim 自带的replay_directory.pyPython 剧本。于 Isaac Sim 目次下履行如下号令便可运行该剧本： ./python.sh standalone_examples/replicator/mobility_gen/replay_directory.py --render_interval 40 --enable isaacsim.replicator.mobility_gen.examples 剧本完成后，请确认您拥有~/MobilityGenData/replays文件夹，此中包罗已经衬着的传感器数据。您可以打开该文件夹以阅读及摸索相干数据。 有关怎样加载及处置惩罚开源MobilityGen GitHub 堆栈中记载数据的示例。建议您运行Gradio 可视化剧本，以直不雅展示所记载的数据。 如需相识更多信息（例如怎样添加自界说呆板人），请参阅利用 MobilityGen 天生数据的教程。 利用 NVIDIA Cosmos 加强天生式练习数据 利用 MobilityGen 天生数据后，经由过程Cosmos Transfer从合成呆板人数据天生传神的视频。该要领增长了视觉多样性，有助在缩小仿真与实际之间的差距，并晋升计谋于现实部署中的体现。
图 1。高级 SDG 事情流程包罗利用 MobilityGen 天生合成数据，并经由过程 Cosmos Transfer 举行数据加强，从而构建用在练习呆板人模子的高质量数据集。 Cosmos Transfer 是一种 WFM，可以或许按照 RGB、深度、支解等多种视频模式的输入天生传神的视频。除了了输入视频外，您还有可以提供文本提醒，用在详细引导但愿天生的视频内容。如下是提醒示例： A realistic warehouse environment with consistent lighting, perspective, and camera motion. Preserve the original structure, object positions, and layout from the input video. Ensure the output exactly matches the segmentation video frame-by-frame in timing and content. Camera movement must follow the original path precisely. 利用 Cosmos Transfer 运行推理的示例号令以下： export CUDA_VISIBLE_DEVICES="美金{CUDA_VISIBLE_DEVICES:=0,1,2,3}" export CHECKPOINT_DIR="美金{CHECKPOINT_DIR:=./checkpoints}" export NUM_GPU="美金{NUM_GPU:=4}" PYTHONPATH=美金(pwd) torchrun --nproc_per_node=美金NUM_GPU --nnodes=1 --node_rank=0 cosmos_transfer1/diffusion/inference/transfer.py \ --checkpoint_dir 美金CHECKPOINT_DIR \ --video_save_folder outputs/example1_single_control_edge \ --controlnet_specs assets/inference_cosmos_transfer1_single_control_edge.json \ --offload_text_encoder_model \ --offload_guardrail_models \ --num_gpus 美金NUM_GPU 于试验室的闭环评估历程中，基在合成数据与 Cosmos 加强数据练习的计谋体现 consistently 优在仅利用合成数据练习的计谋。这种联合了合成数据及 Cosmos 加强数据的练习计谋，可以或许有用应答如下场景： 绕过透明的障碍物。 避开与配景融为一体的障碍物，例如灰色地板上的灰色电线杆。 接近障碍物行驶，以缩短达到方针位置的总间隔。 于光芒较暗的情况中实现不变导航。 于狭小通道中完成精准通行。 您可以对于任何真实或者合成的视频数据运行 Cosmos Transfer。另外一个示例是利用 Cosmos 举行合成数据集加强的教程。该教程先容了怎样于 Isaac Sim 中使用 Replicator 天生合成数据。 入门指南 NVIDIA 提供富厚的OpenUSD 资源，助您加快进修进程。从自定进度的Learn OpenUSD、数字孪生及呆板人培训课程入手，慢慢把握本指南所涵盖的焦点技术。 对于在但愿于呆板人范畴职业成长上更进一步的专业人士，OpenUSD Development 认证提供了一项专业级测验，用以验证您于利用 OpenUSD 构建、维护及优化 3D 内容流程方面的专业能力。您可于NVIDIA GTC 华盛顿特区现场获取 OpenUSD 认证，并于物理 AI 与呆板人日时期深切相识用在呆板人开发的合成数据。 原文标题：借助 NVIDIA Isaac Sim 构建合成数据流水线，练习更智能的呆板人
文章来由：【微旌旗灯号：NVIDIA-Enterprise，微信公家号：NVIDIA英伟达企业解决方案】接待添加存眷！文章转载请注明来由。
FPGA中的流水线设计 处置惩罚速率）。第二 何时用流水线设计利用流水线通常为时序比力紧张，对于电路事情频率较高的时辰。典型环境以下：1）功效模块之间的流水线，用乒乓 buffer 来交互数据。价钱是增长了 m 发表在 10-26 14:38 流水线中的相干培训教程[4] 流水线中的相干培训教程[4]下面会商怎样使用编译器技能来削减这类必需的暂停，然后阐述怎样于流水线中实现数据有关检测及定向。 电镀流水线的PLC节制 电镀流水线的PLC节制电镀流水线的PLC节制电镀流水线的PLC节制 发表在 02-17 17:13 •36次下载 各类流水线特色和常见流水线设计方式 根据流水线的运送方式大要可以分为：皮带流水装置线、板链线、倍速链、插件线、网带线、吊挂线和滚筒流水线这七类流水线。
豫公网安备 41072802000523号