2月20日 消息:機器人學習技術能夠概括廣泛的任務、設置和對象。不幸的是，這些策略需要廣泛、多樣化的數據集，而在實際的機器人環境中獲取這些數據集既困難又昂貴。機器人學習的普遍性需要訪問機器人直接環境之外的先驗或數據。

數據擴充是增強模型泛化能力的有用工具。但大多數方法在低級視覺空間中運行，以顏色抖動、高斯模糊和裁剪等方式改變數據。然而，它們仍然無法處理圖片中顯著的語義差異，例如分散注意力的元素、不同的背景或不同對象的外觀。

GenAug 是由華盛頓大學和 Meta AI 開發的語義數據增強框架，它使用預訓練的文本到圖像生成模型來促進實際機器人中基于模仿的學習。與機器人數據相比，預訓練的生成模型可以訪問更大、更多樣化的數據集。這項研究使用這些生成模型來補充數據，以訓練現實世界中的實際機器人。這項研究基于這樣一種直覺信念，即盡管場景、背景和項目外觀存在差異，但在一個環境中完成任務的方法通常應該可以轉移到不同情況下的相同任務。

生成模型可以生成截然不同的視覺情況，具有不同的背景和項目外觀，在這些情況下，相同的行為仍然有效。同時，有限的機器人體驗提供了所需行為的演示。此外，這些生成模型是根據真實數據訓練的，因此生成的場景看起來逼真且多變。通過這樣做，可以從有限數量的演示中輕松且經濟地生成大量語義，從而使學習代理可以訪問比僅在機器人上演示數據更多樣化的設置。

GenAug 可以為全新的真實環境生成“增強的”RGBD 圖像，展示機器人在現實世界中可能體驗到的場景的視覺真實性和復雜性，給定真實機器人系統上提供的圖像動作示例數據集。具體來說，對于在桌面上執行操作任務的機器人，GenAug 結合使用語言提示和生成模型來改變項目的紋理和形狀，并添加新的分散注意力的元素和與原始場景在物理上保持一致的背景場景。

Meta 的研究論文表明，GenAug 可用于從單一、簡單的環境創建10個真實世界的復雜演示。根據研究結果，與傳統方法相比，GenAug 可以將機器人訓練提高40%，讓機器人可以在從未見過的地方和物品上進行訓練。

該團隊計劃將 GenAug 應用于機器人學習的其他領域，例如行為克隆和強化學習，并超越更困難的操作問題。研究人員認為，研究語言和視覺語言模型的混合是否或是否可以提供出色的場景生成器，這將是一種引人入勝的方法。