Open X-Embodiment: 정의 및 로봇 학습에 중요한 이유

오픈 X 구현이란 무엇입니까?

Open X-Embodiment는 Franka, WidowX, UR5, Kuka 등의 팔에 걸쳐 22개 이상의 서로 다른 로봇 실시예와 전 세계 수십 개의 연구소에서 수집된 로봇 조작 시연의 통합 데이터세트입니다. 데이터세트는 집기, 놓기, 서랍 열기, 액체 붓기, 표면 닦기 등 수백 가지의 개별 조작 작업을 다루는 총 백만 개 이상의 에피소드로 구성되어 있습니다.

이름의 "X"는 교차 구현을 의미합니다. OXE의 정의적인 야망은 로봇 본체 전체에 지식을 전달하는 정책을 교육하는 것입니다. 전체 OXE 데이터 세트에 대해 사전 훈련된 정책은 광범위한 팔 형상, 그리퍼 유형, 카메라 구성 및 작업 도메인의 조작 동작을 확인하여 처음부터 훈련하는 것보다 훨씬 적은 수의 시연으로 새로운 로봇에 맞게 미세 조정할 수 있는 풍부한 사전 정보를 제공합니다.

참여기관 및 데이터세트 구성

기여 기관으로는 Stanford, UC Berkeley, Google DeepMind, Carnegie Mellon, MIT, ETH Zurich 등이 있습니다. 각 연구실은 기존 데모 데이터 세트를 표준화된 형식으로 제공했습니다. 데이터 세트는 Google Cloud Storage에 호스팅되며 연구용으로 무료로 사용할 수 있습니다. 하위 데이터 세트의 크기는 상당히 다양합니다. 일부 실험실에서는 수만 개의 에피소드를 제공하고 다른 실험실에서는 수백 개의 에피소드를 제공했습니다. 작업 분배는 가장 일반적인 실험 설정을 반영하여 탁상용 선택 및 배치 쪽으로 치우쳐 있지만 물체, 조명 조건 및 암 구성의 다양성은 실제로 광범위합니다.

Google의 RT-2(Robotics Transformer 2) 및 후속 모델은 OXE 데이터에 대해 교육을 받았으며 교차 구현 사전 교육이 단일 로봇 교육보다 의미 있게 더 나은 제로샷 일반화 정책을 생성한다는 것을 보여주었습니다. 이 결과는 핵심 OXE 가설을 검증하고 현장 전반에 걸쳐 교차 구현 데이터 세트의 채택을 가속화했습니다.

데이터세트 형식 및 RLDS

OXE는 로봇 궤적을 저장하기 위한 TensorFlow 데이터 세트 기반 스키마인 RLDS(Robot Learning Dataset 사양) 형식을 사용합니다. RLDS의 각 에피소드는 일련의 단계로, 각 단계에는 관찰 사전(이미지, 관절 상태, 그리퍼 상태), 동작 벡터, 보상 신호 및 작업을 설명하는 언어 주석이 포함되어 있습니다. 스키마는 실시예 전반에 걸쳐 다양한 관찰 양식과 행동 공간을 수용할 수 있을 만큼 충분히 유연합니다.

RLDS를 사용하려면 TensorFlow 또는 rlds_creator 라이브러리가 필요합니다. Hugging Face의 LeRobot은 OXE 데이터를 자체 형식으로 변환하는 변환 유틸리티를 제공하여 PyTorch를 선호하는 연구자가 액세스할 수 있도록 합니다. SVRC 데이터 플랫폼 RLDS 및 LeRobot 모두와 호환되는 형식으로 데이터 세트를 내보내 향후 OXE 릴리스에 직접 기여할 수 있습니다.

OXE에 기부하는 방법

데이터 세트를 OXE에 기여하려면 RLDS에서 데모 형식을 지정하고, 단계별 언어 주석을 추가하고, 데이터 세트 문서와 함께 OXE GitHub 리포지토리에 끌어오기 요청을 제출해야 합니다. 제출 프로세스에는 데이터 품질 및 형식 준수에 대한 검토가 포함됩니다. SVRC 데이터 서비스를 통해 데모를 수집한 경우 플랫폼은 표준화된 메타데이터를 사용하여 RLDS 호환 내보내기를 생성하여 기여 프로세스를 크게 단순화할 수 있습니다. 연락하세요 SVRC 팀 OXE 제출을 위한 데이터 준비에 대한 지침을 참조하세요.

사전 훈련에 OXE 사용

OXE의 가장 실질적으로 가치 있는 용도는 사전 훈련 데이터 세트로 사용되는 것입니다. 작업 도메인 및 로봇과 관련된 OXE 하위 집합을 다운로드하고 일반 정책 백본을 교육한 다음 작업별 데모를 미세 조정하세요. 이 접근 방식은 처음부터 교육하는 것보다 작업별 시연 횟수가 지속적으로 적으며(보통 5~10배 적음) 더 높은 최종 성능을 달성합니다.

OXE에 대한 사전 훈련은 미세 조정 데이터가 제한적일 때(100개 에피소드 미만), 작업이 개념적으로 OXE의 작업과 유사할 때, Octo, OpenVLA 또는 RT-2-X와 같은 구현 간 전송을 위해 설계된 아키텍처를 사용할 때 가장 유용합니다. 배포 조건에서 수집된 풍부한 고품질 데모가 있으면 처음부터 순수한 작업별 미세 조정이 경쟁력을 유지합니다.

SVRC 호환성 및 지원 방법

SVRC의 데이터 수집 표준은 표준화된 카메라 배치, 일관된 주석 스키마, 품질 기반 성공 라벨링, RLDS 지원 내보내기 등 처음부터 OXE와 호환되도록 설계되었습니다. SVRC를 통해 수집된 데이터 데이터 서비스 OXE 미세 조정에 직접 사용하거나 향후 데이터 세트 릴리스에 기여할 수 있습니다. 특정 하드웨어에서 OXE 사전 훈련된 모델을 활용하려는 팀을 위해 SVRC는 미세 조정 파이프라인을 설정하고 배포 준비 정책을 평가하기 위한 엔지니어링 지원을 제공합니다.