모바일 ALOHA 설정 가이드: 하드웨어, 소프트웨어 및 첫 번째 데모

하드웨어 조립 개요

모바일 ALOHA 시스템은 두 개의 ViperX 300 또는 유사한 6-DOF 암이 올려진 섀시에 장착된 바퀴 달린 모바일 베이스(일반적으로 AgileX Tracer 또는 이와 동등한 차동 구동 플랫폼)로 구성됩니다. 양손 설정에는 리더 암과 팔로워 암의 일치하는 쌍이 필요합니다. 리더 암은 더 가볍고 백드라이브가 가능하며 원격 조작 중에 작업자가 잡을 수 있습니다. 팔로어 암은 리더 동작을 실시간으로 반영하는 로봇 암입니다.

조립은 리더 암 인체공학에 맞게 팔로워 암을 올바른 높이와 측면 오프셋으로 섀시에 장착하는 것으로 시작됩니다. 원동체 형상과 종동체 형상 간의 불일치는 제어 품질 문제의 일반적인 원인입니다. 카메라 스택(일반적으로 각 팔로워 암에 손목에 장착된 카메라와 1~2개의 머리 위 카메라)은 소프트웨어 교정이 시작되기 전에 설치하고 고정해야 합니다. 케이블 관리는 보이는 것보다 더 중요합니다. 느슨한 케이블은 에피소드를 방해하고 잘못된 데이터를 생성합니다.

리더-팔로워 교정

교정은 대부분의 팀이 서두르고 대부분의 팀이 후회하는 단계입니다. 단일 에피소드를 녹화하기 전에 리더 및 팔로어 암이 일치하는 조인트 0 위치에 있어야 합니다. 대부분의 ViperX 기반 설정에는 물리적 교정 장치가 함께 제공됩니다. 이를 사용하십시오. 기계적 영점 조정 후 소프트웨어 보정은 영점 위치에서 리더와 팔로어 사이의 관절 오프셋을 캡처하고 이를 원격 조작 중에 실시간으로 적용되는 바이어스 보정으로 저장합니다.

리더 암에게 작업 공간을 천천히 통과하도록 명령하고 팔로어 암의 추적을 관찰하여 교정 품질을 테스트합니다. 지속적인 관절 공간 지연, 특정 관절 각도의 드리프트 또는 왼쪽과 오른쪽 사이의 비대칭 반응은 데이터 세트의 품질을 저하시키는 교정 오류를 나타냅니다. 데이터 수집 캠페인을 시작하기 전에 재보정하고, 시스템 배송 또는 기계적 조정을 수행한 후에는 보정을 다시 확인하십시오.

소프트웨어 스택: ACT 및 LeRobot

원본 Mobile ALOHA 논문에서는 데모 데이터에 대해 훈련된 ACT(Action Chunking with Transformers) 정책을 사용했습니다. 소프트웨어 스택은 로봇의 내장 컴퓨팅에서 실행되는 하위 수준 제어 계층, 관절 상태와 카메라 프레임을 동기식으로 캡처하는 원격 조작 기록 계층, 수집된 데이터 세트에 대해 ACT 또는 다른 정책이 훈련되는 훈련 계층의 세 가지 계층으로 구성됩니다.

Hugging Face의 LeRobot은 이 워크플로의 표준 오픈 소스 프레임워크가 되었습니다. 통합된 데이터 형식, ALOHA 스타일 하드웨어용 기록 스크립트, ACT, 확산 정책 및 TDMPC용 교육 파이프라인을 제공합니다. SVRC 데이터 플랫폼 LeRobot 호환 형식으로 데이터 세트를 내보내 SVRC에서 수집한 데이터를 교육하거나 저장 및 버전 관리를 위해 자체 데모를 업로드하는 것이 간편해졌습니다.

첫 번째 데이터 수집 세션 기록

녹음하기 전에 작업을 정확하게 정의하십시오. "컵을 집으세요"는 너무 모호합니다. 컵의 시작 위치, 방향 및 대상 배치를 지정합니다. 작업 설정의 일관성은 데모 데이터 세트를 학습 가능하게 만드는 것입니다. 에피소드 사이에 작업 공간을 시작 상태로 빠르게 되돌릴 수 있도록 3~5개의 재설정 절차를 준비하세요.

첫 번째 세션에서는 명확하게 정의된 단일 작업에 대해 50번의 성공적인 시연을 목표로 합니다. 30Hz 이상으로 녹음하세요. 녹화 직후 각 에피소드에 성공 플래그로 주석을 달고 나중을 위해 주석을 남기지 마십시오. SVRC는 처음부터 다양성을 확보하기 위해 최소한 두 가지 다른 조명 조건에서 녹화하고 물체 배치를 약간 변경하는 것을 권장합니다. 그만큼 SVRC 데이터 서비스 플랫폼 이 워크플로를 간소화하기 위해 에피소드 브라우저와 주석 도구를 제공합니다.

일반적인 문제 및 해결 방법

새로운 Mobile ALOHA 설정에서 가장 자주 발생하는 문제는 네 가지 범주로 분류됩니다. 첫째, 리더-팔로워 지연: 일반적으로 제어 루프의 네트워크 지연으로 인해 발생합니다. 리더와 팔로어가 동일한 로컬 시스템에 있거나 WiFi가 아닌 전용 이더넷 링크를 통해 연결되어 있는지 확인하세요. 둘째, 카메라 동기화 드리프트: 손목 및 머리 위 카메라가 하드웨어 동기화되지 않은 경우 데이터 로드 중에 프레임 인덱스 정렬 대신 타임스탬프 기반 정렬을 사용합니다. 셋째, 양손 작업 중 팔 충돌: 집중 훈련 전에 URDF에 소프트 조인트 제한 및 충돌 메시를 추가합니다. 넷째, 팔 시연을 방해하는 베이스 동작: 조작 전용 데이터를 수집할 때 베이스 잠금 장치를 체결하여 드리프트를 방지합니다.

첫 번째 데모 이후의 다음 단계

깨끗한 50개 에피소드 데이터 세트가 있으면 LeRobot 교육 파이프라인을 사용하여 ACT 정책을 교육합니다. 깨끗한 데이터를 사용하여 잘 정의된 작업에서 40~60%의 첫 번째 시도 성공률을 기대합니다. 이는 정상적인 현상이며 더 많은 데모와 데이터 다양성을 통해 빠르게 향상됩니다. 확장함에 따라 SVRC는 데이터 수집 서비스 표준화된 하드웨어를 사용하여 전문적으로 수집된 에피소드로 데이터 세트를 늘릴 수 있습니다. 하드웨어 소싱 또는 이중 수동 시스템 임대를 원하시면 당사를 방문하십시오. 하드웨어 카탈로그 또는 SVRC 팀에 문의하세요.