LeRobot: 오픈 소스 로봇 학습 라이브러리 설명

르로봇이란 무엇입니까?

LeRobot은 로봇 학습 연구를 위한 엔드 투 엔드 인프라를 제공하는 Hugging Face에서 관리하는 Python 라이브러리입니다. 이는 실제 하드웨어에서 로봇 데모를 기록하고, 표준화된 데이터 세트 형식으로 해당 데모를 저장 및 버전화하고, 해당 데이터 세트에 대한 최첨단 모방 학습 및 강화 학습 정책을 훈련하고, 평가를 위해 훈련된 정책을 실제 하드웨어에 다시 배포하는 등 네 가지 뚜렷한 문제를 처리합니다. 이러한 각 기능은 모듈식입니다. LeRobot을 데이터 저장용으로만 사용하거나 전체 스택 교육 및 배포용으로 사용할 수 있습니다.

이 프로젝트는 Huggingface 조직의 GitHub에서 진행되며 2026년 초 현재 수만 명의 별과 수백 명의 기여자를 축적했습니다. 데이터 세트는 Hugging Face Hub에 게시하고 다운로드할 수 있어 LeRobot에게 커뮤니티 데이터 시장 역할을 하는 공유 데이터 세트 저장소가 점점 늘어나고 있습니다.

지원되는 알고리즘

LeRobot은 세 가지 정책 클래스의 기본 구현을 제공합니다. ACT(Action Chunking with Transformers)는 세밀한 조작 작업을 위한 기본 알고리즘입니다. 이는 시간 앙상블이 포함된 변환기 기반 CVAE 아키텍처를 사용하며 대부분의 정교한 조작 워크플로우에 권장되는 시작점입니다. 확산 정책은 동작 예측을 위한 노이즈 제거 확산의 CNN 기반 및 변환기 기반 변형을 모두 구현하며, 이는 다중 모드 동작 분포가 있는 작업에 탁월합니다. TDMPC2(Temporal Difference Model Predictive Control)는 세계 모델과 정책을 모두 학습하는 모델 기반 RL 알고리즘으로, 시뮬레이션 환경이 가능할 때 샘플 효율적인 교육을 제공합니다.

각 알고리즘은 표준 훈련 스크립트, hydra 구성 관리, 실험 추적을 위한 가중치 및 편향 통합을 통해 PyTorch에서 구현됩니다. 알고리즘 간 전환은 단일 구성 파일 변경으로 비교 평가가 간단해집니다.

지원되는 하드웨어

즉시 사용 가능한 하드웨어 통합에는 ALOHA 이중 수동 시스템(ViperX 암), Koch 암, SO-100 및 SO-101 저가형 암, Lekiwi 모바일 플랫폼 및 여러 Dynamixel 서보 기반 맞춤형 암이 포함됩니다. SVRC를 통해 사용 가능한 OpenArm 가게, 원격 조작 기록 및 정책 배포를 위한 기본 LeRobot 지원이 있습니다. 새로운 하드웨어 플랫폼을 추가하려면 관절 상태를 읽고 관절 명령(일반적으로 새 팔에 대한 수백 줄의 코드)을 보내는 방법을 사용하여 로봇 인터페이스 클래스를 구현해야 합니다.

카메라 지원에는 OpenCV, Intel RealSense 심도 카메라 및 웹캠 어레이를 통한 USB 카메라가 포함됩니다. 녹화 시스템은 소프트웨어 타임스탬프를 사용하여 다중 카메라 동기화를 처리하고 카메라당 구성 가능한 프레임 속도와 해상도를 지원합니다.

LeRobot 데이터세트 형식

LeRobot은 표준화된 에피소드 구조를 가진 HDF5 파일로 데이터 세트를 저장합니다. 각 에피소드에는 관찰(비디오 스트림으로 압축된 이미지, float32 배열로 관절 상태), 작업(관절 위치 대상), 타임스탬프 및 주석(작업 언어 문자열, 성공 플래그)에 대한 배열이 포함되어 있습니다. 메타데이터 파일은 로봇 구성, 카메라 보정 및 데이터 세트 통계를 설명합니다. 이 형식은 자체 설명적이고 이식 가능하도록 설계되었습니다. 한 컴퓨터에 기록된 데이터 세트를 수정하지 않고도 다른 컴퓨터에서 훈련하기 위해 로드할 수 있습니다.

Hugging Face Hub에 게시된 데이터 세트에는 통계, 작업 설명 및 사용 예가 포함된 데이터 세트 카드가 포함되어 있습니다. 이를 통해 커뮤니티에서 데이터세트를 쉽게 검색하고 재사용할 수 있어 일반적인 작업에 대한 데이터 수집 부담이 줄어듭니다.

르로봇 시작하기

설치에는 Python 3.10+ 및 PyTorch가 필요합니다. 권장되는 첫 번째 프로젝트는 지원되는 하드웨어에서 간단한 선택 및 배치 작업에 대한 50개의 데모를 기록한 다음 해당 데모에 대한 ACT 정책을 교육하는 것입니다. LeRobot의 문서는 하드웨어 설정부터 정책 평가까지 전체 과정을 제공합니다. 자체 하드웨어가 없는 팀을 위해 SVRC는 당사를 통해 로봇 임대를 제공합니다. 임대 프로그램 특히 LeRobot 기반 데이터 수집을 활성화합니다.

SVRC 내보내기 호환성

SVRC 데이터 플랫폼 녹음 세션에서 필요한 모든 메타데이터 필드가 채워진 기본 LeRobot HDF5 형식으로 데이터 세트를 내보냅니다. SVRC의 시설 또는 데이터 수집 서비스를 통해 수집된 데이터 세트는 훈련 준비가 완료된 상태로 도착하며 변환 단계가 필요하지 않습니다. SVRC는 또한 데이터를 공개적으로 공유하려는 연구 파트너를 위해 Hugging Face Hub에서 데이터 세트 호스팅을 제공합니다. SVRC 데이터를 LeRobot 훈련 파이프라인과 통합하는 것에 대해 질문이 있는 경우 SVRC 엔지니어링 팀 도움을 받으실 수 있습니다.