시뮬레이터가 아닙니다. 지속적으로 작동 가능한 실제 설정입니다.
우리의 맥락에서 RL 환경은 물리적 설정, 명확하게 정의된 작업 및 성공 기준, 안정적인 관찰 및 작업 공간, 결정론적 재설정 절차, 지속적인 로깅, 반복적인 시행착오에서 안전한 실행 등 완벽하게 지정된 실제 로봇 시스템입니다.
이를 통해 팀은 배포를 첫 번째 실제 테스트로 간주하는 대신 실제 세계에서 학습 기반 정책을 교육, 평가 및 반복할 수 있는 장소를 제공합니다.
시뮬레이션 이상의 것이 필요한 팀을 위한 실제 학습 환경
실제 하드웨어, 실제 센서, RL, 평가 및 반복을 위한 실제 운영 지원을 기반으로 하는 지속적이고 학습 가능한 로봇 환경입니다.
작업 정의
작업, 성공 기준, 재설정 프로세스, 관찰 또는 작업 인터페이스를 잠급니다.
반복 시도 실행
반복 가능한 초기화를 통해 수천 개의 에피소드에 걸쳐 동일한 실제 설정을 운영합니다.
학습 신호 포착
관절 상태, 제어 명령, 시각, 촉각 또는 힘 신호 및 결과를 기록합니다.
정책 개선
실제 실패, 실제 엣지 케이스 및 회귀 추적을 사용하여 다음 버전에서 반복합니다.
프로덕션 준비 환경 구성 요소
- 지속적인 실제 환경전용 설정, 반복적인 에피소드 실행, 장기 성능 추적 및 운영 안전 지원.
- 학습 준비 신호관절 상태, 제어 명령, 고유 감각, RGB 및 RGB-D 시각, 힘 및 촉각 신호, 명시적인 결과 레이블.
- 규모에 따른 장애 통제실패한 파악, 미끄러짐, 충돌 및 복구 시도를 최고 수준의 데이터로 안전하게 캡처합니다.
이것이 사용되는 곳
- 접촉이 많은 조작 - 마찰 가변성, 촉각 인식 삽입, 미끄러짐 감지 및 복구
- 원격조작 부트스트랩 RL - 인간의 시연과 온라인 또는 오프라인 RL 미세 조정
- 회귀 및 벤치마크 환경 - 고정된 작업, 반복 가능한 재설정 및 버전 제어 평가 지표
SVRC로 작업하는 방법
- 파일럿 환경단기 설정, 타당성 검증, 환경 및 작업 공동 설계.
- 지속적인 환경월별 또는 분기별로 지속적인 액세스가 가능한 전용 하드웨어 및 작업 설정.
- 통합 파트너십다양한 환경, 지속적인 데이터세트 증가, 맞춤형 측정항목, 보고 워크플로.