실제 평가에 대한 우리의 생각

제품 분석이 실패하는 것과 마찬가지로 로봇 평가도 실패하는 경우가 많습니다. 팀은 가장 쉽게 눈에 띄는 측정항목을 최적화하고 그것이 전체 시스템을 대표한다고 가정합니다. 로봇공학에서 이는 일반적으로 통제된 조건에서 측정된 성공률이 매우 낮다는 것을 의미합니다. 실제 평가에는 더 넓은 프레임이 필요합니다.

성공은 필요하지만 충분하지는 않습니다

정책은 작업을 완료하더라도 여전히 취약할 수 있습니다. 좁은 초기 조건에 따라 달라지거나 접촉을 완전히 피하거나 타이밍, 조명 및 개체 배치가 비정상적으로 깨끗한 경우에만 성공할 수 있습니다. 작업이 실제 환경으로 더 많이 이동할수록 숨겨진 가정이 더 많이 나타납니다.

우리가 대신 보는 것

• 반복성 — 시스템이 하이라이트 예시뿐만 아니라 실행 전반에 걸쳐 성능을 발휘할 수 있습니까?
• 회복 — 첫 번째 시도가 불완전하면 어떻게 되나요?
• 접촉 품질 — 힘과 마찰이 중요한 경우 로봇이 예상대로 행동합니까?
• 운영 견고성 — 설정은 교정 드리프트, 재설정 비용 및 환경 소음에 얼마나 민감합니까?

평가는 배포 형태와 일치해야 합니다.

올바른 벤치마크는 로봇이 어디에 살게 될지에 따라 달라집니다. 데모 로봇, 연구 플랫폼 및 생산 셀은 동일한 위험 프로필을 공유하지 않습니다. 좋은 평가 설정은 하나의 지표가 세 가지 모두를 포괄할 수 있다고 가정하는 대신 이를 고려합니다.

실제 증거가 중요한 이유

이것이 우리가 실제 로봇 환경과 라이브 시스템을 그토록 중요하게 여기는 이유 중 하나입니다. 시뮬레이션은 유용하지만 불완전한 감지, 실제 마모, 인간의 재설정 행동, 관찰하기보다 스크립트하기 어려운 작업 컨텍스트 등 평가를 의미 있게 만드는 많은 방해 요소를 숨깁니다.