Sim 측정항목이 충분하지 않은 이유
시뮬레이션 성공률은 실제 성능으로 이어지지 않는 경우가 많습니다. 조명 변화, 물체 변형, 보정 드리프트 및 센서 소음 모두 실제 성능에 영향을 미칩니다. 게시 가능한 결과와 배포 결정을 위해서는 엄격한 실제 평가 프로토콜이 필수적입니다.
평가 프로토콜
조건당 최소 50번의 시도를 실행합니다(신뢰 구간이 엄격한 경우 100번 선호). 객체 인스턴스, 위치, 조명 조건 및 연산자를 변경합니다. Wilson 점수를 사용하여 95% 신뢰구간으로 성공률을 보고합니다. 모든 실패 에피소드를 기록하고 검토하십시오. 재현성을 위해 환경 조건을 문서화합니다.
- 조건당 50개 이상의 시도
- 개체 변형이 3개 이상
- 2개 이상의 조명 조건
- Wilson 점수 신뢰 구간
- 모든 시험의 비디오 녹화
일반적인 함정
오류 모드를 보고하지 않고, 모든 시도에 대해 동일한 객체 인스턴스를 사용하고, 조정 후 즉시 평가를 실행하는(현재 조건에 과적합) 쉬운 시작 구성을 선택합니다. SVRC의 평가 서비스는 표준화되고 재현 가능한 테스트 환경을 제공합니다.