출처: cc.gatech.edu원문 보기
New Benchmark Measures Memory Capabilities of VLM-Powered Robots
3줄 요약
- 조지아공대 연구진이 가정용 로봇의 장기 기억 능력을 평가하는 새 벤치마크를 공개했습니다.
- 평가에는 공간·시간·복수 목표를 다루는 60개 과제가 포함됩니다.
- 가장 높은 성능의 모델도 어려운 과제에서는 약 50%의 성공률을 보였습니다.
조지아공대 연구진은 로봇이 이전에 본 물건과 장소를 기억해 활용하는 능력을 평가하기 위해 시각언어모델용 벤치마크를 개발했습니다. 연구진은 가정용 보조 로봇이 물건을 옮긴 뒤 위치를 기억하지 못하면 사용자가 불편을 겪을 수 있다고 설명했습니다.
이 벤치마크는 공간, 시간, 복수 목표와 관련된 60개 과제로 구성되며 약 하루 동안 축적된 관찰 내용을 기억하는 능력을 시험합니다. 연구진은 Gemini 2.0 Flash와 GPT-4o 등을 포함한 모델을 평가했으며, 어려운 과제에서 최고 성능 모델의 성공률은 약 50%였다고 밝혔습니다. 최고 성능은 공개된 Qwen 추론 모델에서 나왔으며, 연구진은 영상 내용을 글로 정리하거나 불필요한 장면을 걸러내는 방법이 기억 문제의 개선 방향이 될 수 있다고 설명했습니다.
댓글 0
아직 댓글이 없습니다.