폰으로 찍은 로봇 작업, AI가 56분 만에 가상으로 옮겼다

휴대폰 영상 하나를 주고 로봇 작업을 물리 시뮬레이션으로 옮겨 보게 했더니, 한 에이전트는 56분 만에 만들었다고 한다. UC 버클리와 엔비디아 연구진의 RoboSimStudio 이야기다. CAD 파일이나 보정한 카메라 없이, 한쪽 팔로 막대를 잡고 다른 팔로 스펀지를 문지르는 작업을 재현했다. 재밌는 건 그다음이다. 가상 공간에서는 고정돼 있던 지지대가 실제 작업 중에는 움직여서 스펀지가 막대에서 떨어졌다. 에이전트가 고정 조건을 풀고 자유롭게 움직이는 물체로 바꾸자, 처음엔 놓쳤던 기울어짐까지 시뮬레이션에서 재현됐다고. 실물이 가상 실험의 틀린 가정을 잡아 준 셈. 도구는 오픈소스이고 물리 설정은 사람이 직접 조절하거나 에이전트가 수정할 수 있게 열어 뒀다. https://x.com/lukas_m_ziegler/status/2113906978816708659