로봇용 Jetson에서 27B 모델이 초당 52토큰 찍음

로봇 쪽 엣지 칩에서도 27B급 모델을 이렇게 돌리네. NVIDIA가 Jetson AGX Thor에서 Qwen 3.6 27B를 실행해 MLPerf Edge Agentic에서 llama.cpp 기준보다 6.4배 빠른 결과를 냈다고 올림. 표기된 속도는 초당 52.33토큰. NVFP4와 핫 캐시, tree-based MTP를 쓴 조건이라 그대로 비교하긴 어렵겠지만, 로봇 옆 컴퓨터가 생각을 얼마나 빨리 붙일 수 있는지 보는 숫자로는 꽤 재밌다. https://x.com/NVIDIARobotics/status/2100731771516039491