Коли флагманські моделі трьох AI-гігантів — OpenAI, Anthropic і Google — виходять на один ринг, хто краще керує роботами?
20 жовтня RoboColiseum — арена втіленого інтелекту, спільно заснована майже 20 університетами, компаніями та науково-дослідними установами світу, зокрема Mifeng Technology, Hugging Face, NVIDIA та Університетом Цінхуа, — оприлюднив результати цього раунду оцінювання: Claude Opus 5.5 посів перше місце за сукупним показником серед чотирьох флагманських моделей, одразу за ним — GPT-6 Astra.
За окремими показниками серед чотирьох флагманських моделей GPT-6 Astra лідирує за дотриманням інструкцій та загальною адаптивністю до збурень, причому оцінка за дотримання інструкцій сягнула 99,35; Opus краще показав себе у просторовому розумінні та загальних маніпуляціях і з найменшими витратами токенів за повний цикл оцінювання здобув перше місце в загальному заліку флагманської групи. У тесті зі збуренням якості зображень GPT-6.1 Sol помітно відстав від інших трьох моделей, що демонструє відмінності в стабільності різних моделей у разі змін візуальної інформації.
Однак перші два місця в загальному рейтингу цього раунду все ще посідають моделі втілених стратегій, які зберігають перевагу насамперед у вимірі загальних маніпуляцій.
Це очне протистояння дає галузі наочний орієнтир для розуміння сильних сторін і слабких місць універсальних великих моделей та моделей втілених стратегій.
RoboColiseum зосереджується на дотриманні інструкцій, просторовому розумінні, адаптивності до збурень і загальних маніпуляціях, пропонуючи чотири типи субрейтингів здібностей та 78 високотонних завдань симуляційного оцінювання, що не лише відображають окремі показники моделей, а й фіксують кроки виконання завдань та місця збоїв, допомагаючи розробникам швидко визначати слабкі місця моделей.
Як співзасновник, Mifeng надає RoboColiseum високотонні об'єктні активи та симуляційні сцени, підтримуючи побудову середовищ оцінювання складних робототехнічних маніпуляційних завдань і забезпечуючи базові ресурси для тестування здібностей моделей за різних взаємодій з об'єктами, просторових конфігурацій та умов середовища.
Чи відображають результати моделей у симуляції реальну продуктивність маніпуляцій — це також ключове питання оцінювання. Згідно з опублікованими платформою результатами фактичних випробувань, кореляція між симуляційним оцінюванням RoboColiseum та розгортанням на реальному роботі сягає 89,5%, а різниця в оцінюванні тієї самої моделі в симуляції та реальному світі становить менше 10%, що може слугувати орієнтиром для розробників під час відбору моделей і локалізації проблем перед переходом до випробувань на реальному роботі.
Mifeng Technology пропонує систему постачання даних «повну, якісну й швидку», що охоплює три парадигми даних: реальний робот, симуляція та безтілесні дані. У сфері симуляції Mifeng надає два типи ресурсів — об'єктні активи та ресурси середовища, що охоплюють різноманітні повсякденні предмети та внутрішні сцени, а також можливості реконструкції сцен, отримання експертних траєкторних даних і візуалізації результатів оцінювання, допомагаючи командам моделей проводити різноманітне навчання та оцінювання.
Coliseum первісно означав давньоримський круглий амфітеатр; RoboColiseum використовує цей образ для побудови багатовимірної системи оцінювання, створюючи для моделей втіленого інтелекту публічну, нейтральну та відтворювану «арену» й «тренувальний майданчик» із симуляційним оцінюванням, що високо корелює з реальною продуктивністю. Будь-який університет, науково-дослідна установа чи корпоративний розробник може подати свою модель для проходження стандартизованого «іспиту». Від часу запуску в серпні понад 100 команд з Китаю та з-за кордону вже проводять на платформі навчання й оцінювання моделей.
RoboColiseum нині відкритий для розробників усього світу, і команди моделей запрошуються до участі в оцінюванні.
