Франсуа Шолле, бывший инженер Google и известный исследователь в области искусственного интеллекта, стал соучредителем некоммерческой организации, направленной на разработку тестов для проверки способностей ИИ на «человеческом уровне».
Некоммерческий фонд ARC Prize Foundation возглавит Грег Камрадт, бывший технический директор Salesforce и основатель студии по разработке AI-продуктов Leverage. Камрадт займет должности президента и члена правления.
«Мы превращаемся в некоммерческий фонд, который станет полезным ориентиром в области общего искусственного интеллекта», — написал Шолле в своем сообщении на веб-сайте организации. «Мы стремимся стимулировать прогресс, способствуя сокращению разрыва между возможностями человека и ИИ».
Уже сейчас команда data-science специалистов ARC Prize разработала ARC-AGI — тест, предназначенный для оценки способности ИИ эффективно приобретать новые навыки, выходящие за рамки данных, на которых он обучался. Этот тест состоит из задач, похожих на головоломки, в которых ИИ должен сгенерировать правильную «ответную» сетку из набора квадратов разных цветов. Задачи были разработаны таким образом, чтобы заставить нейросеть адаптироваться к новым, ранее неизвестным ей задачам.
«В отличие от большинства передовых тестов ИИ, мы не стремимся измерить риск, связанный с ИИ, с помощью сверхчеловеческих экзаменационных вопросов», — написал Шолле. «Будущие версии теста ARC-AGI будут направлены на сокращение разрыва между возможностями человека и ИИ до нуля».
В июне прошлого года соучредитель Chollet и Zapier Майк Кнооп объявил конкурс на создание ИИ, способного превзойти ARC-AGI. ИИ [] от OpenAI первый набрал необходимое количество баллов, но только благодаря невероятному количеству вычислительной мощности.
Шолле ясно дал понять, что у ARC-AGI есть свои недостатки — многие модели смогли добиться высоких результатов с помощью грубой силы — и что он не верит, что o3 обладает интеллектом на уровне человека.
«Первые данные свидетельствуют о том, что предстоящий преемник ARC-AGI станет серьезным испытанием для o3, потенциально снизив его оценку до менее чем 30% даже при высокой вычислительной мощности (в то время как умный человек все равно сможет набрать более 95% без обучения)», — заявил Шолле в декабре прошлого года. «Вы поймете, что искусственный общий интеллект уже здесь, когда создание задач, которые легко даются обычным людям, но сложны для AI, станет просто невозможным».
Кнооп сообщил, что тест ARC-AGI второго поколения планируется запустить «в первом квартале» вместе с новым соревнованием. Некоммерческая организация также приступит к разработке третьего издания ARC-AGI.
Пока неясно, как ARC Prize отреагирует на критику в адрес Чолле за то, что он переоценил ARC-AGI как главный путь к достижению общего искусственного интеллекта и сверх-ИИ. Само определение СИИ сейчас вызывает горячие споры, и неизвестно, достижим ли он только благодаря появлению больших данных у «слабых» ИИ или не все так просто.
Интересно, что в декабре генеральный директор OpenAI Сэм Альтман заявил, что компания намерена сотрудничать с командой ARC-AGI для создания будущих эталонных моделей. В сегодняшнем объявлении Шолле не сообщил о возможных партнерских отношениях.
Однако в серии постов на соцсети Илона Маска представители ARC Prize заявил, что создаст «академическую сеть» для дальнейшего развития и оценки AGI, а также «коалицию партнерских лабораторий по передовому искусственному интеллекту» для совместной работы над отраслевыми стандартами AGI.