Форум создателей искусственных интеллектов

Блин, кругом одни наркоманы... * Во-первых, не O3, а O3(tuned): [Note on "tuned": OpenAI shared they trained the o3 we tested on 75% of the Public Training set. They have not shared more details. We have not yet tested the ARC-untrained model to understand how much of the performance is due to ARC-AGI data.] * Во-вторых, люди решают не 80%, а 85%. * И в-третьих, для прохождения тестов есть ограничение использования ресурсов, которые нарушены для результата 87% (использовалась low-efficiency конфигурация). С некоторой натяжкой, можно сказать, что O3(tuned) дает 75% (конфигурация high-efficiency). Цель создания тестов, от самого Шолле: * Прохождение порога 85% * Высокая эффективность * Open Source Прохождение тестов Шолле, особенно по части эффективности, похожи на заявления о создании термояды. Припоминаю, какая-то (американская вроде) лаборатория заявила, что им удалось добиться того, что энергии получено больше чем затрачено для полученной термоядерной реакции. Потом вдруг выяснилось, что процесс было создан с помощью лазеров, и энергия этих лазеров не учитывалась. И еще потом выяснилось, что не учитывалась электрическая энергия, питающая лазеры. А так да, термояд создан. По сведениям самого Шолле, люди соглашались решать задачи за 5$, а затраты на решение o3(tuned) стоит на 3 порядка выше (и это без учета стоимости обучения/настроек). А так да, тест "ликвидирован", тут даже спорить не о чем. Цель Шолле - "85% / high-efficiency / Open Source" не достигнута. Так что если кто-то что-то вдруг делает - можно продолжать. Реальный результат на данный момент - 55%. Даже если openai в реальности пройдет тесты Шолле (порог и эффективность), то без открытия кода цель достигнута не будет.

Еще пару слов по теме, если никто не возражает. Шолле суть говорит о том, система должна решать задачи, обладающие новизной. Проверка преодоления решателем новизны заключается в том, что в тесты должны быть включены задачи, не похожи на обучающие. В пределе - обучающие задачи никак не связаны с тестовыми. Тогда обучающие задачи совершенно бесполезны для решения "абсолютно" новых задач. Доводя до конца эти рассуждения, приходим к ситуации, когда система должна решать задачи вообще без обучения. Мне трудно представить, чтобы это можно было бы сделать с помощью LLM, когда нет данных, и, следовательно, нет возможности обучения. Поэтому в o3(tuned) методы, альтернативные LLM, как минимум, на равных используются с LLM. Альтернативные методы предполагают поиск в пространстве программ, включающий, о чудо, перебор с возвратом: "search process has to explore an enormous number of paths through program space – including backtracking". Главный фокус заключается в том, что в "пространстве программ" для данной задачи можно использовать критерий "простоты" программы и решать (простые) задачи без какого-либо обучения. Поэтому относительный успех o3(tuned) приписывать исключительно LLM вряд ли корректно. Насчет библиотек/сервисов ai и денег. LLM в качестве "интерактивной энциклопедии", несомненно, - впечатляющее достижение. Но сколько бы мои коллеги не пытались применить LLM в коммерческих целях для наших задач - да, частично работает, однако шкурка выделки не стоит. Пытались применять копилот - то же самое, а потом вышли на исследование, доказывающие коммерческую неэффективность использования (ссылки, увы у меня сейчас нет). Использование убыточных технологий противоречит самой сути коммерции. Если рассматривать прохождение тестов Шолле еще и для оценки коммерческой эффективности, то опять смотрим график здесь: https://arcprize.org/blog/oai-o3-pub-breakthrough Отсекаем решатели по порогу ручного решения (5$ на задачу), и видим, что ни o1, ни o3 экономически не целесообразны. А вот решатель, полученный в соревновании Kaggle (Kaggle Sota) тратит на одну задачу несколько десятков центов. Поэтому применение этого решателя вполне может быть целесообразно, но нужно учесть нюанс. Т.к. точность решателя Kaggle невысока - 55%, то за ним потребуется ручная проверка. Если решением была "формула" или "программа", тогда было бы понятно, как задачи решаются. Тогда проверка может стоить относительно недорого и можно не превысить 5$ на задачу. А если "формула" - это коэффициенты в сети, то для проверки потребуется заново решать решенные ai задачи. Т.е. и решатель от Kaggle также будет коммерчески бесполезен, пока не наберет точности, либо не будет ясно сообщать, как задача решается.

Что только люди не рассказывают. Одни рассказывают, что проходят тесты Шолле. Другие рассказывают, что зарабатывают с помощью LLM. А некоторые пробуют и не зарабатывают, и ничего не рассказывают. И где ответ на вопрос, что же в среднем? Требуется независимое корректное исследование на этот счет, а не просто ссылки. Из компаний, на которые сделаны ссылки, я сталкивался только с Salesforce. Они пытались Зибель заменить в Бритиш Америко Табакко. 3 раза пыталась, и все три раза обосрались, но деньги за работу получили. Зарабатывают, да, тут я не спорю. В реальности заявления компаний - это "мы уверены", "мы прогнозируем", "мы сократили", "мы наймем", "мы заменим", "мы используем", и т. п. Не понятно, где тут трындеж, где правда, и что из "мы прогнозируем" сбудется. Маск заявлений никаких не делал, просто уволил 80% в твиттере. И что? А ничего. Все то же самое.

ИИ применить смогли, но не LLM.

Есть путанная терминология и каждый путает ее как может. Общего определения ИИ не существует. На счет "13ой гильбертовой проблемой" - я не понимаю, что там можно не понять. Если память меня не подводит, то ее формулировка не выходит за рамки (советской) средней школы. Она как бы намекает как "недорого" можно (попытаться) приближенно описать (сложную) непрерывную функцию многих переменных. Ну так и что с того? Выше уже разобрано, почему аппроксиматор не работает на новых задачах Шолле. Все эти чистые LLM больше 5% не дают - сам Шолле об этом и рассказывал в своей статье. И что openai сделали, чтобы вылезти из этих 5%. Внятного ответа о средней эффективности применения LLM и области применимости получить невозможно. Организационная возня и поток сознания разных деятелей относительно будущего - где тут достоверная информация, которой можно верить? То ли есть результаты, то ли господа хотят стоимость акций поднять на модной теме, то ли они просто идиоты - ну, я не знаю. Если кто знает - имеет смысл пойти в соответствующую тему. Так что пока Андрей тему "Решатель ARC-задач Франсуа Шолле" не почистит от мусора - я, пожалуй, откланяюсь.

Чистый LLM, ожидаемо: gpt-4.5 (Pure LLM) - 0% Лучший результат: o3-low (CoT + Search/Synthesis) - 4% Мне кажется, что Open AI уже слили в этой теме несколько миллионов - только разовое прохождение тестов у них было ~$350k. Так что продолжим....

Припоминаю, что задачи, подобные указанной выше, есть в первой версии Arc-задач. Парсинг и статистика дает следующее: * Размеры входного и выходного изображения совпадают * Желтая фигура остается на месте * Прочие (монохромные) фигуры входа транслируются аффинным преобразованием в фигуры на выходе один к одному * Фигуры (многоцветные из-прилепившихся к ним красных точек) существуют в выходном изображении ровно 1 раз (в выходном изображении парсинг их не выделяет - речь идет о попиксельном существовании) * Количество красного уменьшается в 2 раза * Исчезнувшие красные цвета (суммарно) превращаются в черные (суммарно) По прикидкам, учет всего этого дает систему алгебраических уравнений, которая приводит к решению. Но это не точно.

У "замеченных принципов" есть математический аналог, который и есть "ограничения". Задачи на сетке, действительно, есть, в немалом количестве. Но там есть и задачи, учитывающие z-порядок (есть учет 3-го измерения). Это выражается в наложении линий или прямоугольников друга на друга. Но большая часть - это задачи на графах или сетках (сетки обозначаются линиями или угловыми маркерами какого-нибудь одного цвета). Поэтому нужно сначала сделать парсинг с превращением входного и выходного изображений в графы, а потом искать преобразования приведения одного графа в другой. Но, в любом случае, Шолле еще тот затейник ... Возьмет пару изображений, одно входное и одно выходное. Они друг на друга вообще не похожи и разного размера. А потом начинает двигать/вращать оба два изображения, получая таким способом следующие пары. Ты как дурак ищешь правило отображения входных матрицы в выходные, а их просто нет. А нужно искать, как преобразуется входное изображения из первого во второе, третье и т.д., и потом также преобразовывать выходное точно также.

Может быть, Вы даже правы. Дали бы сразу ссылку какую-нибудь. Серьезную. Чтобы мы могли серьезно прочесть. А еще лучше сначала научите Шолле и компанию принципу красных квадратов, а то они в репозитории "ARC-AGI-2" в оценочных задачах (evaluation) уже штук 10 исправили из 120. Оне хотят 85% точности, а половину ошибок, видимо, уже сделали сами.

"Обращение к подсознанию", по-видимому, невыполнимая операция (в силу определения термина "подсознание"). Если речь идет о системе, то задача представляется элементами и связями между ними. Выделение элементов - это парсинг, связи - это близость в каком-то смысле координат, близость формы, размера, цвета, и т.п. "Система" представляется графом с фиговой тучей связей, с которым можно работать и действительно решить некоторое количество задач. Парсинг, например, может быть неоднозначным. Элемент - это какая-нибудь текстура. И т.д. и т.п. Есть множество препятствий на этом пути, которые специально создал Шолле. Был такой Берталанфи с его .общей теорией систем. Там речь шла об изоморфизме законов. Цель задач Шолле не изоморфизм законов, а обнаружение "новых" законов. Поэтому он постарался, чтобы ни системные методы, ни LLM, ни Data Maining не работали.

Задача e5790162, на вскидку, решается с помощью локальной статистики. Вроде бы хватает статистики квадратом 3x3. С помощью нее можно исходное изображение рекурсивно перевести в целевое. Статистика говорит, что по горизонтали две зеленых (тройки) и одна голубая (8) влечет за собой зеленую клетку (3), которая должна находится снизу по середине. Аналогично, две зеленые и малиновая, зеленая клетка в вверх. Если две зеленые и одна черная (0), то черная заменяется на тройку. Аналогично по вертикали, и еще нужно учесть статистику с левого края. Только нужно уметь превращать статистику в рекурсивные формулы. Всего таких задач где-то 10%. Но задачи со змейками тоже есть. Там другой фокус.

В таких задачах нет как таковых путей, движения и т.п. Просто водим маской какого-то фиксированного размера и в зависимости от того что в ней видим, меняем цвета. За счет итерационности процесса, как это происходит в вычислении рекурсивной функции, в некоторых задачах происходит "движение". Если приходилось сталкиваться в (локальной) фильтрацией изображений и/или свертками - это что-то похожее. Но сильное изощренное. Как я уже говорил, этих задач до фига. Например, 3bd67248, 97999447, a5f85a15, a65b410d, 834ec97d, b6afb2da, bb43febb, d364b489, b8cdaf2b, 22168020, db3e9e38, ...

Речь шла не о мозге человека, а о группе выделенных мною задач, которые решаются с помощью "рекурсивной локальной фильтрации" на основе локальной статистики. При таком подходе нет пути, движения и т.д. Человек может решать часть из указанных выше задач, опираясь на понятие пути, движения, но с точки зрения простоты это, по-видимому, будет не всегда оптимально. Мозг человека ориентирован на автоматическое быстрое решения задач выделения объектов, составления их характеристик, сравнения, группировки, их абсолютное и относительное положение, их абсолютное и относительное перемещение. Поэтому человеку проще решать некоторые задачи способом, который более сложен для "компьютера", чем "он" "может использовать". Но "однозначно" задачи с путями есть среди задач Шолле. Припоминаю поиск пути минимальной длины, микро-тетрис и вариации на эту тему.

В общем случае "простоту программы" можно оценить с помощью количества закорючек (термов), из которых она состоит. Но нужно отметить, что чем короче программа, то при прочих равных условиях, она проще. Хотя правильнее говорить о сложности программы, имея в виду антипод простоты. Так вот, количество возможных вариантов "программ" экспоненциально растет с ростом сложности. Поэтому, если мы рассуждаем о том, как некоторый "AGI" сможет решить ту или иную задачу, можно предположить, что простой вариант программы будет найден скорее нежели сложный. Речь, разумеется, не идет о том, чтобы я решал задачу вместо "AGI", запрограммировал и т.д. Просто я вижу что один вариант решения задачи проще другого, и предполагаю что "AGI" найдет его раньше сложного (если вообще что-нибудь найдет). А чтобы знать о вариантах решения задачи, нужно знать варианты их решения. Что, собственно, я и показал.

В любом случае, нужно с чего-то начать. "AGI" может пользоваться аппаратом статистики, а можно считать, что статистика как таковая неизвестна AGI и ее нужно изобрести на ходу. Аналогично с другими мат. аппаратами, в которых может быть есть "след", "направление", и т.п. Когда говорят о понятиях, то скорее речь идет о человеке и о возникающем в его голове "образах". Если речь идет о некоторой формальной системе, речь идет о введение нового "символа" (аналога понятия). Новый символ можно ввести с помощью определения. Определения можно можно вводить 3 способами, но я помню только один - добавление новой аксиомы -). Определение в математике, формально, это, в общем то просто сокращение размера записи. И, действительно, использование определений позволяет сократить в нашем случае размер описания изображений и позволяет сократить размер самого решения задач.

Я просмотрел почти все примеры - таких фортилей нет и Шолле они не нужны. Она уже давно изложена - для каждой задачи найти самую простую формулу, которая превращает входное изображение в выходное. Трудно что либо понять. "Мир как система элементов". Вообще-то, система это элементы и связи между ними. Поэтому вообразить, что такое "Мир как система элементов" мне затруднительно. И что такое "элементы пространства, времени и материи" я не знаю. Но знаю, что в современной физике пытаются скрестить квантовую механику и теорию относительности. Это у них называется "теория всего" - не получается у них собрать это в "единое целое". Поэтому ваш вопрос звучит так "Могу ли я решить основную задачу современной физике, чтобы на ее основе решать задачи Шолле?" Короче, всем спокойной ночи.

На счет "самой простой формулы" я несколько упростил, хотя это в значительной мере верно. Точнее будет сказать, что нужно найти самую простую систему формул, с помощью которой для всех примеров входные изображения превращаются в выходные. Выше был разговор о понятиях и определениях. Определения в данной задаче могут быть функции. Скажем, функция определения симметрии. Определениями могут быть свойствами выделяемых из изображений объектов. Например, высота, ширина, цвет, какая-нибудь нормальная форма объекта. Использование определений "выгодно" в том случае, если оно многократно используется. Использование определений сокращает общий размер всех формул по всем задачам, т.к. общая часть решения вынесено в определение. При этом вполне обоснованно можно предполагать, что это есть обнаружение части "общего метода" решения разных задачах. Использование определений также позволяет превращать входное и целевое изображения в некоторую другую форму. Например в граф, шаблон, текстуру. Запись задачи как преобразования входных изображений в целевые может сжиматься за счет представления изображение в более компактной форме, т.е. опять же речь идет о том, что с помощью определений получили часть "общего метода", т.к. в общем случае решение сопоставление компактных форм проще чем получение одного изображения по другому. Сама математика, в общем то, так вся и построена. Аксиоматические системы. Потом с помощью определений вводятся новые понятия (новые закорючки для формальной системы), для них получают результаты (теоремы). Обучение, эволюция - это, с формальной точки зрения, - выделение понятий (генерация определений) и выбор таких, которые бы сократили запись всех решений. При таком подходе ИИ - тайна полишинеля. Вопрос больше в эволюции, как для обучающих данных эффективно находить определения. При генерации и отработке определений возникает комбинаторный взрыв, и как-то нужно все делать менее тупо чем перебор. Нужны стратегии поиска, стоимость которых не улетает в космос как это случилось с Open AI (turned) - тысячи баксов на одну задачу. Одной из стратегий может быть обучение на простых примерах. Простые примеры все же можно решить с относительно небольшим количеством закорючек. В них может быть что-то общее - это кандидаты на определения. В принципе, задачи Шолле вроде как позволяют реализовать эту стратегию, но я до конца в этом не уверен. Проблема с задачами Шолле состоит в том, что они заточены под человека. А зрение человека хорошо выделяет объекты, оценивает характеристики объектов, их положение, оценивает относительное положение объектов относительно друг друга, сравнивает эти характеристик, группирует объекты, выделяет общее в объектов. По этой причине нельзя стартовать с примитивного математического базиса, т.к. количество закорючек для описания того, что делает зрение человека автоматически, просто огромно. Но стоит только заикнуться об этом базисе, типа статистики или графов, приходит кто-нибудь и к моему локальному предложению прилагает свое общее видение.

Если сжато, то можно ответить так. Шолле преследует цель решения новых задач, т.е. задач которых нет в открытом доступе (ARC SET 1/2). Решение неизвестных задач, путь и простеньких, - это вполне значимый шаг для ИИ. Насчет простых формул - процесс укорочение суммарной длины всех формул прямо связан с обобщением решения множеств задач, накоплением информации и сокращение объемов поиска. Детали были изложены выше. P.S. Коллега рассказал забавную историю, как на LLM "навесили датчики" и стали задавать вопросы. Сначала спросили, сколько будет, скажем 127 + 874. LLM ответил, засекли возбуждение в нейросети при формировании ответа. Затем спросили, как решить задачу сложения 127 + 874. LLM подробно ответил, расписала шаги. И опять во время ответа отследили возбуждение в нейросети. LLM на оба вопроса ответила правильно, но возбуждение в сети при ответе на первый вопрос никак не пересеклось с возбуждением в сети при ответе на второй вопрос. Вот так оно и работает. Источник, к сожалению, он потерял, поэтому пардон.