DeepMind создает генеративную модель ИИ для решения неразрешимой математической задачи
Исследователи DeepMind утверждают, что большая языковая модель может генерировать миллионы ответов, но, благодаря специальному фильтру, отправлять только те ответы, точность которых можно проверить.
Это знаковое достижение, поскольку предыдущие прорывы DeepMind обычно основывались на моделях искусственного интеллекта, которые были специально созданы для решения конкретных поставленных задач, таких как прогнозирование погоды или разработка новых форм белков. Эти модели были обучены на очень точных и специфических наборах данных, что сильно отличает их от языковых моделей, таких как GPT-4 от OpenAI или Gemini от Google. Эти языковые модели обучаются на обширных и разнообразных наборах данных, что позволяет им выполнять широкий спектр задач и общаться практически на любую тему. Но этот подход несет в себе и риски, поскольку такие большие языковые модели подвержены так называемым «галлюцинациям», то есть выдаче ложных результатов. Языковая модель Gemini, которая была выпущена в этом месяце и считается самой способной моделью ИИ от Google, уже показала свою уязвимость, ответив неточно на довольно простые вопросы, например, кто в этом году выиграл премию «Оскар».
Исследователи полагают, что галлюцинации можно исправить, добавив над моделью искусственного интеллекта слой, который проверяет точность ее результатов перед выдачей их пользователям. Альхуссейн Фаузи и члены его команды из DeepMind создали обобщенную программу большой языковой модели под названием FunSearch, основанную на модели Google PaLM2. Они добавили слой проверки фактов, называемый «оценщиком». В данном случае FunSearch был ориентирован только на решение задач по математике и информатике путем генерации компьютерного кода. По мнению DeepMind, это упрощает создание уровня проверки фактов, поскольку результаты можно быстро проверить. Хотя модель FunSearch по-прежнему подвержена галлюцинациям и генерирует неточные или ошибочные ответы, «оценщик» может легко отфильтровать их и гарантировать, что пользователь получит только надежные результаты.
Исследователи проверили возможности модели FunSearch, предоставив ей в качестве входных данных задачу и очень простое решение в исходном коде. Затем модель сформировала базу данных новых решений, точность которых проверялась «оценщиком». Наиболее надежные из этих решений затем передавались обратно в большую языковую модель в качестве входных данных вместе с предложением улучшить свои идеи. По словам Фаузи, поступая таким образом, FunSearch создает миллионы потенциальных решений, которые в конечном итоге сходятся для получения наиболее эффективного результата.
Фавзи и его команда поручили FunSearch найти решение «проблемы набора ограничений», которая предполагает определение закономерностей в точках, где никакие три точки не образуют прямую линию. По мере роста количества точек проблема становится значительно сложнее. Однако FunSearch удалось создать решение, состоящее из 512 точек в восьми измерениях, что больше, чем когда-либо удавалось любому математику. Результаты эксперимента были опубликованы в журнале Nature.
Хотя большинство людей вряд ли когда-либо столкнутся с задачей «проблемы набора ограничений», не говоря уже о попытках ее решить, это все-же важное достижение. Даже лучшие математики не пришли к единому мнению о том, как лучше всего решить эту задачу.
По словам Теренса Тао, профессора Калифорнийского университета, который называет проблему предельного набора ограничений своим любимым открытым вопросом: «FunSearch — чрезвычайно многообещающая парадигма, поскольку потенциально модель можно применить ко многим другим математическим задачам».
Модель FunSearch доказала это, когда ей было поручено решить задачу упаковки контейнеров, цель которой состоит в том, чтобы эффективно разместить объекты разных размеров в наименьшем возможном количестве контейнеров. Фаузи сказал, что FunSearch смогла найти решения, которые превосходят лучшие алгоритмы, созданные для решения этой конкретной проблемы. Полученные результаты могут иметь значительные последствия в таких отраслях, как транспорт и логистика.
FunSearch также примечателен тем, что, в отличие от других больших языковых моделей, пользователи могут фактически видеть то, как она генерирует результаты, а это значит, что они могут на ней учиться. Это отличает её от других программ языковых моделей, где ИИ больше похож на «черный ящик».
