Hugging Face хочет провести обратную разработку модели рассуждений DeepSeek R1
Инициатива появилась после того, как модель R1 ошеломила сообщество искусственного интеллекта, сравнявшись по производительности с наиболее известными моделями, созданными американскими фирмами, несмотря на то, что была построена за малую часть стоимости. Исследователи Hugging Face говорят, что проект «Open-R1» направлен на создание полностью открытого исходного кода дубликата модели R1 и предоставление всех ее компонентов сообществу ИИ.
Эли Бакуш, один из инженеров Hugging Face, возглавляющих проект, сказал: «Хотя DeepSeek утверждает, что R1 имеет открытый исходный код, который можно использовать без каких-либо ограничений, правда в том, что модель не соответствует стандартному определению открытого программного обеспечения. Это связано с тем, что многие компоненты, использованные для её создания, а также данные, на которых она обучалась, не были опубликованы».
По его словам, отсутствие информации о том, что входит в модель DeepSeek, означает, что это на самом деле просто еще один «черный ящик», аналогичный проприетарным моделям, таким как серия моделей GPT от OpenAI, что делает невозможным её развитие для сообщества ИИ.
Компания DeepSeek утверждает, что разработала R1 с меньшим количеством гораздо менее продвинутых графических процессоров, чем те, которые использовались для разработки таких моделей, как GPT-4o и Llama 3, что ставит под сомнение необходимость многомиллиардных инвестиций в ИИ. В ряде тестов R1 показала, что способна соответствовать или даже превосходить производительность модели рассуждений o1 от OpenAI.
Модели рассуждений примечательны способностью «проверять факты» перед выводом своих ответов, что помогает избежать «галлюцинаций», которые преследуют более стандартные большие языковые модели. Обычно им требуется немного больше времени для генерации ответов, поскольку эти проверки точности занимают некоторое время, но это делает их гораздо более надежными в таких областях, как физика, наука и математика.
Компания Hugging Face заявила, что попытается воспроизвести R1, чтобы принести пользу сообществу исследователей ИИ, и намерена сделать это всего за несколько недель. Для этого она будет использовать выделенный исследовательский сервер компании, «Science Cluster», который работает на 768 графических процессорах Nvidia H100. План состоит в том, чтобы попытаться провести обратную разработку модели R1, чтобы понять, какие данные использовались для ее обучения и какие компоненты применялись при ее создании.
Проект Open-R1 ищет помощи у более широкого сообщества исследователей ИИ, чтобы попытаться воссоздать обучающие наборы данных, используемые DeepSeek, и к настоящему моменту уже вызвал большой интерес: его страница на GitHub набрала более 100 000 звезд всего за три дня после запуска.
«Это не игра с нулевой суммой, а скорее начало чего-то, что, как мы надеемся, будет гораздо более полезным для более широкой индустрии ИИ. Это, в конечном итоге, может стать основой нового поколения еще более продвинутых моделей рассуждений с открытым исходным кодом. Открытая разработка принесёт пользу всем, включая передовые лаборатории и поставщиков моделей, поскольку все они смогут использовать одни и те же инновации», — сказал Бакуш.