Stability AI выпускает языковую модель с открытым исходным кодом
Лондонская компания Stability AI получила финансирование в размере 101 млн долларов. Компания наиболее известна как разработчик нейронной сети с открытым исходным кодом Stable Diffusion, которая может генерировать изображения на основе текстовых подсказок. Сегодняшнее введение языковой модели StableLM произошло через несколько дней после того, как стартап выпустил для Stable Diffusion крупное обновление.
StableLM — первая из серии языковых моделей, которые планирует создать Satbility AI. Будущие дополнения к серии будут иметь более сложную архитектуру.
При запуске языковая модель StableLM доступна в двух версиях:
- первая содержит 3 миллиарда параметров и настроек конфигурации, которые определяют, как нейронная сеть обрабатывает данные;
- вторая включает в себя 7 миллиардов настроек.
Чем больше параметров в нейронной сети, тем больше задач она способна выполнять. Например, большая языковая модель PaLM от Google, подробно описанная в прошлом году, может быть настроена с более чем 500 миллиардами параметров. Она продемонстрировала способность решать относительно сложные математические задачи, а также генерировать код и текст.
Новая модель StableLM от Stability AI может выполнять аналогичный набор задач. И хотя подробная информация о возможностях модели пока не опубликована, тем не менее, Stability AI поделился тем, как обучалась модель StableLM. Стартап построил её, используя расширенную версию набора обучающих данных с открытым исходным кодом под названием The Pile. Стандартная версия набора данных включает 1,5 триллиона токенов - единиц данных, каждая из которых включает несколько букв.
«Мы открываем исходный код наших моделей, чтобы способствовать прозрачности и укреплению доверия», — заявила Stability AI в своем блоге. «Исследователи могут, что называется, «заглянуть под капот», чтобы проверить производительность, поработать над методами интерпретируемости, выявить потенциальные риски и помочь выработать меры безопасности. Организации в государственном и частном секторах могут адаптировать («тонко настроить») эти модели с открытым исходным кодом для своих собственных приложений».
StableLM в настоящее время находится в альфа-версии. Это первая из серии языковых моделей, которые планирует создать Stability AI. В рамках своей дорожной карты стартап намерен разработать более продвинутые версии StableLM, которые будут иметь от 15 до 65 миллиардов параметров.
