Microsoft запускает облегченную модель искусственного интеллекта Phi-3 Mini
Microsoft обучила Phi-3 Mini на 3,8 миллиардов параметров, представляющих собой переменные, которые модели искусственного интеллекта используют для достижения наилучших результатов. Phi-3 Mini — самая маленькая из трех моделей, которые Microsoft планирует выпустить в ближайшее время. Другими моделями являются Phi-3 Small и Phi-3 Medium, которые будут обучены на 7 и 14 миллиардов параметров соответственно.
Количество параметров определяет, сколько сложных инструкций сможет понять модель. Так, например, модель GPT-4 Turbo OpenAI была обучена более чем на 1 триллионе параметров, а последняя модель Llama 3 будет обучена на 700 миллиардах параметров.
Однако, чем больше параметров имеет модель искусственного интеллекта, тем больше мощности и энергии ей требуется для достижения результатов. Хотя большее количество параметров может быть лучшим решением для сложных запросов или критически важных реализаций ИИ (например, в здравоохранении), однако, это не всегда так.
Модели меньшего размера, подобные тем, которые разрабатывает Microsoft, отлично подходят для смартфонов и других устройств с меньшим энергопотреблением. Microsoft могла бы использовать Phi-3 в мобильных устройствах, где производительность искусственного интеллекта ограничена мощностью чипсета и временем автономной работы.
По утверждению Microsoft, несмотря на меньший размер, Phi-3 Mini работает хорошо и предлагает ту же производительность, что и модели, обученные на более чем в 10 раз большем количестве параметров. И хотя модель не может сравниться с GPT-4 или GPT-4 Turbo, она так же эффективна, как GPT-3.5.
Для достижения таких результатов Microsoft обучала Phi-3 Mini по «учебной программе», включающей детские книги. В дополнение к материалам из реального мира компания также использовала более крупную языковую модель для создания детских книг с помощью искусственного интеллекта.
«Мы были вдохновлены тем, как дети учились по сказкам на ночь, книгам с более простыми словами и структурам предложений, в которых говорилось о более важных темах», - сказал Эрик Бойд, корпоративный вице-президент Microsoft Azure AI Platform. «Детских книг не хватает, поэтому мы взяли список из более чем 3000 слов и попросили большую языковую модель написать «детские книги» для обучения Phi-3 Mini».
Microsoft будет предоставлять бесплатный доступ к Phi-3 Mini на своей облачной платформе Azure, сайте для совместной работы с моделями Hugging Face и в сервисе моделей искусственного интеллекта Ollama.
«Компании часто обнаруживают, что меньшие модели, такие как Phi-3, лучше подходят для их индивидуальных приложений, поскольку их внутренние наборы данных в любом случае будут меньшими. А поскольку эти модели используют меньше вычислительной мощности, они зачастую гораздо более доступны по цене», - добавил Бойд.
