Nvidia и AMD выделили 56,5 млн долларов на стартап Essential AI, занимающийся архитектурой нейронных сетей
Компания Essential AI была основана в начале этого года в Сан-Франциско исследователями машинного обучения Ашишем Васвани и Ники Пармар. Ранее они работали в компании Google, где входили в команду из восьми человек, которая в июне 2017 года представила архитектуру нейронной сети Transformer. Эта архитектура лежит в основе GPT-4 от OpenAI, Gemini от Google и большинства других передовых языковых моделей представленных рынке.
Основное новшество в моделях Transformer заключается в том, что они включают в себя компонент, известный как «механизм внимания». Когда модель Transformer пытается понять значение какого-то слова в предложении, то она также анализирует и все остальные слова в этом предложении. Затем она определяет фрагменты текста, которые наиболее непосредственно влияют на значение анализируемого слова, и использует их для принятия решения. Такая расстановка приоритетов, которой способствует «механизм внимания», позволяет модели Transformer понимать текст значительно точнее, чем более ранние нейронные сети.
До появления модели Transformer уже существовали архитектуры искусственного интеллекта с возможностью определять приоритетность текста при определении значения слова. Однако эти архитектуры перед принятием решения обрабатывали большое количество ненужной информации. Эта ненужная информация в итоге снижала их точность.
Первоначальная модель Transformer, которую Васвани, Пармар и шесть других соавторов представили в 2017 году, была разработана для задач перевода. Она состояла из двух компонентов, известных как кодер и декодер. Кодер обрабатывает входные данные, такие как документ, загруженный пользователем, в то время как декодер генерирует выходные данные, в данном случае версию документа, переведенную на другой язык.
Между этими двумя компонентами есть некоторое совпадение. Декодер модели Transformer может выполнять многие задачи, за выполнение которых обычно отвечает кодер, и наоборот, с той разницей, что первый компонент при принятии решений обычно учитывает меньше данных. Многие из наиболее продвинутых языковых моделей, включая серию Gemini от Google, используют конструкцию только с декодером, которая не включает в себя кодер.
Компания Essential AI заявляет, что одним из целевых вариантов использования создаваемых ею языковых моделей будет повышение производительности специалистов по обработке данных. Кроме того, она работает над тем, чтобы помочь бизнес-пользователям «самим стать независимыми лицами, принимающими решения на основе данных». Таким образом, модели компании позволят выполнять аналитические задачи, которые обычно требуют технических ноу-хау, используя команды на естественном языке. Сейчас такую функцию также предлагает модель GPT-4 от OpenAI.
Также Essential AI заявляет, что еще одним направлением ее усилий по развитию ИИ является облегчение работы финансовой аналитики. Цель состоит в том, чтобы аналитики могли увеличить количество охватываемых ими компаний, а также улучшили качество своих оценок.
