Red Hat расширяет поддержку моделей ИИ в новой версии платформы Linux AI
Red Hat Enterprise Linux AI (сокр. RHEL AI) предоставляет базовую модель для создания и запуска больших языковых моделей и включает режим, который позволяет пользователям создавать и развертывать Linux, как загрузочный образ контейнера. Версия 1.3 поддерживает большую языковую модель Granit, которую компания IBM анонсировала и выпустила в октябре, а также имеет улучшенные функции подготовки данных, расширенные возможности для развертывания гибридного облака и поддержку ускорителя Gaudi 3 AI от Intel.
Согласно недавнему отчету исследовательской компании IDC, 61% предприятий планируют использовать базовые модели с открытым исходным кодом для создания генеративного ИИ. Ссылаясь на это, компания Red Hat заявила, что ориентирует функции своей операционной системы на поддержку небольших моделей с открытым исходным кодом, на возможности тонкой настройки и на разработку производительности логического вывода.
Новый релиз операционной системы поддерживает языковую модель Granite 3.0 8b с 8 миллиардами параметров, которая имеет поддержку более дюжины естественных языков, а также возможности генерации кода и вызова функций. Неанглийские языки, генерация кода и вызов функций пока доступны в RHEL AI 1.3 только в предварительной версии для разработчиков. Ожидается, что эти возможности будут поддерживаться в будущих версиях RHEL AI.
Последнее обновление RHEL также включает поддержку Docling - проекта с открытым исходным кодом, который позволяет преобразовывать PDF-файлы, руководства и слайды в специализированные форматы данных, такие как JavaScript Object Notation и Markdown (легкий язык, позволяющий добавлять элементы форматирования в простой текст без использования тегов или формального текстового редактора). Пользователи могут конвертировать документы в Markdown для упрощения приема данных при настройке модели с помощью проекта с открытым исходным кодом под названием Instruct Lab.
Docling включает в себя «контекстно-зависимую фрагментацию», которая представляет собой метод, используемый в обработке естественного языка для разбиения текста или данных на более мелкие, осмысленные сегменты с учетом контекста. Это помогает приложениям предоставлять более связные и контекстно-соответствующие ответы на вопросы и задачи.
Графический ускоритель Gaudi 3, который теперь поддерживает новая версия Linux, это ответ Intel на графический процессор H100 от Nvidia. Компания Intel заявила, что Gaudi 3 может делать выводы с энергоэффективностью в 2,3 раза выше, чем у H100, одновременно сокращая время обучения больших языковых моделей. Компания Nvidia выпустила на смену H100 новую серию ускорителей H200. Red Hat уже поддерживает графические процессоры от Nvidia и Advanced Micro Devices.
