Платформа SberCloud ML Space получила масштабное обновление
Самым значимым обновлением ML Space является то, что платформа стала мультикластерной. Пользователи могут обучать свои модели, используя мощности сразу двух самых мощных суперкомпьютеров в России — Christofari и Christofari Neo. А также использовать для обучения индивидуальные карты GPU V100 или A100. Это позволяет гибко управлять скоростью и стоимостью разработки в зависимости от потребностей и бюджета пользователя.
Эффективная производительность нового суперкомпьютера Christofari Neo в двойной точности составляет почти 12 петафлопс. В нём установлены самые мощные карты А100 на максимальные 80 гигабайт памяти.
Другое важное обновление платформы связано с крупнейшим пополнением библиотеки базовых docker-образов для ноутбуков, задач в платформе ML Space. Теперь клиент может самостоятельно создавать собственные docker-образы на основе базовых и запускать их без ошибок в ML Space. Всё это экономит время DS и сокращает их непроизводительную работу.
Ещё одно обновление облачной платформы ML Space касается модуля AutoML, который теперь стал доступен для задач NLP и Computer Vision. Раньше модуль по автоматическому созданию моделей работал только на табличных данных и уже тогда занимал высокие рейтинги в бенчмарках точности и производительности. Теперь разработчики и DS получили возможность работать с новыми классами задач.
Также Давид Рафаловский представил два новых модуля ML Space: AI Services и Pipelines. Модуль AI Services похож на маркетплейс мобильных приложений, которые позволяет публиковать и продавать разработанные сторонними DS сервисы и продукты с ML-составляющей. Для этого нужно загрузить свою модель и описать сервис на платформу в данный модуль, а вся необходимая обвязка продукта – например, авторизация, аутентификация, мониторинг и т.п. – будет предоставляться за счет SberCloud. Модуль запущен для бета-тестирования, а с марта 2022 будет открыта полноценная монетизация AI-сервисов, созданных сторонними специалистами в области машинного обучения.
Модуль Pipelines позволяет ставить на поток цикл экспериментов, и будет востребован продвинутыми DS. Благодаря этому модулю высвобождается еще больше времени у специалиста, которое он может посвятить, к примеру, разработке новой задачи или обработке данных.
Удобные сервисы и модули сделали платформу ML Space очень востребованной как среди разработчиков экосистемы Сбера, так и у дата-сайентистов из компаний любого размера и научных организаций. Всего за год ею воспользовались 1,5 тыс. человек из порядка 250 команд. За это время ими было использовано 2,5 петабайта данных и 300 млн GPU-минут.
ML Space делает ML-разработку ещё более доступной. В честь обновления платформы и запуска Christofari Neo увеличен размер гранта для тестового доступа на ML Space: первым 100 клиентам — юридическим лицам будут доступны 180 тысяч рублей.
Давид Рафаловский, исполнительный вице-президент Сбербанка, CTO Сбера, руководитель блока «Технологии»: «Мы знаем, как много времени дата-сайентисты тратят на подготовку инструментов для ML-разработки. Поэтому мы продолжаем активно обогащать ML Space дополнительными к модулями и фичами для удобства пользователей. Мы видим, насколько это мощный, высокотехнологичный и при этом доступный инструмент для разработки AI-сервисов. Наша задача — сделать ML-разработку максимально удобной. Могу заверить, что мы и впредь будем совершенствовать нашу платформу ML Space, а также продукты на её базе».
Платформа ML Space с новым функционалом и картами А100 будет доступна всем желающим с 1 декабря 2021 года в SberCloud. На сайте SberCloud можно получить доступ к платформе ML Space, семейству генеративных моделей ruGPT-3, сервисов и демостендов для разработки собственных AI-сервисов и интеграции готовых решений SberCloud в продукты компании.
