Arenadata Hyperwave расширяет возможности облачных вычислений в новом релизе ADH Cloud
Модуль ADH Cloud позволяет запускать вычислительные движки Arenadata Hyperwave в среде Kubernetes, сохраняя данные и состояние кластера в базовом ADH. Версия 1.4.0 продолжает эту стратегию: если в прошлой версии акцент делался на Impala и Trino, то теперь ключевым направлением стало развитие экосистемы Spark — от управления ресурсами до анализа завершённых приложений. Релиз позволяет гибко и изолированно масштабировать аналитические нагрузки Spark в облачной инфраструктуре, сохраняя защищённый контур данных.
Для релиза разработан оператор Spark для Kubernetes, покрывающий полный жизненный цикл приложения — от развёртывания и масштабирования до автоматической очистки ресурсов. Чтобы сделать работу Spark в Kubernetes эффективной и предсказуемой, в состав ADH Cloud интегрирован планировщик ресурсов YuniKorn, позволяющий гибко управлять очередями задач и распределять ресурсы между пользователями и командами. Для веб-интерфейса YuniKorn реализована поддержка аутентификации Kerberos, SPNEGO и LDAP.
В релиз включён компонент Celeborn — удалённый shuffle-сервис для Spark в Kubernetes. Он переносит высоконагруженные операции с локальных дисков узлов во внешнее хранилище, включая HDFS, Ozone (в том числе по протоколу ofs), S3, что позволяет запускать Spark на рабочих узлах без физических локальных дисков.
Также в платформу вошёл Spark History Server для хранения и просмотра истории выполнения приложений Spark. Он позволяет анализировать логи, метрики и статусы задач даже после завершения работы приложения, не требуя доступа к контейнерам или логам отдельных подов.
Иван Никерин, технический менеджер продукта, Cloud & Data Services: «Тонкое управление вычислительными нагрузками — следующий шаг после запуска движков в Kubernetes. YuniKorn и Celeborn закрывают исторические ограничения Spark в контейнерной среде: непредсказуемое распределение ресурсов между командами и зависимость от локальных дисков».
Упрощены сбор и визуализация метрик: реализована интеграция с VictoriaMetrics и Prometheus для сбора метрик состояния оператора Kerberos. Данная функция позволяет отслеживать работоспособность и производительность инфраструктуры Kerberos на единой информационной панели наряду с другими компонентами платформы. Для сбора метрик компонентов добавлена поддержка PodMonitor, ServiceMonitor, VMPodScrape и VMServiceScrape. Администратор может выбрать наиболее подходящий способ подключения в зависимости от используемой системы мониторинга (Prometheus или VictoriaMetrics) без необходимости внесения изменений в код.
Продолжена линия на усиление безопасности: разработан механизм использования предварительно созданных секретов Kubernetes с централизованным хранением для Trino, Impala, Spark, YuniKorn и Celeborn. Расширены возможности Arenadata Cloud CLI — в частности, команда adc list даёт быстрый доступ к текущему состоянию инфраструктуры без переключения между kubectl и другими инструментами.
