Arenadata Hyperwave: поддержка федерации, репликация Hive Metastore и высокая доступность S3 Gateway Ozone
В новой версии реализована предварительная поддержка федерации — архитектурной модели, в которой несколько независимых систем работают как единый механизм, сохраняя автономность. Теперь в Arenadata Hyperwave доступна возможность объединять кластеры в федерацию HDFS и YARN — это позволяет равномерно распределять нагрузку в крупных инсталляциях, поддерживая несколько меньших кластеров вместо одного большого. Систему можно горизонтально масштабировать без простоев, а глобальное пространство имён выступает в качестве точки входа, обеспечивая единое логическое представление данных.
Александр Анисимов, технический руководитель продукта Arenadata Hyperwave: «Релиз формирует фундамент для двух ключевых enterprise-сценариев: масштабирование через федерацию и отказоустойчивость через репликацию. Мы целенаправленно двигаем платформу в сторону архитектуры, где компоненты могут работать на разных физических кластерах, но управляться как единая система. А в следующем релизе мы добавим ещё больше гибкости за счёт возможности деплоя вычислительных компонентов в Kubernetes, сохраняя при этом интеграцию с текущим кластером».
В релизе обновлён инструмент для оптимизации хранения и управления данными Smart Storage Manager. Теперь SSM предоставляет механизм для репликации метаданных Hive Metastore, расположенных в разных кластерах Arenadata Hyperwave. Опция позволяет синхронизировать метаданные между инстансами, повышая отказоустойчивость и сокращая время восстановления, являясь технологической основой для проектов Disaster Recovery, в том числе на географически распределённых кластерах.
Виктор Езерский, архитектор Arenadata: «Ранее Smart Storage Manager уже умел реплицировать данные между двумя независимыми кластерами Arenadata Hyperwave. Появление репликации метаданных Hive Metastore делает Smart Storage Manager законченным решением как для организации disaster-recovery-сценариев, так и для передачи данных в архитектурах Lakehouse (включая iceberg-таблицы) и Data Lake. Особо отмечу простоту использования: чтобы настроить репликацию, достаточно добавить два правила в графическом интерфейсе Smart Storage Manager».
В новой версии Arenadata Hyperwave реализована поддержка режима высокой доступности Ozone S3 Gateway — компонента, предоставляющего S3-совместимый интерфейс к объектному хранилищу. Для этого добавлен сервис HAProxy, который позволяет переключаться между несколькими экземплярами S3 Gateway и обслуживать запросы без потери данных, гарантируя непрерывный доступ.
Поддерживается альтернативный способ установки кластера, включающий предустановку некоторых настроек, таких как SSL и Kerberos, — с помощью ADCM Wizard. Добавлено действие, позволяющее изменить распределение компонентов во всём кластере, — Add/Remove components. Это отменяет необходимость выполнять данное действие для каждого сервиса в случае выхода из строя нескольких хостов. Кроме того, доступна опция обновления кластеров с пропуском версии (от 4.0.0 к 4.2.0).
Вместе с Arenadata Hyperwave выпущен релиз подсистемы безопасности Arenadata Platform Security (ADPS). В версии ADPS 2.1.0 обновлён сервис Ranger, добавлена возможность автоматической установки Java из репозитория Arenadata и поддержка Ansible 2.16.
