Arenadata Hyperwave: работа с геопространственными данными, новые функции безопасности и управления
В новой версии продукта добавлена поддержка Apache Sedona — расширения для работы с геоданными в Spark3. С его помощью пользователи смогут решать задачи пространственного анализа: определение вхождения объектов в заданную область, расчёт расстояний и маршрутов, агрегация данных по сетке координат. Эти функции востребованы в логистике и транспортных системах, градостроительстве, экологическом мониторинге, картографических сервисах, ритейле и телеком-инфраструктуре.
В состав Arenadata Hyperwave включены новые средства администрирования и обеспечения отказоустойчивости. Добавлен компонент Trino History Server для постоянного хранения истории выполнения запросов в Trino — федеративном аналитическом SQL-движке. Реализована поддержка режима высокой доступности для веб-интерфейса HUE с помощью компонента HAproxy, который обеспечивает балансировку нагрузки между несколькими экземплярами сервиса и автоматическое переключение при сбоях.
В релизе появились новые функции безопасности. В HUE реализована поддержка OpenBao/Vault для хранения чувствительных параметров конфигурации. Добавлена интеграция Spark Connect, протокола для удалённого подключения к кластерам Spark3, и многопользовательского шлюза Kyuubi, предоставляющая функциональность изоляции пользователей и аутентификации через LDAP и Kerberos. Кроме того, для Kyuubi внедрена поддержка аутентификации SPNEGO.
Александр Анисимов, технический руководитель продукта Arenadata Hyperwave: «Традиционно параллельно с развитием продукта мы закрываем вопросы безопасности кластеров — это критичное требование enterprise-сегмента. Помимо расширения возможностей сервисов по обеспечению централизованного управления секретами, апгрейды компонентов в рамках регулярного цикла развития платформы сопровождались масштабными проверками со стороны безопасности, были превентивно исправлены уязвимости, обнаруженные в опенсорс-библиотеках».
Расширены возможности работы с хранилищами данных: добавлена поддержка HBase в объектном хранилище Ozone, реализована активация Kerberos в кластерах с уже установленным Ozone без повторного развёртывания. ADB Spark Connector теперь поддерживает Greengage DB 7, что позволяет обеспечить высокоскоростной обмен данными между Spark и новейшей версией Arenadata DB (ADB).
Выполнено обновление компонентов Arenadata Hyperwave, добавлена поддержка Java 11 и Java 25, а также российской операционной системы Astra Linux 1.8. Внедрён режим обслуживания на уровне хостов с возможностью отключения сервисов на отдельных узлах.
Вместе с Arenadata Hyperwave обновлена подсистема безопасности Arenadata Platform Security. Релиз 2.2.0 включает обновление версий сервисов, совместимость с Astra Linux 1.8, а также возможность установки преднастроенного кластера с помощью ADCM Wizard и поддержку SSL для сервиса Arenadata Monitoring.
