Arenadata Hyperwave: развитие концепции Streamhouse, интеграция StarRocks и Paimon, новые функции безопасности

Группа Arenadata представила новую версию гибридной платформы данных Arenadata Hyperwave (ADH) 4.4.0. Ключевые изменения — интеграция OLAP-движка StarRocks и поддержка табличного формата Apache Paimon. Релиз продолжает развитие концепции Streamhouse для аналитики в реальном времени, но не ограничивается ею: платформа даёт больше вариантов при построении архитектуры данных — можно выбирать движки, табличные форматы и сценарии обработки, включая быстрый SQL и работу с потоковыми данными.

Добавление StarRocks расширяет возможности выполнения быстрых SQL-запросов при работе с большими объёмами данных. В релизе реализована интеграция сервиса с плагином безопасности Ranger, а при работе с внешними каталогами (Iceberg и Hive) добавлены поддержка Kerberos и имперсонация пользователей для разграничения доступа. Управлять топологией и конфигурацией СУБД можно через интерфейс платформы. Внутренний трафик сервиса защищён шифрованием, а архитектура рассчитана на запуск в изолированных средах.

Поддержка Paimon 2.0 предоставляет ещё один инструмент для построения современных хранилищ данных. В Arenadata Hyperwave сервис поставляется со встроенной поддержкой Spark 3 и 4, Hive, Trino (через предустановленный каталог) и Flink.

Изменения в вычислительных движках нацелены на интеграцию компонентов. Для Spark 4 добавлено удалённое подключение через Spark Connect на базе многопользовательского шлюза Kyuubi. В Kyuubi появилась поддержка профилей — это позволяет параллельно выводить новую версию Spark, не прерывая работу пользователей на предыдущей, и безопасно управлять такими переходами. Реализована интеграция с Kyuubi Arrow Flight SQL: он не только ускоряет аналитические запросы, но и открывает доступ для клиентов, которым нужны протоколы ODBC и ADBC. В сервисе Flink 2 появилась нативная поддержка таблиц Iceberg, что упрощает построение сквозных конвейеров обработки данных. 

Обновления интерфейсов и автоматизации хранения затронули работу с метаданными и репликацией. В веб-интерфейсе HUE добавлено автодополнение для табличных выражений (CTE) и поддержка нескольких конечных точек для Ozone и HDFS. В панели управления HBase реализована аутентификация пользователей через LDAP. Сервис Smart Storage Manager (SSM) получил функцию фильтрации событий при репликации данных между кластерами, которая позволяет снизить нагрузку на сеть и делает репликацию более гибкой и управляемой. Обновлённый Trino ADB Connector поддерживает распределённое чтение и запись, а также прямой перенос текстовых фильтров (text pushdown).

Обновления в части безопасности и совместимости упрощают встраивание платформы в корпоративный контур. Коннекторы Trino теперь работают с системой управления секретами OpenBao. В HUE настроен контроль доступа для интерпретатора Kyuubi, а для Spark 4 добавлено действие по управлению плагином Ranger. Защита периметра усилена поддержкой TLS v1.3, а в ZooKeeper появились параметры для включения TLS и SASL. Arenadata Hyperwave 4.4.0 совместима с российскими операционными системами РЕД ОС 8.0 и Astra Linux 1.8.6, а также с новой системой мониторинга Arenadata Monitoring (ADM) 5.0.

Одновременно выпущена новая версия подсистемы безопасности Arenadata Platform Security (ADPS). В ней добавлена поддержка операционных систем РЕД ОС 8.0 и Astra Linux 1.8.6. Кроме того, в бандл включён агент vmagent для автоматической передачи преднастроенных дашбордов в систему мониторинга ADM 5.0.

Александр Анисимов, технический руководитель продукта Arenadata Hyperwave: «В версии 4.4.0 мы развиваем ADH в двух направлениях: расширяем выбор движков и форматов для аналитики и усиливаем безопасность. StarRocks и Paimon добавляют сценарии быстрого SQL и потоковой обработки, а изоляция вычислительных сред и работа коннекторов Trino с OpenBao упрощают развёртывание в контурах с жёсткими требованиями».