Arenadata Streaming: поддержка спецификации Iceberg V3 и совместимость с ADB 7 «из коробки»

Группа Arenadata представила новую версию системы потоковой передачи и обработки данных Arenadata Streaming (ADS). В релизе 4.0.0.b1 реализована поддержка спецификации Apache Iceberg V3, обновлён коннектор для работы с Arenadata DB и инструменты мониторинга.

В новой версии расширена функциональность Iceberg Sink Connector, который теперь поддерживает спецификацию Iceberg V3. Это позволяет использовать современные возможности табличного формата без потери производительности — работать с типами данных VARIANT и UNKNOWN, временными метками с точностью до наносекунд, векторами удаления (Deletion Vectors) и ключами шифрования метаданных.

Обновлён NiFi ADB Connector — в его состав включён процессор GetGreengageRecord, предназначенный для загрузки данных из Greengage DB через протокол gpfdist. Процессор поддерживает режим пошаговой выгрузки, предполагающий чтение только вновь появившихся диапазонов данных, что позволяет снизить нагрузку на СУБД и NiFi, в том числе в сценариях реального времени. Кроме того, теперь NiFi ADB Connector «из коробки» поддерживает работу с Arenadata DB (ADB) 7.

В релизе добавлена поддержка операционной системы Astra Linux 1.8. Появилась возможность использования мастера ADCM Wizard для установки ADS: он позволяет развернуть кластер с предварительной настройкой конфигураций безопасности — SSL, Kerberos, плагинов Ranger или их комбинацией. Реализована поддержка мониторинга на базе VictoriaMetrics с использованием кластера Arenadata Monitoring (ADM).

Обновлены версии сервисов экосистемы Kafka и NiFi, коннекторов Debezium и Iceberg, а также сервиса Arenadata Monitoring.