Arenadata Streaming: эффективная автоматизация обработки данных и новый сервис NiFi 2

Arenadata представила новую версию системы потоковой передачи и обработки данных Arenadata Streaming (ADS). В состав продукта включён NiFi 2 — новое поколение low-code-сервиса разработки и исполнения ETL и интеграционных потоков данных. Среди прочих улучшений — расширение функциональности Iceberg Sink Connector и поддержка российской операционной системы «Альт СП» (релиз 10).

В релизе Arenadata Streaming обновлены версии сервисов экосистемы Kafka и NiFi. Значительные изменения затронули Iceberg Sink Connector — инструмент для интеграции с iceberg-таблицами. В новой версии коннектора реализована поддержка модуля преобразования одиночных сообщений (Single Message Transform, SMT), который позволяет автоматически трансформировать каждую запись[1]. Кроме того, теперь доступно удаление строк в режиме UPSERT и новые параметры для операций CDС, определяющие действия (вставка, обновление или удаление) для каждой входящей записи. Это позволяет автоматизировать обработку данных без необходимости писать сложный код.

Александр Анисимов, технический руководитель продукта Arenadata Streaming: «Мы вложили значительные ресурсы команды разработки в развитие готового к промышленной эксплуатации Iceberg Sync Connector. После перехода коннектора в основной проект Apache Iceberg многие критически важные для корпоративной среды функции остались без внимания, например поддержка аутентификации Kerberos, ключевые модули для трансформации данных (SMT) и полноценная работа в режиме upsert. Команда Arenadata устранила эти ограничения, что делает наше решение уникальным на рынке — оно готово к применению в реальных проектах сразу „из коробки“. На этом мы не останавливаемся: в планах — дальнейшее развитие функционала в ответ на запросы наших пользователей, включая интеграцию с Ozone в ближайшем будущем».

NiFi 2[2] дополняет предыдущую версию сервиса, входящую в состав дистрибутива Arenadata Streaming. Благодаря переработанному ядру и оптимизации асинхронных операций, NiFi 2 позволяет работать с бóльшими объёмами данных без снижения скорости. Улучшенный пользовательский интерфейс обеспечивает простую и интуитивную настройку потоков данных и выполнение автоматических преобразований, средства мониторинга позволяют оперативно выявлять и устранять ошибки. В новой версии предусмотрены расширенные функции безопасности: поддержка шифрования потоков данных, средства контроля доступа и трекинга активности пользователей.

В Arenadata Streaming дополнена функциональность Kafka Cruise Control — инструмента для автоматического управления балансировкой рабочих нагрузок и масштабированием кластеров Kafka. В сервисе реализованы такие типы аутентификации, как Basic и Kerberos, и возможность экспорта параметров аутентификации в Arenadata Streaming Control.

Начиная с версии 3.9.1.1.b1 Arenadata Streaming совместим с российской операционной системой «Альт СП» (релиз 10), сертифицированной ФСТЭК России на соответствие требованиям защиты к средствам виртуализации и контейнеризации.