Вышла новая версия системы потоковой передачи и обработки данных Arenadata Streaming (ADS)
В платформу внедрены инструменты для сквозного контроля потоков данных. В сервис Kafka Connect и Iceberg Sink Connector интегрирована поддержка репортера OpenMetadata, что позволяет автоматически фиксировать происхождение и структуру данных при их передаче в lakehouse-таблицы. Коннектор также получил функциональность сопоставления топиков Kafka с целевыми таблицами (topic-to-table mapping).
Для Schema Registry и Kafka REST Proxy реализован режим высокой доступности (НА), устраняющий единые точки отказа в данных сегментах, — балансировку нагрузки обеспечивает встроенный сервис HAProxy. Кроме того, теперь эти сервисы поддерживают последовательное обновление и перезапуск (Rolling Upgrade / Rolling Restart), что позволяет проводить плановое обслуживание инфраструктуры, не прерывая процесс сбора данных.
Александр Анисимов, технический руководитель продукта Arenadata Streaming: «В релизе мы закрываем требования корпоративных заказчиков к прозрачности и непрерывности потоковой обработки. Интеграция с OpenMetadata позволяет автоматизировать аудит данных на уровне компании, а поддержка режима высокой доступности сервисами Schema Registry и Kafka REST Proxy устраняет точки отказа в архитектуре стриминга».
Начиная с версии 4.1.0 Arenadata Streaming адаптирован к работе на новых версиях российских операционных систем РЕД ОС 8 (сертифицированная редакция) и Astra Linux 1.8.6.
Обновление версий сервисов экосистем Kafka и NiFi, а также коннекторов Debezium позволяет повысить стабильность обработки потоков данных. Для NiFi 2 реализована поддержка плагина Ranger в рамках подсистемы безопасности Arenadata Platform Security (ADPS). В новой версии сервис выходит из режима технического превью в связи с получением всех необходимых для использования в производственной среде улучшений.
Вместе с данным релизом выпущена новая версия Arenadata Streaming Control (ADS Control) — решения для управления кластерами потоковой передачи. В сервисе добавлена совместимость с РЕД ОС 8 (сертифицированная редакция) и Astra Linux 1.8.6.
Возможности Arenadata Streaming
Arenadata Streaming — масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Apache Kafka и NiFi. Продукт включает графический пользовательский веб-интерфейс для управления кластерами потоковой передачи (ADS Control, ADSC), поддержку расширенной безопасности (Arenadata Platform Security, ADPS), а также ряд дополнительных инструментов для реализации репликации, проверки качества данных и других необходимых для продуктовой эксплуатации функций.
Arenadata Streaming позволяет:
- в реальном времени строить потоковые конвейеры данных, надёжно передающие данные между системами или приложениями;
- в реальном времени разрабатывать потоковые приложения, преобразующие потоки данных или реагирующие на них;
- хранить потоки записей отказоустойчивым долговечным способом;
- разграничивать права доступа к потокам данных.
На Arenadata Streaming получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включён в единый реестр российских программ для электронных вычислительных машин и баз данных.
