Arenadata Streaming: интеграция с Ozone и обновление технологической платформы

Группа Arenadata представила новую версию системы потоковой передачи и обработки данных Arenadata Streaming (ADS). Релиз ADS 3.9.1.2.b1 включает ряд функциональных и технологических обновлений, направленных на повышение производительности, безопасности и удобства эксплуатации кластеров.

Ключевое улучшение версии — поддержка сервиса Ozone, входящего в состав гибридной платформы Arenadata Hyperwave. Интеграция позволяет использовать масштабируемое объектное хранилище для задач потоковой обработки. Теперь можно записывать данные из Kafka в iceberg-таблицы с помощью Iceberg Sink Connector, а также передавать «холодные» данные, требующие длительного хранения, в более экономичное S3-хранилище с помощью опции Kafka Tiered Storage.

Начиная с новой версии Arenadata Streaming режим Kafka Raft (KRaft) доступен для использования в производственных средах. Протокол согласования KRaft предназначен для управления метаданными внутри Kafka, что позволяет устранить зависимость от внешнего сервиса (ZooKeeper), упростить работу с Kafka, сократить целевое время восстановления системы (RTO) и кратно увеличить доступное число партиций, поддерживаемых одним кластером. Для поддержки режима KRaft в новой версии ADS улучшена работа сервиса Monitoring.

Расширены возможности NiFi 2[1]: в Monitoring добавлен дашборд с метриками этого сервиса. Кроме того, в релизе оптимизированы операции с кластером и сервисами: сокращено время выполнения операций запуска, остановки и перезапуска кластера, а также время выполнения перезапуска Kafka.

Обновления затронули и технологическую основу продукта. Дистрибутив Arenadata Streaming переведён на Java 21 для сборки и работы всех сервисов и использует Ansible 2.16. Это позволит повысить производительность, стабильность и безопасность, а также подготовить инфраструктуру к будущим обновлениям поддерживаемых операционных систем.

Александр Анисимов, технический руководитель продукта Arenadata Streaming: «В новой версии Arenadata Streaming мы сфокусировались на расширении интеграций и укреплении технологического фундамента платформы. Поддержка Ozone из экосистемы Arenadata Hyperwave позволит нашим клиентам создавать эффективные гибридные решения, объединяя потоковую обработку с lakehouse-архитектурами. Переход на Java 21 и Ansible 2.16 — шаг для обеспечения долгосрочной актуальности и безопасности».