Arenadata Hadoop

Arenadata представила новую версию ADH 4.0.0, в которой устранены межсервисные зависимости, — теперь заказчики могут устанавливать кластеры с любым набором компонентов без обязательных hadoop-сервисов. В связи с этим компания отказалась от прежнего наименования продукта (Arenadata Hadoop) и перезапускает ADH под новым названием — Arenadata Hyperwave.

АО «Россельхозбанк» (далее — РСХБ) реализовал проект по импортозамещению зарубежного решения Корпоративного Озера данных (далее — Озеро) на продукты Группы Arenadata — Arenadata Hadoop (ADH) и Picodata. Переход на отечественное программное обеспечение был выполнен в кратчайшие сроки с полным сохранением непрерывности бизнес-процессов.

Компания Arenadata включила в состав корпоративного дистрибутива Arenadata Hadoop (ADH) новый сервис Apache Kyuubi — распределённый многопользовательский SQL-шлюз для корпоративных хранилищ и озёр данных. Он расширяет возможности быстрой интерактивной аналитики в Arenadata Hadoop и обеспечивает простой и безопасный доступ к любому ресурсу кластера через единую точку входа.

Компания «ДатаКаталог» (входит в Группу Arenadata) протестировала коннектор, обеспечивающий совместимость продукта Arenadata Catalog (ADC) и сервиса Apache Impala, являющегося частью корпоративного дистрибутива Arenadata Hadoop (ADH)[1] . Коннектор позволяет импортировать описания объектов Impala в каталог, выполнять профилирование данных и настраивать пользовательские проверки качества данных в Impala. Это не первый модуль, обеспечивающий интеграцию с экосистемой Hadoop, ранее заказчикам был представлен коннектор для сервиса Hive.

Компания Arenadata включила в состав корпоративного дистрибутива Arenadata Hadoop (ADH) новый сервис Smart Storage Manager (SSM) — инструмент для оптимизации хранения и управления данными. Сервис расширяет возможности распределённой файловой системы HDFS и позволяет выбрать наиболее эффективный способ работы с данными, снижая накладные расходы на их хранение и повышая производительность запросов.

Банк ВТБ перенёс собственную платформу анализа и обработки больших данных на российское решение Arenadata Hadoop. Теперь весь процесс подготовки моделирования с последующим расчётом моделей искусственного интеллекта (ИИ) осуществляется на импортнезависимой платформе. Вычислительные мощности одной из крупнейших платформ данных в России увеличены более, чем в два раза. Это значительно ускорило процесс обработки. Суммарный объём информации превысил шесть петабайт. Группа компаний IBS приняла участие в проекте.

Arenadata выпустила новую версию дистрибутива на базе Apache Hadoop, адаптированного для корпоративного использования, — Arenadata Hadoop (ADH) 2.1.7_b1. Релиз включил обновление версий компонент Hbase, Flink и Zookeeper. Также в него добавлен новый сервис Airflow2 и компонент Livy версии 0.7.1 c поддержкой работы со Spark версии 3.3.0 на Scala 2.13.

Разработчик платформы сбора и хранения данных Arenadata и компания «ФОРС Технологии», специализирующаяся на поддержке программных продуктов и оборудования ведущих мировых вендоров, подписали соглашение о партнёрстве.

Компания Arenadata дала пользователям трёх своих продуктов — Arenadata Hadoop (ADH), Arenadata Streaming (ADS) и Arenadata Platform Security (ADPS) — возможность предотвращать несанкционированный доступ к сервисам и данным кластеров. Теперь достаточно включить Kerberos-авторизацию для всех компонентов, которая позволит хранить авторизационные данные в Active Directory.

На платформе Mail.ru Cloud Solutions (MCS) стал доступен дистрибутив Hadoop на базе продукта с открытым исходным кодом Arenadata Hadoop. Это первое на российском облачном рынке решение на основе обновленной версии Hadoop 3.0. Сервис открывает новые возможности для работы с большими данными и гарантирует безопасность, функциональность и высокую производительность. Новые пользователи платформы смогут бесплатно протестировать решение в течение трех месяцев.