HeadHunter сделал каталог данных Arenadata Catalog рабочим инструментом для аналитиков и ИИ-агентов
От собственного каталога к рыночному решению
Команда по работе с данными HeadHunter зафиксировала потребность в инструментах Data Governance ещё в 2022 году. Объём данных на платформе и число сотрудников постоянно росли, усложнялись аналитические задачи, и компании понадобилось единое пространство для работы пользователей. На первом этапе HeadHunter развивал собственный каталог метаданных усилиями внутренней команды. Однако к 2024 году стало очевидно, что стратегию развития необходимо пересмотреть. Команда продолжила доработку внутреннего решения и параллельно начала оценивать зрелость продуктов на рынке.
Чтобы выбрать оптимальный вариант, в HeadHunter создали рабочую группу и подготовили сравнительную таблицу предлагаемых решений. В ней сравнивали open source и коммерческие решения. Ряд из них к этому моменту уже не был доступен в России, а часть продуктов не удовлетворяла команду из-за интерфейса, неудобного для бизнес-пользователей, отсутствия необходимого функционала и вендорской поддержки.
«Когда мы поняли, что потребности в компании в дата-каталоге всё время растут, развивать свой продукт стало нерационально. В итоге экономически эффективнее оказалось взять решение с рынка. Для нас было важно не только закрыть текущие потребности, но и выбрать решение с понятной перспективой развития», — рассказал Селим Алкадарский, руководитель направления Data Platform HeadHunter.
По итогам сравнительного анализа Arenadata Catalog оказался максимально близок к ожиданиям HeadHunter по функциональности и дорожной карте развития. Для компании это стало ключевым аргументом: нужен был инструмент, который будет развиваться синхронно с внутренним дата-ландшафтом.
Масштаб и охват корпоративного ландшафта данных
Активная фаза внедрения заняла около трёх месяцев. Проект команда HeadHunter реализовывала своими силами, точечно привлекая техническую поддержку Arenadata. После запуска каталог начали постепенно наполнять данными и продвигать внутри компании. Сначала к нему подключили аналитиков и технических пользователей, затем расширили использование: ADC стали применять для описания данных, поиска владельцев и навигации по взаимосвязям между объектами.
На текущий момент Arenadata Catalog покрывает ландшафт данных аналитического хранилища объёмом 5,8 ПБ. Дополнительно в систему загружены метаданные систем-источников суммарным объёмом около 40 ТБ, а также kafka-топики, которые помогают находить первоисточники таблиц и определять зоны ответственности за исправления. На практике это делает каталог удобной точкой входа в дата-ландшафт компании, где легче ориентироваться в структуре и связях между объектами.
Около 800 бизнес-пользователей объединены в 45 команд, среди которых около 100 активных пользователей каталога. Команды одновременно являются владельцами данных. В системе описано 99 590 таблиц, отсканировано 487 баз данных, 1203 kafka-топика, каталогизировано и автоматически обновляется информация о 405 Airflow DAG и 40 783 задачах Airflow. Существенную часть каталога составляют объекты аналитического слоя хранилища: в ADC отражены 1768 дашбордов, описано более 200 KPI и бизнес-терминов. Объекты помечаются кастомизируемыми классификаторами, число которых уже превысило 100.
Рабочий инструмент для аналитиков, инженеров и ИИ-сценариев
В HeadHunter каталог используют аналитики, технические специалисты и команды, отвечающие за качество данных. Аналитики обращаются к нему за описаниями таблиц, схем, колонок, терминов и метрик. Технические специалисты просматривают информацию о владельцах, стюардах и связях между объектами. В процессах, связанных с качеством данных, каталог стал узловой точкой, через которую проходят алерты и назначение ответственных. На протяжении всего проекта DAU (количество уникальных активных пользователей за день) стабильно составляет более 30 сотрудников.
Есть и более прикладные сценарии использования. Если дата-инженерам нужно поставить задачу на переливку таблицы или kafka-топика в аналитическое хранилище, ссылка на соответствующий объект в каталоге теперь обязательна. Аналитики используют Arenadata Catalog для обмена описаниями метрик вместе со скриптом их подсчёта, что помогает поддерживать единую методологию в разных командах.
После того как в компании начали активнее развивать ИИ-сценарии, роль каталога усилилась. Документация теперь ведётся в отдельном репозитории в Git, после чего описания попадают в Arenadata Catalog. На этой основе в HeadHunter разработали MCP-сервер, который предоставляет ИИ-агентам доступ к метаданным, техническим описаниям и скриптам.
В этом смысле каталог работает уже не только на людей, но и на внутренние ИИ-сервисы. Накопленные в нём данные используются и в операционной деятельности, и как контекст для интеллектуальных сценариев, которые компания строит поверх своей дата-инфраструктуры.
Во внутреннем опросе HeadHunter 72% респондентов подтвердили, что регулярно используют Arenadata Catalog для поиска описаний таблиц, схем и колонок, то есть физической модели данных. 48% обращаются к сведениям о владельцах и стюардах таблиц, 40% используют описания терминов и метрик, что отражает профиль запросов бизнес-пользователей. 28% просматривают лайнэйдж, 24% открывают описания таблиц и колонок, к которым у них нет физического доступа.
«Эти ответы показывают, что каталог используется в разных рабочих сценариях. Для HeadHunter он стал частью инфраструктуры, через которую проходят поиск, согласование, описание и сопровождение данных. Привычная роль Arenadata Catalog как справочника метаданных в практике HeadHunter трансформируется в полноценную командную операционную систему, где каждый артефакт — от таблицы до kafka-топика — обрастает управляемыми процессами», — считает Игорь Моисеев, директор по развитию бизнеса DataCatalog (входит в Группу Arenadata).
