Все о Цифровых системах - новости, статьи, обзоры, аналитика. Более 1000 компаний, товаров и услуг в каталоге.
Добавить компаниюПредложить публикацию

Хранение и обработка данных для искусственного интеллекта

Рубрики: «Искусственный интеллект (AI)», «Машинное обучение (ML)»

Хранение и обработка данных для искусственного интеллекта

Искусственный интеллект напрямую зависит от данных. Именно на их основе обучаются модели машинного обучения, работают аналитические системы, формируются прогнозы и выполняются интеллектуальные операции. Однако по мере роста сложности ИИ-систем увеличиваются не только объёмы используемой информации, но и требования к скорости её хранения, обработки, передачи и предоставления вычислительным ресурсам.

Для современных моделей недостаточно просто располагать большим массивом данных. Необходимо обеспечить их качество, доступность, структурированность и соответствие задачам обучения или инференса. При этом данные могут поступать из корпоративных информационных систем, производственного оборудования, сенсоров, камер, пользовательских приложений, внешних источников и других систем.

Для решения этих задач формируется специализированная инфраструктура хранения и обработки данных — AI Data Storage & Processing.

Она включает высокопроизводительные накопители, системы хранения, распределённые файловые и объектные платформы, инструменты подготовки данных, программные конвейеры обработки и механизмы управления информационными ресурсами.

Рассмотрим, как устроена эта инфраструктура, какие технологии используются для хранения больших массивов информации и каким образом данные проходят путь от источника до модели искусственного интеллекта.

Роль данных в инфраструктуре искусственного интеллекта

Данные являются одним из ключевых ресурсов современной ИИ-инфраструктуры. От их состава, объёма, качества и доступности зависит эффективность обучения моделей и точность результатов их работы.

В зависимости от задач искусственный интеллект использует различные типы информации:

  • структурированные данные из баз данных и корпоративных систем;

  • текстовые документы, сообщения и цифровые архивы;

  • изображения и видеоматериалы;

  • аудиозаписи и звуковые потоки;

  • телеметрию и показания датчиков;

  • пространственные и географические данные;

  • мультимодальные наборы, объединяющие несколько типов информации.

Каждая категория предъявляет собственные требования к хранению и обработке. Например, видеоданные могут занимать значительные объёмы, а работа с большими наборами текстовых документов требует эффективной индексации и поиска.

При обучении моделей необходимо обеспечить последовательную подачу больших массивов информации в вычислительную систему. Если накопители или программная инфраструктура не справляются с этой задачей, производительные процессоры и ускорители могут простаивать в ожидании данных.

Таким образом, инфраструктура хранения и обработки должна проектироваться совместно с вычислительной архитектурой и сетевыми компонентами AI Infrastructure.

Архитектура хранения данных для ИИ

Системы хранения данных обеспечивают сохранность информации, доступ к наборам данных и предоставление необходимых ресурсов вычислительным платформам.

В инфраструктуре искусственного интеллекта используются несколько типов накопителей и архитектур хранения. Их выбор зависит от объёма информации, скорости доступа, частоты использования и требований к стоимости хранения.

SSD и NVMe: высокопроизводительные накопители

Твердотельные накопители SSD широко применяются в современных серверных системах благодаря высокой скорости доступа к данным и отсутствию механических движущихся частей.

Особое значение для ИИ-инфраструктуры имеют NVMe-накопители. NVMe (Non-Volatile Memory Express) — протокол доступа к энергонезависимой памяти, разработанный для эффективной работы с высокопроизводительными накопителями через интерфейс PCI Express.

По сравнению с традиционными интерфейсами хранения NVMe позволяет использовать более высокую пропускную способность и поддерживать большое количество параллельных операций ввода-вывода.

NVMe SSD применяются для:

  • хранения рабочих наборов данных;

  • размещения моделей и программных компонентов;

  • загрузки данных при обучении нейронных сетей;

  • хранения промежуточных результатов вычислений;

  • работы с высоконагруженными приложениями инференса.

Производительность NVMe-накопителей особенно важна в системах, где вычислительные ускорители должны непрерывно получать большие объёмы информации.

HDD: ёмкое хранение больших массивов данных

Жёсткие диски HDD продолжают использоваться в инфраструктуре искусственного интеллекта, прежде всего для экономичного хранения больших объёмов информации.

Несмотря на более низкую скорость доступа по сравнению с SSD, HDD обеспечивают высокую ёмкость и могут быть эффективным решением для хранения архивов, исходных наборов данных, резервных копий и информации, которая не требует постоянного высокоскоростного доступа.

В крупных инфраструктурах HDD часто используются совместно с SSD, формируя многоуровневые системы хранения.

Иерархия хранения данных

В современных ИИ-системах всё чаще применяется многоуровневая архитектура хранения.

Она предусматривает распределение информации между различными типами носителей в зависимости от частоты доступа, требований к скорости и стоимости хранения.

Условно можно выделить несколько уровней:

  • Высокопроизводительный уровень — оперативная память и быстрые NVMe-накопители для активно используемых данных.

  • Основной уровень — SSD- и HDD-системы для рабочих наборов информации и моделей.

  • Ёмкий уровень — объектные хранилища и распределённые системы для больших массивов данных.

  • Архивный уровень — решения для долгосрочного хранения информации, резервных копий и редко используемых наборов.

Такая архитектура позволяет оптимизировать стоимость инфраструктуры, сохраняя быстрый доступ к наиболее востребованным данным.

Типы систем хранения: блочные, файловые и объектные

Помимо характеристик самих накопителей, важную роль играет способ организации доступа к информации.

В инфраструктуре ИИ применяются блочные, файловые и объектные системы хранения.

Блочные системы хранения

Блочное хранение (Block Storage) предполагает представление информации в виде отдельных блоков данных, доступных вычислительной системе через соответствующий интерфейс.

Такие системы используются для размещения операционных систем, баз данных, виртуальных машин и приложений, которым необходим предсказуемый доступ к дисковым ресурсам.

Блочные хранилища могут подключаться к серверам локально или через специализированную инфраструктуру хранения.

Файловые системы

Файловые системы организуют информацию в виде файлов и каталогов, обеспечивая привычный механизм доступа к данным.

Для ИИ-нагрузок важны не только ёмкость файлового пространства, но и производительность операций чтения и записи, количество одновременно работающих клиентов и возможность совместного доступа нескольких вычислительных узлов.

В крупных вычислительных комплексах применяются распределённые и параллельные файловые системы.

Они позволяют нескольким серверам одновременно обращаться к общим наборам данных, распределять нагрузку и обеспечивать высокую пропускную способность.

К известным решениям этого класса относятся Lustre, IBM Storage Scale и BeeGFS.

Объектные хранилища

Объектное хранение (Object Storage) предназначено для работы с большими массивами неструктурированной и полуструктурированной информации.

Данные размещаются в виде объектов, каждый из которых содержит информацию и связанные с ней метаданные. Доступ к объектам обычно осуществляется через программные интерфейсы.

Объектные хранилища хорошо подходят для хранения изображений, видео, документов, архивов, резервных копий и больших наборов данных для машинного обучения.

Они позволяют масштабировать ёмкость хранения и организовывать доступ к информации из различных вычислительных сред.

Одним из распространённых интерфейсов взаимодействия с объектными хранилищами является Amazon S3 API, который поддерживается не только облачными сервисами, но и рядом программных платформ и локальных систем хранения.

Data Lake: единая среда хранения больших массивов данных

Для работы с большими и разнообразными информационными массивами используются архитектуры Data Lake — озёра данных.

Data Lake представляет собой централизованную среду, предназначенную для хранения больших объёмов информации в исходном или преобразованном виде.

В отличие от традиционных реляционных баз данных, где информация обычно организуется по заранее определённым схемам, Data Lake позволяет сохранять данные различных форматов и структур.

В такой среде могут размещаться:

  • таблицы и записи корпоративных систем;

  • текстовые документы;

  • изображения и видеоматериалы;

  • телеметрия и журналы событий;

  • результаты измерений;

  • наборы данных для обучения моделей;

  • промежуточные результаты аналитической обработки.

Data Lake часто строится на основе объектного хранения и дополняется каталогами данных, средствами управления метаданными и инструментами обработки информации.

Это позволяет использовать единую информационную среду для аналитики, машинного обучения и корпоративных приложений.

Вместе с тем для эффективной эксплуатации Data Lake необходимы механизмы контроля качества данных, управления доступом, каталогизации и соблюдения правил хранения информации.

Отдельное направление развития — Lakehouse. Эта архитектура объединяет масштабируемость озёр данных с отдельными возможностями управления и организации данных, характерными для аналитических хранилищ.

Обработка данных для обучения моделей искусственного интеллекта

Хранение информации — только один этап работы с данными. Перед использованием в машинном обучении они должны пройти подготовку и преобразование.

Исходные данные могут содержать ошибки, дубликаты, пропуски, неоднородные форматы и информацию, не относящуюся к решаемой задаче.

Поэтому инфраструктура ИИ включает программные средства, обеспечивающие подготовку данных к обучению и дальнейшей эксплуатации моделей.

Основные операции включают:

Сбор данных. Информация поступает из баз данных, файловых хранилищ, приложений, сенсоров, внешних сервисов и других источников.

Очистка. Удаляются дубликаты, исправляются ошибки, обрабатываются пропущенные значения и проверяется корректность информации.

Нормализация и преобразование. Данные приводятся к форматам и структурам, необходимым для конкретных алгоритмов.

Разметка. Для задач контролируемого обучения информация дополняется метками, категориями, аннотациями и другими признаками, необходимыми модели.

Формирование наборов данных. Подготовленная информация распределяется по обучающим, проверочным и тестовым выборкам.

Контроль качества. Проверяются полнота, достоверность, актуальность и соответствие данных поставленным задачам.

Особое значение эти процессы имеют для мультимодальных моделей, которые работают одновременно с текстом, изображениями, аудио и видео.

Data Pipeline: конвейеры обработки данных

Data Pipeline — это последовательность взаимосвязанных процессов, обеспечивающих сбор, передачу, преобразование и предоставление данных информационным системам.

В инфраструктуре искусственного интеллекта Data Pipeline связывает источники информации, системы хранения, инструменты подготовки данных и вычислительные платформы.

Типовой конвейер может включать несколько этапов:

  1. Получение информации из источников.

  2. Проверку и первичную обработку.

  3. Очистку и преобразование данных.

  4. Обогащение и разметку.

  5. Сохранение результатов в хранилище.

  6. Предоставление подготовленных наборов вычислительным системам.

  7. Контроль актуальности и качества данных.

Для организации таких процессов используются различные программные инструменты и платформы.

В зависимости от характера задач применяются пакетная обработка (Batch Processing), потоковая обработка (Stream Processing) и гибридные архитектуры.

Пакетная обработка предназначена для работы с заранее сформированными наборами информации. Потоковая обработка позволяет анализировать данные по мере их поступления, что особенно важно для телеметрии, событийных систем и приложений реального времени.

В качестве технологических решений для построения Data Pipeline используются Apache Spark, Apache Flink, Apache Kafka и другие инструменты распределённой обработки и передачи данных.

Кэширование и ускорение доступа к данным

Даже высокопроизводительные накопители не всегда могут обеспечить необходимую скорость подачи информации для крупных вычислительных систем.

Поэтому в AI-инфраструктуре широко используются механизмы кэширования.

Кэширование предполагает временное размещение наиболее востребованных данных в более быстром уровне памяти или хранения.

В зависимости от архитектуры системы могут использоваться:

  • оперативная память серверов;

  • локальные SSD и NVMe-накопители;

  • распределённые кэши;

  • кэши файловых систем;

  • специализированные механизмы предварительной загрузки данных.

Например, при обучении модели часть набора данных может предварительно загружаться в память или на локальные накопители серверов, чтобы сократить задержки доступа к централизованному хранилищу.

Важную роль играет предварительная подготовка данных (Prefetching), при которой следующие порции информации загружаются ещё до завершения обработки текущих.

Эти механизмы помогают поддерживать непрерывную загрузку вычислительных ускорителей и повышать общую эффективность использования ресурсов.

Векторные базы данных и поиск по смыслу

Отдельное направление инфраструктуры данных связано с использованием векторных представлений информации.

Современные модели искусственного интеллекта способны преобразовывать текст, изображения и другие типы данных в числовые векторы — эмбеддинги (Embeddings).

Такие представления позволяют находить объекты по смысловой близости, а не только по точному совпадению слов или атрибутов.

Для хранения и поиска векторных представлений применяются векторные базы данных и специализированные поисковые системы.

Они используются в различных сценариях:

  • семантический поиск по документам;

  • поиск похожих изображений;

  • рекомендательные системы;

  • поиск информации в корпоративных базах знаний;

  • Retrieval-Augmented Generation (RAG).

В архитектуре RAG векторный поиск помогает находить релевантные документы, которые затем передаются языковой модели в качестве дополнительного контекста для формирования ответа.

При этом векторная база данных не заменяет основное хранилище информации. Обычно она содержит эмбеддинги, идентификаторы и метаданные, позволяющие находить исходные документы или другие информационные объекты.

Feature Store: управление признаками для машинного обучения

Для некоторых задач машинного обучения требуется систематизированное управление признаками (Features), используемыми моделями.

Feature Store — это специализированный компонент инфраструктуры машинного обучения, предназначенный для хранения, управления и предоставления признаков моделям.

Он помогает организовать повторное использование признаков, поддерживать согласованность данных между этапами обучения и эксплуатации моделей и обеспечивать контролируемую подготовку информации.

Feature Store особенно востребован в системах, где множество моделей используют общие данные и вычисляемые признаки.

В зависимости от архитектуры могут применяться хранилища для пакетного доступа и механизмы предоставления признаков в режиме реального времени.

Таким образом, Feature Store дополняет общую инфраструктуру хранения и обработки данных, решая более узкую задачу управления информацией, используемой в моделях машинного обучения.

Управление данными: качество, безопасность и происхождение информации

По мере роста объёмов данных усложняется не только их хранение, но и управление информационными ресурсами.

Для надёжной эксплуатации ИИ-систем необходимо понимать, откуда поступила информация, каким образом она обрабатывалась, какие преобразования выполнялись и где используются итоговые наборы данных.

Важную роль играют несколько направлений.

Data Quality. Контроль полноты, корректности, непротиворечивости и актуальности данных.

Data Governance. Правила управления информационными ресурсами, распределения ответственности и контроля использования данных.

Data Lineage. Отслеживание происхождения данных и последовательности их преобразований.

Metadata Management. Управление описаниями наборов данных, их структурой, назначением и характеристиками.

Data Security. Защита информации, управление доступом, шифрование и контроль операций с данными.

Data Privacy. Соблюдение требований к конфиденциальности и обработке персональной и другой защищаемой информации.

Для ИИ-систем эти механизмы особенно важны, поскольку качество и происхождение исходной информации непосредственно влияют на результаты работы моделей.

Хранение и обработка данных для обучения и инференса

Требования к информационной инфраструктуре различаются в зависимости от этапа жизненного цикла модели.

Данные для обучения

Обучение моделей обычно предполагает работу с большими заранее подготовленными наборами информации.

Необходимо обеспечить:

  • хранение исходных и подготовленных данных;

  • быстрый последовательный и параллельный доступ;

  • возможность повторного использования наборов;

  • контроль версий и происхождения данных;

  • поддержку распределённой обработки;

  • масштабирование ёмкости и производительности.

Для крупных моделей особенно важна способность системы хранения одновременно обслуживать большое количество вычислительных узлов.

Данные для инференса

При эксплуатации готовой модели требования могут быть другими.

В зависимости от приложения данные поступают в систему в виде пользовательских запросов, документов, изображений, видеопотоков или событий.

В этом случае важны оперативная доступность информации, низкие задержки, возможность быстрого поиска и предоставления контекста модели.

Например, корпоративный ИИ-помощник может обращаться к документам компании, используя поисковую систему и векторное хранилище. Промышленная система может постоянно получать телеметрию и передавать её на анализ.

Следовательно, инфраструктура данных должна учитывать не только обучение моделей, но и постоянную эксплуатацию ИИ-приложений.

Развитие инфраструктуры хранения и обработки данных

Рост масштабов искусственного интеллекта стимулирует развитие систем хранения, технологий обработки и программных платформ управления данными.

Можно выделить несколько основных направлений.

Развитие высокопроизводительных накопителей. Повышение скорости и ёмкости SSD, развитие NVMe и совершенствование архитектур хранения позволяют обслуживать более интенсивные вычислительные нагрузки.

Распределённые системы хранения. Развитие масштабируемых файловых и объектных платформ обеспечивает доступ к большим массивам данных из множества вычислительных узлов.

Многоуровневая архитектура хранения. Сочетание оперативной памяти, NVMe, SSD, HDD и объектных хранилищ позволяет эффективнее распределять информацию по стоимости и скорости доступа.

Автоматизация обработки данных. Развитие Data Pipeline, инструментов оркестрации и распределённой обработки упрощает подготовку информации для обучения и эксплуатации моделей.

Развитие Data Lakehouse. Совмещение масштабируемого хранения и возможностей аналитической работы способствует созданию универсальных информационных платформ.

Векторный поиск и семантические хранилища. Распространение генеративного ИИ увеличивает потребность в технологиях поиска и предоставления релевантного контекста моделям.

Управление качеством и происхождением данных. Повышается значение контроля наборов данных, их версий, источников и истории преобразований.

Эти направления формируют основу дальнейшего развития информационной инфраструктуры искусственного интеллекта.

Хранение и обработка данных как основа эффективной AI-инфраструктуры

Данные проходят сложный путь от источника до работающей модели искусственного интеллекта. На этом пути они собираются, сохраняются, проверяются, преобразуются и предоставляются вычислительным системам в необходимом формате.

Для организации этих процессов используются NVMe-накопители, SSD и HDD, блочные, файловые и объектные хранилища, распределённые файловые системы, Data Lake и специализированные платформы управления данными.

Программный уровень дополняет аппаратную инфраструктуру инструментами Data Pipeline, пакетной и потоковой обработки, кэширования, векторного поиска и управления признаками.

При этом эффективность системы определяется не отдельной характеристикой накопителя или объёмом хранилища, а согласованной работой всей архитектуры. Вычислительные ускорители должны своевременно получать данные, программные процессы — обеспечивать их подготовку, а системы хранения — поддерживать необходимую производительность и масштабирование.

Инфраструктура хранения и обработки данных превращает большие информационные массивы в доступный и подготовленный ресурс, на основе которого работают современные системы искусственного интеллекта.

В рамках тематической серии

Материал посвящён технологиям хранения и обработки данных, используемым в инфраструктуре искусственного интеллекта: системам хранения, базам данных, распределённым хранилищам и механизмам подготовки информации для обучения и выполнения моделей ИИ.

Для общего представления о составе, архитектуре и ключевых компонентах этого направления читайте тематический обзор: «Инфраструктура искусственного интеллекта: технологии, вычислительные системы и платформы».