Все о Цифровых системах - новости, статьи, обзоры, аналитика. Более 1000 компаний, товаров и услуг в каталоге.
Добавить компаниюПредложить публикацию

Проверять ИИ-гипотезы можно на «сырых» данных, а для широкого внедрения - качество надо дотягивать

«”Сырые данные” — это что-то вроде надписи на заборе, но к ним не может относиться информация, которая уже прошла через корпоративные системы, ту же CRM. Это достаточно точные данные», — уверен Сергей Голицын.

На этом «сырье» без значительных инвестиций можно запускать проверку гипотез. И только после того. как результат найдет подтверждение, следует инвестировать в повышение качества данных, в их разметку, дедупликацию.

Иной подход и уровень инвестиций требуется при подготовке данных для обучения моделей.

«Сильнее всего от качества данных зависит обучение фундаментальных моделей. Качество курации должно быть важнее объема данных, и за этим стоит целая методология: создание сложных датасетов, их взвешивание», — добавил Сергей Голицын.

Он напомнил, что именно из-за низкого качества данных первые модели часто галлюцинировали и выдавали ту информацию, которую попросту заучили. Теперь, по его словам, с такими проблемами сталкиваются значительно реже.