Введение: Зачем мониторить ML-модели в проде

Развёртывание модели в продакшене — не финишная черта, а начало нового этапа её жизненного цикла. В отличие от классического программного обеспечения, чьё поведение детерминировано кодом, ML-системы управляются ещё и закономерностями, извлечёнными из данных. Когда распределение входных данных в проде начинает отличаться от обучающего, качество предсказаний может незаметно деградировать, хотя все сервисы продолжают отвечать на запросы без ошибок. Этот феномен называется дрейфом данных (data drift) — смещением распределения входных признаков $P(X)$ при сохранении зависимости между признаками и целевой переменной. Существует и дрейф концепции (concept drift) — изменение самой зависимости $P(Y|X)$, когда те же входные данные требуют нового ответа.

Мониторинг ML-системы решает три взаимосвязанные задачи: обнаружение дрейфа на ранней стадии, отслеживание операционных показателей (latency, error rate, throughput) и сбор доказательной базы для принятия решений о дообучении или откате модели. Без систематического наблюдения деградация остаётся невидимой до момента, когда бизнес-метрики уже пострадали.

Практический мониторинг реализуется через комбинацию инструментов. На AWS типовой стек включает: SageMaker Model Monitor для отслеживания дрейфа и качества модели (сравнение прода с базовой линией, публикация метрик), Amazon CloudWatch для централизованного сбора метрик, логов, дашбордов и алармов, CloudTrail для аудита API-вызовов. На других платформах аналогичные роли выполняют Prometheus и Grafana, Azure Machine Learning Model Monitoring.

Типовой рабочий процесс: эндпоинт передаёт метрики latency и ошибок в CloudWatch, а inference-логи захватываются и направляются в Model Monitor. При превышении порогов срабатывает аларм, который может запустить автоматический анализ или уведомить команду через SNS/Slack. Инструменты должны быть настроены сразу после деплоя — мониторинг по умолчанию не активен.

Какое из перечисленных явлений описывает ситуацию, когда распределение входных признаков смещается, но зависимость между признаками и целевой переменной остаётся неизменной?

Дрейф данных (data drift)

Data drift — это смещение распределения $P(X)$ при сохранении $P(Y|X)$. Дрейф концепции, напротив, меняет зависимость $P(Y|X)$.

Дрейф концепции (concept drift)

Сдвиг меток (label shift)

Переобучение модели (overfitting)

Какая метрика операционного мониторинга позволяет обнаружить проблемы с производительностью эндпоинта, которые могут не влиять на точность предсказаний?

Задержка (latency) в перцентилях P95 и P99

Рост latency указывает на инфраструктурные или вычислительные проблемы, не связанные с качеством модели. Средние значения могут скрывать проблемы, поэтому используются перцентили.

Data drift входных признаков

Feature attribution drift

Предсказательная точность модели

Что рекомендуется использовать в качестве эталонного набора данных при настройке мониторинга дрейфа данных (data drift)?

Обучающий набор данных модели

Сравнение с обучающим набором даёт наиболее осмысленный базовый уровень: именно на этом распределении модель оптимизировалась, и отклонение от него — прямой сигнал о дрейфе.

Первые 100 запросов, поступивших после деплоя

Случайная выборка из интернета

Данные из другого ML-проекта той же команды

Система мониторинга зафиксировала устойчивый дрейф предсказаний и одновременно получила обратную связь от бизнес-пользователей о снижении практической ценности модели. Какое действие наиболее обосновано?

Переобучить модель на более свежих данных и переразвернуть

Сочетание технического сигнала (prediction drift) и подтверждения из бизнеса — сильный аргумент в пользу переобучения. Откат к предыдущей версии менее эффективен, если проблема вызвана изменением в самих данных, а не дефектом новой модели.

Немедленно откатить модель к предыдущей версии

Игнорировать сигнал, так как ошибок на эндпоинте нет

Увеличить пропускную способность эндпоинта

Статистические методы обнаружения дрейфа данных

Для количественной оценки дрейфа данных применяются статистические критерии, сравнивающие распределение признаков в продакшене с эталонным (обучающим или валидационным) распределением. Выбор конкретного метода зависит от типа признака и характера предполагаемых изменений. Для числовых признаков распространён критерий Колмогорова — Смирнова (KS-тест), который проверяет гипотезу о равенстве функций распределения двух выборок без предположений о виде распределения. Для категориальных признаков используется критерий $\chi^2$ (хи-квадрат), оценивающий различие частот категорий. Оба критерия возвращают p-value, которое интерпретируется как вероятность наблюдать такие различия при условии, что распределения идентичны.

Важное ограничение: при больших объёмах выборок даже незначительные различия становятся статистически значимыми, поэтому p-value необходимо дополнять мерой размера эффекта. Для KS-теста это статистика D (максимальное расстояние между эмпирическими функциями распределения), для хи-квадрата — коэффициент Крамера V. Без оценки размера эффекта система мониторинга будет генерировать ложные срабатывания на больших потоках данных.

Population Stability Index (PSI) — специализированная метрика для сравнения распределений, широко применяемая в финансовом моделировании и ML-мониторинге. PSI является симметризованной версией дивергенции Кульбака — Лейблера и вычисляется по формуле:

$PSI = \sum_{i=1}^{B}(P(x_i) - Q(x_i))\ln\left(\frac{P(x_i)}{Q(x_i)}\right)$

где $P(x_i)$ — доля наблюдений в бине $i$ для текущего распределения, $Q(x_i)$ — для эталонного, $B$ — число бинов. Практическая ценность PSI заключается в стандартизированных порогах интерпретации: PSI < 0.1 — значимых изменений нет; 0.1 ≤ PSI < 0.2 — умеренный дрейф, требующий внимания; PSI ≥ 0.2 — существенный дрейф, сигнализирующий о необходимости переобучения или пересмотра модели .

Для вычисления PSI непрерывные признаки предварительно дискретизируются (обычно на 10 бинов по квантилям эталонного распределения). PSI чувствителен к малым частотам в бинах — при нулевых значениях $Q(x_i)$ применяется сглаживание.

Выбор метода обнаружения дрейфа зависит от нескольких факторов. Статистические критерии (KS, хи-квадрат, PSI) подходят для сравнения двух фиксированных распределений и не учитывают временную структуру потока данных. Они просты в реализации, интерпретируемы, но могут пропускать постепенные дрейфы и давать ложные срабатывания при наличии сезонности .

Адаптивные онлайн-алгоритмы (например, метод Пейджа — Хинкли, ADWIN, DDM) специально разработаны для потоковых данных и обнаруживают изменения распределения с минимальной задержкой, адаптируясь к естественным колебаниям . Они сложнее в настройке, но эффективнее для раннего обнаружения постепенных дрейфов.

Практический подход: комбинировать оба класса методов. PSI или KS-тест для ежедневного сравнения с эталоном и адаптивный детектор для непрерывного мониторинга потока. При наличии сезонности пороги срабатывания должны калиброваться отдельно для каждого периода.

Какой статистический критерий традиционно применяется для обнаружения дрейфа числовых признаков без предположений о виде их распределения?

Критерий Колмогорова — Смирнова (KS-тест)

KS-тест непараметрический: он сравнивает эмпирические функции распределения и не требует предположений о нормальности или конкретном виде распределения.

t-критерий Стьюдента

Критерий $\chi^2$ (хи-квадрат)

Дисперсионный анализ (ANOVA)

Согласно стандартным пороговым значениям PSI, при каком результате следует считать дрейф существенным и требующим переобучения модели?

$PSI \geq 0.2$

PSI в диапазоне 0.1–0.2 указывает на умеренный дрейф, а значения от 0.2 и выше — на существенный сдвиг распределения, требующий вмешательства .

$PSI \geq 0.1$

$PSI \geq 0.5$

$PSI \geq 0.05$

Почему статистические критерии (KS-тест, хи-квадрат) без оценки размера эффекта могут быть неприменимы для мониторинга больших потоков данных?

При больших объёмах выборок даже незначительные различия становятся статистически значимыми, порождая ложные срабатывания

p-value зависит от размера выборки: чем больше данных, тем выше чувствительность критерия. Поэтому необходимо дополнять проверку гипотезы мерой размера эффекта (статистика D для KS, V Крамера для хи-квадрата) .

Эти критерии требуют знания истинных меток, недоступных в проде

Они не работают с категориальными признаками