Метрики качества ML-моделей: Accuracy, Precision, Recall, F1 Score, ROC-AUC

При разработке моделей машинного обучения крайне важно оценивать их качество. Для этого используются различные метрики, каждая из которых измеряет определенный аспект производительности модели. В этой статье мы рассмотрим пять популярных метрик: Accuracy, Precision, Recall, F1 Score и ROC-AUC.

Accuracy — это доля правильных предсказаний модели по отношению к общему количеству предсказаний. Однако, эта метрика может быть обманчивой, если классы в данных сильно несбалансированы. Например, если модель предсказывает, что все образцы принадлежат к большинству классу, она все равно может показать высокую точность, но при этом не будет способна правильно классифицировать образцы из меньшинства классов.

Precision измеряет долю правильных положительных предсказаний по отношению к общему количеству предсказанных положительных образцов. Другими словами, это мера того, насколько модель точна в предсказании положительных классов. Например, если модель предсказывает, что 100 образцов принадлежат к классу «кошка», и из них только 80 действительно являются кошками, то precision модели будет равна 0.8.

Recall измеряет долю правильных положительных предсказаний по отношению к общему количеству настоящих положительных образцов. Это мера того, насколько модель чувствительна к предсказанию положительных классов. Например, если из 100 настоящих кошек модель правильно классифицировала только 80, то recall будет равен 0.8.

Функция F1 Score является гармоническим средним значением precision и recall. Она дает более полную картину производительности модели, чем каждая из этих метрик в отдельности. F1 Score равен 1, когда модель идеальна, и стремится к 0 по мере ухудшения производительности.

Наконец, ROC-AUC (Area Under the Receiver Operating Characteristic Curve) является мерой способности модели различать положительные и отрицательные классы. ROC-кривая строится путем изменения порога классификации и отображения соответствующих значений true positive rate (TPR) и false positive rate (FPR). AUC-ROC равен 1, когда модель идеальна, и 0.5, когда модель не лучше, чем случайное предсказание.

Разница между Accuracy и Precision

Важно понимать, что эти метрики полезны в разных ситуациях. Accuracy может быть достаточным, когда классы сбалансированы. Но когда классы несбалансированы, Precision может быть более информативным, так как он фокусируется на минимизации ложноположительных предсказаний. Например, в медицине ложноположительное предсказание может привести к ненужным и дорогостоящим процедурам, поэтому Precision может быть более важным.

Как рассчитать Recall и F1 Score

Recall (Точность восприятия) измеряет, какую долю положительных примеров модель правильно классифицировала. Формула для расчета Recall следующая:

Recall = TP / (TP + FN)

Где TP — это истинно положительные примеры, а FN — это ложно отрицательные примеры. Например, если модель правильно классифицировала 9 из 15 положительных примеров, то Recall будет равен 0.6 или 60%.

Теперь перейдем к F1 Score. Это гармоническое среднее между Precision (Точностью) и Recall. F1 Score пытается найти баланс между этими двумя метриками. Формула для расчета F1 Score следующая:

F1 Score = 2 * (Precision * Recall) / (Precision + Recall)

Например, если Precision равен 0.8 (80%) и Recall равен 0.6 (60%), то F1 Score будет равен 0.7 или 70%.

Обычно F1 Score используется, когда важно найти баланс между Precision и Recall. Например, в задачах обнаружения спама в email важно не только правильно классифицировать спам (Recall), но и не помечать как спам нормальные письма (Precision).

Интерпретация ROC-AUC кривой

Шаг 1: Понимание графика

ROC кривая представляет собой график, на котором по оси X отложена ложная положительная скорость (False Positive Rate, FPR), а по оси Y — истинная положительная скорость (True Positive Rate, TPR). Кривая строится при изменении порога классификации модели.

Шаг 2: Оценка качества модели

ROC-AUC кривая показывает, насколько хорошо модель может различать положительные и отрицательные примеры. AUC (Area Under the Curve) — это площадь под кривой, которая всегда находится в диапазоне от 0 до 1. Значение AUC близкое к 1 указывает на высокую точность модели, а значение близкое к 0 — на низкую.

Шаг 3: Сравнение с случайной моделью

ROC-AUC кривая случайной модели (диагональная линия) имеет AUC равное 0.5. Если ваша модель имеет AUC выше 0.5, это означает, что она лучше, чем случайная модель. Если AUC ниже 0.5, модель хуже, чем случайная.

Шаг 4: Выбор порога классификации

ROC кривая позволяет выбрать оптимальный порог классификации, балансируя между ложноположительными и ложноотрицательными результатами. Например, если вам важно минимизировать ложноотрицательные результаты, выберите порог, при котором TPR (истинная положительная скорость) максимальна.