Кратко: accuracy работает только на сбалансированных классах. Если классы несбалансированы - смотри на F1 или Matthews Correlation Coefficient. Для ранжирования - ROC-AUC. Для регрессии - MAE/RMSE/R2.

Правило: перед выбором метрики спроси себя что именно тебе важно минимизировать - ложноположительные или ложноотрицательные ответы.

Добавлю код который я сам держу под рукой для быстрого расчета основных метрик классификации:

from sklearn.metrics import (
    accuracy_score,
    precision_score,
    recall_score,
    f1_score,
    roc_auc_score,
    classification_report
)

def evaluate_classifier(y_true, y_pred, y_prob=None):
    print(f"Accuracy:  {accuracy_score(y_true, y_pred):.4f}")
    print(f"Precision: {precision_score(y_true, y_pred):.4f}")
    print(f"Recall:    {recall_score(y_true, y_pred):.4f}")
    print(f"F1-score:  {f1_score(y_true, y_pred):.4f}")
    if y_prob is not None:
        print(f"ROC-AUC:   {roc_auc_score(y_true, y_prob):.4f}")
    print("n" + classification_report(y_true, y_pred))

classification_report кстати выдает precision/recall/f1 по каждому классу отдельно - очень удобно когда классов больше двух.

Метрики - это функция потерь для людей, грубо говоря. Loss функция оптимизируется во время обучения, но она абстрактная - binary crossentropy не очень понятна менеджеру. Метрики переводят качество модели в человеческие единицы.

Еще один важный момент которого не хватает в курсах: метрику выбирают под бизнес-задачу ДО обучения модели, а не после. Иначе можно подобрать метрику под результат, что является читерством и прямой дорогой к деплою плохой модели в прод.

ну вроде как accuracy это процент правильных ответов, а остальные метрики смотрят на ошибки по-разному... precision это когда модель говорит "да" а recall когда правильно ловит все "да" в данных, что ли? не уверен что точно объяснил

Для задач с несбалансированными классами рекомендую также смотреть на PR-curve (precision-recall curve), а не только ROC-AUC. ROC-AUC оптимистично завышается при сильном дисбалансе классов потому что учитывает большое количество истинно-отрицательных примеров. PR-curve честнее показывает реальное качество на редком классе.

Та же история была когда начинал. Потом написал себе шпаргалку которую до сих пор открываю:

• Классы примерно равные + важна общая точность: accuracy
• Классы неравные: F1 или balanced accuracy
• Важно не пропустить ни одного позитивного: recall (диагностика болезней, мошенничество)
• Важно не ловить лишний раз ложную тревогу: precision (спам-фильтр)
• Нужна общая картина по порогам: ROC-AUC
• Редкий класс очень важен: PR-AUC