- 정확도(Accuracy)
- 모델이 샘플을 정확히 분류한 비율
- 테스트 데이터가 불균형하거나 특정 클래스의 성능에 편중될 경우 좀 더 세밀한 평가 지표가 필요함
- 정밀도(Precision)
- 모델이 긍정으로 분류한 샘플 중 실제 긍정인 비율
- Positive 정답률
- PPV(Positive Predictive Value)
- 재현율(Recall)
- 실제 긍정 샘플 중 모델이 긍정으로 분류한 비율
- Positive 검출률
- sensitivity, hit rate, or TPR(True Positive Rate)
- Fall-out
- 실제 부정 샘플 중 모델이 긍정으로 잘못 분류한 비율
- Negative 오검출률
- FPR(False Positive Rate), 1-특이도(Specificity, True Negative Rate)
- F1 score
- 정밀도와 재현율의 조화 평균
- 평가를 단일 숫자로 요약. but, 모델의 동작 방식을 잘 이해하려면 정밀도와 재현율을 함께 확인하는 것이 필요
- ROC(Receiver Operating Characteristic) Curve
- 클래스 판별 기준값의 변화에 따른 Fall-out과 Recall의 변화를 시각화한 것
- Recall이 크고, Fall-out이 작은 모형을 좋은 모형으로 생각할 수 있음
- 곡선이 왼쪽 위 모서리에 가까울수록 모델 성능이 좋음
- AUC(Area Under the Curve)
- ROC curve의 밑면적을 계산한 값
- Fall-out 대비 Recall값이 클수록 AUC가 1에 가까운 값이며 우수한 모형