[Boostcamp Day-67] 성능 평가 기준

데이터셋 제작 파이프라인

• 서비스 요구사항 -> 제작 목적 설정 -> 가이드라인 제작 -> Raw Image 수집 -> 어노테이션(라벨링) -> 모델링 -> 성능 평가/분석
• 성능 평가/분석 -> 제작 목적 설정 (반복)

가이드 라인 제작 과정

• 가이드 작성 -> 가이드 교육 -> 라벨링 -> 라벨링 검수 -> 데이터 검수

Recall, Precision

• Precision (정밀도) : 예측한 값들이 정답일 확률
• Recall (재현도) : 실제 값들 중 예측한 값이 정답일 확률

Area Recall / Area Precision

• Area Recall : 예측 영역과 실제 영역의 교집합을 실제 영역으로 나눔
• Area Precision : 예측 영역과 살제 영역의 교집합을 예측 영역으로 나눔

One-to-One | One-to-Many | Many-to-One Match

• 정답에 해당되는 영역 하나가 예측에 해당되는 여러 영역 중 하나의 영역으로 매칭되는 경우

• 정답 영역 하나에 여러 예측 영역들이 매칭되는 경우

• 여러 정답 영역이 하나의 영역에 매칭되는 경우

DetEval (2013)

1. 모든 정답 영역, 예측 영역 간의 매칭 정도를 area recall / area precision 둘 다 계산

2. 셀 중에 area recall >= 0.8 and precision >= 0.4 를 충족하면 1 아니면 0으로 값을 바꿈

3. 행렬 값을 보면서 one-to-one, Many-to-one, One-to-Many의 관계를 찾는다.
4. 행렬 값에서 Recall, Precision을 계산
5. Recall과 Precision의 조화 평균을 계산

IoU (2015)

• one-to-one matching만 허용
• IoU value > 0.5 일 경우 correct, 그렇지 않은 경우 incorrect

TIoU (Tightness-aware IoU)

• 부족하거나 초과된 영역 크기에 비례하여 IoU 점수에 대해 패널티 부여
• 예측 박스의 타이트함을 점수에 반영

• 부족한 영역 Penalty : 부족한 영역 크기 / 정답 영역 크기 (TIoU Recall)
• 초과한 영역 Penalty : 초과된 영역 크기 / 예측 영역 크기 (TIoU Precision)
• TIoU Recall과 TIoU Precision의 조화 평균으로 계산

CLEval (Character-Level Evaluation)

• 얼마나 많은 글자를 맞추고 틀렸느냐를 가지고 평가
• Detection 뿐 아니라 end-to-end, recognition 에 대해서도 평가 가능

• PCC (Pseudo Character Centers) : 글자 영역 위치 정보와 글자 시퀀스 정보로부터 글자별 위치 정보를 추정

• Matching Matrix

[정답 기준]

CorrectNum : 정답 영역 내 PCC 중 어느 예측 영역이라도 속하게 된 PCC의 수

GranualPenalty : 정답 영역 내 PCC를 포함하는 예측 영역의 개수 - 1

TotalNum : 정답 영역 내 PCC 개수

[예측 기준]

CorrectNum : 이 예측 영역이 포함하고 있는 PCC 별로, 해당 PCC를 포함하는 예측 영역의 개수로 나누어 합함

GranualPenalty : 예측 영역과 연관된 정답 영역의 개수 - 1

TotalNum : 이 예측 영역이 포함하고 있는 PCC 개수

[Scoring]