기술 필드 노트 #23 · 2026년 11월
손은 75% 시간 동안 보이는데 기성 검출기는 4분의 1만 찾는다: 머리 착용 어안 작업 영상의 MediaPipe 손 검출
기술노트 #23 · 실제 머리 착용 어안 작업 영상의 손 검출 재현율, 그리고 재현율을 두 배로 올린 간단한 변경 (ODL-EGO S1)
로봇 학습용 에고센트릭 영상에서 가장 먼저 거는 필터는 보통 기성 검출기로 판정한 손 유무입니다. 우리 데이터에서 그게 얼마나 맞는지 확인했습니다. 머리 착용 어안 스테레오 리그로 찍은 실제 농산물 소분 작업 2.57시간(9,250초, 세션 4개)에서 왼쪽 눈 영상을 초당 1장씩 봤습니다. 무작위 60초를 육안 검토하니 45초(75%)에 착용자 손이 보였고, 손은 모두 73개였습니다. MediaPipe Hands는 전체 화면에서 그중 27%만 찾았습니다. 800×600이나 원본 1600×1200에서도 26–27%, 어안 왜곡을 핀홀로 보정하면 22%, 180° 회전하면 25%였습니다. 효과가 있었던 것은 어디를 보느냐였습니다. 손이 실제로 있는 아래쪽 작업 영역만 넣으면 47%, 검출 임계값을 0.3으로 낮추면 58%를 찾았고, 60초 동안 추가 검출은 2개였습니다. 2.57시간 전체에서 손이 검출된 초의 비율은 34%에서 57%로 올랐지만, 실제로 보이는 75%에는 여전히 못 미칩니다. 기본 검출기로 손 필터를 걸었다면 쓸 수 있는 영상의 절반 이상을 버렸을 것입니다.
왜 중요한가
손을 놓치는 손 필터는 좋은 데이터를 버린다
로봇 학습용 데이터를 사는 쪽은 손이 보이는 에고센트릭 영상만 남기는 경우가 많고, 대량으로 판정할 때는 보통 기성 손 검출기를 씁니다. 검출기가 손을 놓치면 좋은 영상이 소리 없이 버려지고, 데이터셋 카드의 손 등장 비율도 낮게 적힙니다.
기술노트 #7은 짧은 요리 시험 영상에서 MediaPipe를 측정했습니다. 이 노트는 우리가 실제로 납품하는 영상, 즉 머리에 쓴 어안 렌즈로 긴 소매 작업복 차림의 작업자를 찍은 실제 작업 몇 시간에서 측정합니다.
구성
실제 작업 2.57시간, 초당 1장
녹화: 2026-11-08, 학교 급식용 농산물 소분, 세션 4개(24·33·53·44분), R8 스테레오+IMU 리그(ODL-EGO S1) 머리 착용, 1600×1200, 30fps. 왼쪽 눈의 키프레임(초당 1장) 9,250초를 분석했습니다.
검출기: MediaPipe Hands 0.10.14(단일 이미지 모드, 최대 2개). 기준: 무작위 60초를 AI가 육안 검토해 착용자의 보이는 손(전체 또는 일부, 장갑 포함, 다른 사람 손 제외)을 센 것입니다. 사람 검증은 하지 않았습니다.
결과 1
손은 75% 초에 보였고, 기본 검출기는 그중 27%를 찾았다
검토한 60초 중 45초에 착용자 손이 보였고 손은 73개였습니다. 전체 화면 검출기는 그 45초 중 36%에서 손을 하나 이상 찾았고, 73개 중 27%를 찾았습니다. 잘못 찾은 손은 없었습니다.
자주 놓친 경우: 위에서 내려다봐 손등이 카메라를 향한 손, 작업복 소매에 가린 손목, 넓은 화면 아래쪽에 작게 찍힌 손, 비닐봉지나 종이를 든 손.
결과 2
픽셀을 늘리거나 왜곡을 보정해도 소용없고, 볼 곳을 정해 주면 된다
800×600이나 원본 1600×1200에서도 26–27%로 480×360과 같았습니다. 어안 화면을 핀홀로 보정하면 오히려 나빠졌습니다(22%). 원본에서는 찾고 보정본에서는 놓친 손의 92%가 보정된 화면 안에 완전히 들어 있었으므로, 원인은 시야가 아닙니다. 화면을 돌려도 나아지지 않았습니다(25%).
아래쪽 작업 영역(화면 중앙 아래 60%, 폭 800px로 확대)만 넣으면 47%, 그 영역에서 검출 임계값을 0.5에서 0.3으로 낮추면 58%를 찾았고 손이 보인 초의 60%에서 하나 이상 찾았습니다. 60초 동안 추가 검출은 2개였습니다. 하루 전체 분석에 쓴 480×360 JPEG 키프레임에서는 전체 화면 25%, 아래 영역 규칙 49%였습니다.
| 검출 방식 (같은 60초) | 보이는 손 중 찾은 비율 | 손이 보인 초 중 1개 이상 찾은 비율 | 착용자 손이 아닌 검출 |
|---|---|---|---|
| 전체 화면, 480×360 | 27% | 36% | 0 |
| 전체 화면, 800×600 | 27% | 36% | 1 |
| 전체 화면, 1600×1200 | 26% | 33% | 1 |
| 핀홀로 왜곡 보정, 480×360 | 22% | 29% | 0 |
| 180° 회전 | 25% | 29% | 0 |
| 전체 화면, 신뢰도 0.3 | 34% | 40% | 1 |
| 아래쪽 작업 영역 (폭 800px) | 47% | 51% | 2 |
| 아래쪽 작업 영역 + 신뢰도 0.3 | 58% | 60% | 2 |
결과 3
하루 전체: 손이 검출된 초 34%, 변경 후 57%
9,250초 전체에 적용하면 손이 검출된 초는 전체 화면 34.2%, 왜곡 보정 26.8%, 아래 영역 54.5%, 두 방식 결합 56.7%였습니다. 세션별 결합 비율은 46–67%였습니다. 모두 검토에서 보인 75%보다 낮으므로, 검출기 결과는 손 등장의 하한으로 읽어야 합니다.
직접 확인하는 법
필터를 걸기 전에 재현율부터 잰다
검출기 실행은 싸고, 무엇을 놓치는지는 검토한 표본만이 알려 줍니다.
- 무작위 50–100초를 눈으로 보고 보이는 손을 셉니다(일부만 보이는 손, 장갑 낀 손 포함).
- 같은 초에 검출기를 돌려 재현율을 비교한 뒤에 필터로 씁니다.
- 머리 착용 시점이면 아래쪽 작업 영역에서 임계값을 낮춰 돌리고, 같은 표본에서 잘못 찾은 손을 확인합니다.
- 손 등장 비율은 검출 비율만이 아니라 검토한 재현율과 함께 보고합니다.
바꾼 것
손 등장 비율을 재현율과 함께 보고한다
검증됨: 이 리그와 작업에서는 영역을 정해 준 검출이 기본 전체 화면 MediaPipe보다 손 재현율을 약 두 배로 올리고, 왜곡 보정은 도움이 되지 않습니다.
프로세스: 초 단위 QC 인덱스(기술노트 #25)는 결합 방식을 쓰고, 납품 보고서에는 손 등장 비율과 검토한 재현율을 함께 적어 손 필터가 영상을 얼마나 버릴지 구매자가 볼 수 있게 합니다.
- 검출: 아래 작업 영역 + 전체 화면, 임계값 0.3.
- 납품마다: 60초 검토 표본과 재현율.
- 검출기 결과만으로 영상을 버리지 않음.
범위와 한계
연구의 한계
이 노트가 보여주지 않는 것을 먼저 밝힙니다.
- 작업자 1명, 작업 1종, 리그 1대, 하루의 결과입니다. 다른 작업·옷차림·조명에서는 재현율이 다릅니다.
- 기준은 60초(손 73개)의 AI 육안 검토이며 사람이 검증한 주석이 아닙니다. 표본 불확실성은 대략 ±10%포인트입니다.
- 모든 프레임이 아니라 초당 1장(키프레임)을 분석했습니다. 프레임 간 추적은 여기서 시험하지 않았습니다.
- MediaPipe Hands만 시험했습니다. 다른 검출기나 손 자세 모델은 다를 수 있습니다.
- 예비 분석: AI 보조 자동 분석이며 제3자 검토는 받지 않았습니다.
FAQ
데이터 구매자가 묻는 질문
Q01머리 착용 에고센트릭 영상에서 MediaPipe Hands는 손을 얼마나 찾나요?
Q02어안 영상을 왜곡 보정하면 손 검출이 좋아지나요?
Q03해상도를 높이면 도움이 되나요?
Q04실제 작업 중 착용자 손은 얼마나 자주 보이나요?
Q05에고센트릭 영상을 손 검출로 걸러도 되나요?
공개 데이터와 코드
근거 자료를 직접 확인하세요
이 노트의 모든 수치는 검증할 수 있습니다. 가공 데이터, 분석 코드, 그림, 실행 가능한 노트북을 공개합니다.
GitHub분석 코드와 재현 절차origin-data-lab/egocentric-fisheye-hand-detection-recall-real-work저장소 보기 
Hugging Face데이터셋 카드, 표, 그림origin-data-lab/egocentric-fisheye-hand-detection-recall-real-work데이터셋 열기 
데이터 탐색과 실행 노트북origindatalab/odl-egocentric-hand-detection-recallKaggle에서 보기 라이선스: CC BY 4.0 (데이터·그림) · MIT (코드)
Origin Data Lab (2026). 기술노트 #23: 손은 75% 시간 동안 보이는데 기성 검출기는 4분의 1만 찾는다. https://origindatalab.io/ko/technical-field-notes/egocentric-fisheye-hand-detection-recall-real-work.html