기술 필드 노트 #07 · 2026년 10월
에고센트릭 영상 손 가시성 측정: 검출률과 실제의 차이
검출기 한 번 돌린 결과는 가시성 측정값이 아닙니다. 세 번의 검출, 시간 창 합의, 독립 시각 검토를 거쳤고, 사람 검증은 아직 남아 있습니다.
에고센트릭 녹화 3개(7,557프레임: 머리 장착 광각 스테레오 리그와 폰으로 찍은 조리 작업 2개)의 모든 프레임에 MediaPipe Hands를 세 가지 방식으로 돌렸습니다. 결과를 무작위 120프레임에 대한 독립 AI 시각 검토와 비교했습니다. 단일 검출이 양손을 찾은 비율은 폰 42%–74%, 리그 58%였습니다. 시각 검토에서는 표본 프레임 중 38/40, 39/40, 40/40에서 양손이 보였습니다. 세 번의 검출을 ±2프레임 창으로 합치자 손 단위 재현율이 73%–81%에서 92%–99%로 올랐습니다. 모든 수치는 AI 단독 예비 결과입니다. 416프레임 사람 검증 표본은 설계만 했고 아직 수행하지 않았습니다.
문제
검출률은 가시성 비율이 아닙니다
로봇 학습 데이터 구매자는 점점 손 가시성을 조건으로 겁니다. 작업 대부분에서 양손이 보여야 하고, 화면 가장자리에서 잘리면 안 된다는 식입니다. 가장 빠른 보고 방법은 손 검출기를 돌려 손이 두 개 잡힌 프레임을 세는 것입니다. 하지만 이 숫자는 영상만큼이나 검출기 자체를 측정합니다. 도구를 쥔 손, 물체에 일부 가려진 손, 모션 블러가 생긴 손, 낯선 각도의 손은 놓치기 쉽습니다. 그래서 검출률은 실제로 화면에 있는 손보다 낮게 나옵니다.
이 노트는 우리 촬영 데이터에서 그 차이가 얼마나 되는지 재고, 자동 합의 방식으로 얼마나 되찾는지 보여줍니다. 그리고 AI 예비 결과를 검증된 결과로 바꾸는 데 필요한 사람 검증 절차를 제시합니다.
상태: AI 단독 예비 결과입니다. 사람 검증은 아직 수행하지 않았으며, 이 노트의 어떤 수치도 인증된 손 가시성 비율이 아닙니다.
Origin Data Lab
데이터
촬영 조건이 다른 녹화 3개
| 녹화 | 장비와 장착 | 영상 | 작업 | 프레임 |
|---|---|---|---|---|
| 스테레오 리그(왼쪽 카메라) | 머리 장착 스테레오+IMU 리그, 광각 렌즈 | 1600×1200, 30 fps | 드릴·드라이버·히터 작업대 작업 | 3,600 (120 s) |
| 폰 · 칼 손질 | 몸에 착용한 안드로이드 폰 후면 카메라 | 1920×1080, 30 fps (표시용 회전) | 양파·고구마 껍질 벗기기와 썰기 | 1,979 (66 s) |
| 폰 · 양념 교반 | 같은 폰·작업자 구성 | 1920×1080, 30 fps | 액체 양념 두 가지 붓기와 젓기 | 1,978 (66 s) |
- 두 폰 녹화는 같은 작업자입니다. 스테레오 녹화는 다른 세션이고 작업도 다릅니다.
- 원본 영상, 원시 센서 데이터, 고객 자료는 공개하지 않습니다. 공개 패키지에는 프레임별 검출 결과와 검토 라벨만 들어갑니다.
정의
무엇을 '보인다'고 판정하는가
| 상태 | 정의 |
|---|---|
| 전체 노출 (F) | 손목부터 손가락 끝까지 화면 안. 물체를 쥐거나 물체에 일부 가려져도 포함 |
| 경계 잘림 (C) | 손 일부가 화면 경계 밖 |
| 미노출 (N) | 손이 전혀 보이지 않음 |
- 양손 노출: 두 손 모두 N이 아닌 경우.
- 양손 전체 노출: 두 손 모두 F인 경우.
- 검출률은 MediaPipe 검출 결과를, 검토 비율은 검토자가 본 결과를 셉니다. 둘은 항상 따로 보고합니다.
- 착용자 기준 좌우는 MediaPipe의 손 구분에서 가져옵니다. MediaPipe는 좌우 반전된 영상을 가정하므로 에고센트릭 영상에서는 라벨을 뒤집어 씁니다. 양손이 모두 검출된 프레임의 99–100%에서 착용자 왼손이 오른손보다 왼쪽에 있었습니다.
방법
세 번의 검출, 시간 창, 독립 검토
- 1회차(단일): MediaPipe Hands 0.10.14 full 모델, 정지 영상 모드, 최대 두 손, 검출 신뢰도 0.5, 입력 폭 960 px로 축소.
- 2회차(반전): 같은 모델로 좌우 반전한 프레임을 검출한 뒤 좌표를 원래대로 되돌림.
- 3회차(lite): 원본 프레임에 lite 모델 적용.
- 합의: ±2프레임(±67 ms) 안에서 세 번 중 한 번이라도 찾았으면 손이 있는 것으로 판정.
- 독립 확인: 검출 결과를 보지 않은 AI 시각 검토(멀티모달 모델)로 녹화당 무작위 40프레임의 손마다 F·C·N을 판정.
- 처리 시간: 7,557프레임 × 3회 검출에 2코어 CPU(GPU 없음)로 약 12분.
# per hand side k in {L, R}, per frame t
pass3[k][t] = single[k][t] or flipped[k][t] or lite[k][t]
consensus[k][t] = max(pass3[k][t-2 : t+2]) # ±2 frames = ±67 ms at 30 fps
consensus_both[t] = consensus[L][t] and consensus[R][t]\frac{\hat p+\frac{z^2}{2n}\pm z\sqrt{\frac{\hat p(1-\hat p)}{n}+\frac{z^2}{4n^2}}}{1+\frac{z^2}{n}},\quad z=1.96세 번의 검출이 손 유무를 서로 다르게 판정한 프레임은 리그 61%, 폰 31%–44%입니다. 이 불일치 자체가 측정 결과입니다. 에고센트릭 영상에서는 검출기 한 번의 판정이 프레임마다, 모델마다 흔들립니다.
±2프레임 창은 검토 표본을 본 뒤에 정했습니다. 따라서 새 프레임으로 확인하기 전까지 이 재현율은 낙관적인 값입니다. 아래 사람 검증 표본을 독립적으로 새로 뽑은 이유입니다.
결과
단일 검출, 합의, 검토 비교
| 녹화 | 프레임 | 단일 검출 | 3회 합집합 | 합의(±2프레임) | AI 시각 검토(95% CI) |
|---|---|---|---|---|---|
| 스테레오 리그(머리 장착·광각) | 3,600 | 58.1% | 82.7% | 95.3% | 40/40 (91.2–100.0%) |
| 폰 · 칼 손질 | 1,979 | 41.8% | 66.6% | 84.3% | 38/40 (83.5–98.6%) |
| 폰 · 양념 교반 | 1,978 | 74.1% | 84.9% | 89.9% | 39/40 (87.1–99.6%) |
스테레오 리그는 검토한 모든 프레임에서 양손이 보였지만, 단일 검출은 58% 프레임에서만 양손을 찾았습니다. 합의 방식은 95%까지 올라갔습니다. 폰 칼 손질 녹화에서는 단일 검출이 42%였고, 검토에서는 38/40 프레임에서 양손이 보였습니다.
검출 오류
검출기가 놓치는 손
| 녹화 | 보인 손 | 단일 검출 | 3회 중 다수결 | 3회 중 하나라도 | 합의(±2프레임) |
|---|---|---|---|---|---|
| 스테레오 리그 | 80 | 80.0% (70.0–87.3%) | 81.2% | 92.5% | 98.8% (93.3–99.8%) |
| 폰 · 칼 손질 | 78 | 73.1% (62.3–81.7%) | 79.5% | 89.7% | 94.9% (87.5–98.0%) |
| 폰 · 양념 교반 | 79 | 81.0% (71.0–88.1%) | 82.3% | 87.3% | 92.4% (84.4–96.5%) |
- 주로 놓치는 경우: 도구나 병을 쥔 손, 물체 뒤에 일부 가려진 손, 모션 블러가 생긴 손.
- 오검출률은 추정할 수 없었습니다. 검토에서 실제로 없던 손은 3개뿐이었고, 합의 방식은 이 중 어느 것도 있다고 판정하지 않았습니다. 정밀도는 아래 표적 표본으로 구해야 합니다.
화면 경계
경계 잘림과 손의 위치
- AI 시각 검토: 리그에서는 경계에서 잘린 손이 있는 프레임이 없었습니다(0/40). 폰은 칼 손질 5/40, 양념 교반 4/40이었습니다.
- 양손 전체 노출: 리그 40/40, 폰 34/40, 35/40.
- 화면 가장자리 10% 이내에 있는 손 중심 비율: 리그 0.0%, 폰 4.6%, 0.1%.
- 검출기는 잘린 손을 거의 보고하지 않습니다. 손바닥이 화면을 벗어나면 대개 검출 자체를 멈추기 때문입니다. 그래서 경계 잘림은 랜드마크로 추정할 수 없고 검토로 측정해야 합니다.
움직임
모션 블러에 따른 검출 저하 (기술노트 #06)
- 리그: 예측 블러 0.5 px 미만에서 합의 양손 비율 97%, 2–6 px에서 86%.
- 폰 양념 교반: 10 °/s 미만에서 98%, 80 °/s 초과에서 43%. 단일 검출은 88% → 7%.
- 빠른 회전 구간의 하락 중 일부는 실제로 손이 화면을 벗어난 것이고(고개 돌림), 일부는 흐린 손을 검출기가 놓친 것입니다. 둘을 구분하는 것이 사람 검증 표본의 목적 중 하나입니다.
작업 구조
키스텝별 가시성 (기술노트 #05)
- 양념 교반 작업의 붓기, 젓기, 닫기 키스텝은 합의 기준 95%–100%입니다.
- 가장 낮은 구간은 과제 무관 구간과 놓기 동작입니다: ks_A_10 non-task 28%, ks_A_08 놓기 33%, ks_B_11 놓기 20%.
- 물건을 놓을 때 손이 정말 화면을 벗어났는지, 검출기가 놓쳤는지가 바로 표적 사람 검증으로 가릴 부분입니다.
검증 계획
미리 설계한 사람 검증
| 층 | 스테레오 리그 | 폰 · 칼 손질 | 폰 · 양념 교반 | 목적 |
|---|---|---|---|---|
| 무작위 프레임 | 100 | 100 | 100 | 편향 없는 가시성 비율과 검출기 재현율. 가시성 90–95%에서 Wilson 반폭 약 4–6%p |
| 합의가 '양손 아님'으로 판정 | 39 | 37 | 40 | 실제로 화면을 벗어난 순간과 검출 누락을 구분하고, 부재 판정의 정밀도 추정 |
- 총 416프레임이며, 검토자 2–3시간 정도로 예상합니다.
- 산출물: 신뢰구간을 붙인 사람 검증 양손 노출·전체 노출 비율, 검출기 재현율과 정밀도, 새 프레임으로 ±2프레임 창 재검증.
- 검토가 끝날 때까지 오리진데이터랩은 이 결과를 AI 단독 예비 결과로 보고하며, 어떤 가시성 기준 충족도 주장하지 않습니다.
데이터 구매자를 위해
수집 파트너에게 물어볼 것
- 보고된 손 가시성 비율은 검출률인가요, 합의 비율인가요, 검토 비율인가요?
- 우리 영상에서 측정한 검출기 재현율은 얼마이고, 신뢰구간은 어떻게 되나요?
- 화면 경계에서 잘린 손은 어떻게 세나요?
- 사람이 검토한 프레임은 어떻게 몇 장을 뽑았나요?
- 프레임별 결과를 함께 주나요? 그래야 구매자가 자체 기준을 적용할 수 있습니다.
재현
분석 다시 돌려보기
pip install -r requirements.txt # mediapipe==0.10.14 (Python 3.11), numpy, pandas, statsmodels
python code/analyze_hand_visibility.py data/hand_visibility_frames.csv data/ai_review_labels.csv
# re-running detection needs the source videos (not public):
python code/detect_hands.py <recording> <video.mp4> <width> <height> <start> <stop>공개 패키지에는 전체 프레임의 프레임별 결과, 검토 라벨, 분석 코드, 그리고 CSV 파일만으로 이 노트의 모든 수치를 재현하는 노트북이 들어 있습니다.
연구의 한계
- 모든 결과는 AI 단독 결과입니다(MediaPipe 검출과 AI 시각 검토). 사람 검증은 수행하지 않았습니다.
- 시각 검토는 녹화당 40프레임이라 구간이 넓고, 오검출률은 추정할 수 없었습니다.
- ±2프레임 합의 창은 검토 표본을 본 뒤에 정했습니다.
- 녹화 3개, 세션당 작업자 1명, 작업 2종입니다. 리그와 폰은 장비·장착·작업이 서로 다릅니다.
- 물체에 가려진 손은 '전체 노출'에 포함했습니다. 손 자세 품질과 랜드마크 정확도는 평가하지 않았습니다.
자주 묻는 질문
에고센트릭 영상에서 양손이 보이는 프레임은 얼마나 되나요?
녹화당 무작위 40프레임 AI 시각 검토에서 양손이 보인 프레임은 머리 장착 광각 리그 40/40, 폰 녹화 38/40와 39/40였습니다. 작은 표본에서 나온 AI 단독 예비 수치이며 사람 검증 결과가 아닙니다.
MediaPipe 손 검출률을 손 가시성 지표로 써도 되나요?
검출률만으로는 안 됩니다. 검토에서는 모든 표본 프레임에 양손이 있었지만, MediaPipe 단일 검출은 스테레오 리그 프레임의 58%에서만 양손을 찾았습니다. 단일 검출의 손 단위 재현율은 73%–81%였습니다.
자동 손 가시성 추정을 어떻게 개선할 수 있나요?
full 모델, 좌우 반전 영상, lite 모델로 세 번 검출하고 ±2프레임 안에서 찾은 손을 인정하자, 검토 프레임 기준 손 단위 재현율이 92%–99%로 올랐습니다. 다만 이 창은 같은 표본을 보고 정했기 때문에 새 프레임으로 확인이 필요합니다.
머리 장착 광각 카메라가 폰보다 손을 화면에 더 잘 담나요?
이번 녹화에서는 광각 리그에서 손이 화면 중앙에 머물렀고 경계 잘림이 한 번도 없었습니다. 폰은 검토 프레임 중 5/40, 4/40에서 잘림이 있었습니다. 장비·작업·세션이 달라서 통제된 비교는 아닙니다.
모션 블러가 손 검출에 영향을 주나요?
줍니다. 폰 양념 교반 녹화에서 합의 양손 비율은 카메라 회전 10 °/s 미만에서 98%, 80 °/s 초과에서 43%로 떨어졌습니다. 손이 실제로 화면을 벗어난 경우와 흐린 손을 놓친 경우가 함께 섞여 있습니다.
손 가시성을 검증하려면 몇 프레임을 사람이 봐야 하나요?
녹화당 무작위 100프레임으로 설계했습니다. 가시성 90–95%에서 Wilson 95% 반폭이 약 4–6%p입니다. 여기에 합의 방식이 양손 미만으로 판정한 프레임 116장을 더했습니다. 이 검토는 아직 수행하지 않았습니다.
RESEARCH RESOURCES
기술자료 살펴보기
분석 코드, 데이터셋 및 평가 자료를 확인하세요.
로보틱스 학습 데이터
로봇 학습을 위한 맞춤형 실세계 데이터 생산 서비스를 확인하세요.