기술 필드 노트 #08 · 2026년 10월
에고센트릭 촬영본은 얼마나 쓸 수 있나 | Origin Data Lab
무결성·작업·선명도·양손 기준을 합쳐 프레임 수율, 클립 수율, 승인 1시간당 촬영 시간을 구했습니다. 스테레오 290초와 폰 132초로 측정했습니다
로봇 학습용 에고센트릭 데이터는 승인된 시간 단위로 거래됩니다. 그래서 촬영본 중 승인을 통과하는 비율이 실제 비용을 정합니다. 이 비율을 12,651프레임에서 프레임 단위로 측정했습니다. 대상은 머리 장착 스테레오 290초 전체 세션과 폰 녹화 66초 2개입니다. 무결성 검사로는 거의 탈락하지 않았고, 선명도와 양손 기준이 걸러냈습니다. 프레임 수율은 스테레오 리그 79%, 폰 57%–67%였습니다. 그런데 3초 이상 클립을 요구하면 각각 46%, 12%, 43%로 줄었습니다. 손을 확인하는 방법도 영상만큼 중요했습니다. 세 번 검출 합의 방식을 단일 검출로 바꾸면 리그의 승인 1시간당 촬영 시간이 1.26시간에서 2.06시간으로 늘었습니다. 손 기준은 AI-only 예비 결과입니다.
문제
녹화한 시간이 아니라 승인된 시간
로봇 학습용 에고센트릭 데이터는 점점 승인된 시간 단위로 거래됩니다. 납품량과 가격은 녹화본 중 구매자의 검사를 통과하는 비율, 즉 수율에 달려 있습니다.
\text{승인 1시간당 촬영 시간} = \frac{1}{\text{수율}}데이터
녹화 3개, 검사 4단계
| 단계 | 규칙 | 출처 | 상태 |
|---|---|---|---|
| 무결성 | 플래그 정상, 프레임 간격 16.7–50 ms, 노출당 IMU 3개 이상(리그) / ±16.7 ms 자이로 커버(폰), 스테레오 동기 1 ms 이하 | 장비 타임스탬프와 IMU | 검증됨 |
| 작업 | non-task 키스텝 구간이 아님 | 기술노트 #05 주석(폰만) | 사람 주석 |
| 선명도 | 상대 라플라시안 선명도 0.6 이상. 정지 프레임 기준이 없으면 자이로 규칙(1.5 px 이하 또는 20 °/s 이하) | 기술노트 #06 방법 | 검증된 측정(대리 지표) |
| 양손 | AI 합의 기준으로 양손 존재 | 기술노트 #07 방법 | AI-only 예비 |
방법
프레임에서 클립, 그리고 비용으로
accepted[t] = integrity_ok[t] # frame flags, timing, IMU coverage, stereo sync
and not non_task[t] # human keystep annotation (phones only)
and rel_sharpness[t] >= 0.6 # vs low-motion frames within ±3 s; gyro rule if no reference
and both_hands[t] # AI consensus: 3 MediaPipe passes, ±2 frames
clip_accepted = runs of accepted frames ≥ L seconds (optionally bridging gaps ≤ g frames)기준 하나 때문에만 탈락한 프레임을 따로 세어, 어떤 규칙이 실제로 발목을 잡는지 보여줍니다.
결과
무결성은 거의 공짜, 선명도와 손이 걸러냅니다
| 녹화 | 프레임 | 무결성 | + 작업 중 | + 선명 | + 양손 | 3초 이상 클립 |
|---|---|---|---|---|---|---|
| 스테레오 리그 전체 세션 | 8,694 | 100.0% | 해당 없음 | 90.2% | 79.3% | 45.8% |
| 폰 · 칼 손질 | 1,979 | 99.7% | 95.7% | 66.0% | 56.6% | 11.7% |
| 폰 · 양념 교반 | 1,978 | 99.6% | 89.2% | 69.8% | 66.7% | 42.9% |
클립
승인 규칙이 영상만큼 수율을 바꿉니다
| 허용 간격(프레임) | 리그, 3초 이상 | 칼 손질, 3초 이상 | 양념 교반, 3초 이상 | 리그, 5초 이상 |
|---|---|---|---|---|
| 0 | 45.8% | 11.7% | 42.9% | 27.7% |
| 3 (100 ms) | 64.2% | 17.8% | 61.3% | 49.6% |
| 6 (200 ms) | 70.5% | 30.3% | 62.0% | 57.9% |
| 15 (500 ms) | 84.8% | 63.3% | 68.0% | 80.4% |
비용
승인 1시간당 촬영 시간
| 녹화 | 손 검사 없음 | 손: 합의 | 손: 단일 검출 | 3초 클립, 합의 | 3초 클립, 단일 검출 |
|---|---|---|---|---|---|
| 스테레오 리그 | 1.11 | 1.26 | 2.06 | 2.18 | 29.37 |
| 폰 · 칼 손질 | 1.51 | 1.77 | 3.75 | 8.57 | 클립 없음 |
| 폰 · 양념 교반 | 1.43 | 1.50 | 1.69 | 2.33 | 4.30 |
안정성
한 세션 안에서도 수율은 변합니다
구매자를 위해
수집 전에 정해야 할 다섯 가지 조건
| 조건 | 중요한 이유 (이 노트 기준) |
|---|---|
| 프레임 대 클립 승인 | 리그: 프레임 79% 대 3초 이상 클립 46% |
| 허용 간격 | 리그 3초 클립: 6프레임 허용 시 46% → 71% |
| 손 확인 방법 | 리그 비용: 승인 1시간당 촬영 1.26시간 대 2.06시간 |
| 선명도 기준 | 리그 프레임 수율: 0.4에서 86%, 0.8에서 60% |
| 사람 표본 검토 | 이번 손 검사는 AI-only 예비 결과이며, 손을 놓치면 수율이 낮아짐(세션 마지막 1분) |
근거 상태
검증·추정·미평가 구분
| 주장 | 상태 |
|---|---|
| 무결성 검사(플래그, 프레임 간격, 노출당 IMU 샘플, 스테레오 동기) | 검증됨 — 모든 프레임에서 측정 |
| 선명도 기준(상대 라플라시안 선명도 ≥ 0.6) | 검증된 측정값, 사용 가능성의 대리 지표(기술노트 #06) |
| 양손 기준 | AI-only 예비 — MediaPipe 합의 방식, AI 검토 대비 손 단위 재현율 92–99%(기술노트 #07), 사람 검증 없음 |
| 작업/작업 외 | 사람 주석(폰 녹화만, 기술노트 #05) |
| 프레임·클립 수율, 승인 1시간당 촬영 시간 | 위 기준으로 계산한 검증된 값, 각 기준의 상태를 그대로 따름 |
| 다른 작업·작업자·현장의 수율 | 평가하지 않음 |
재현
분석 다시 돌려보기
python analysis/yield_analysis.py analysis/data/yield_frames.csv OUT_DIR
# OUT_DIR/yield_results.json is byte-for-byte comparable with analysis/yield_results.json연구의 한계
- 손 검사는 AI-only 예비 결과입니다(MediaPipe 합의). 사람 검증은 하지 않았습니다. 스테레오 세션 마지막 1분처럼 손을 놓치면 측정 수율이 낮아집니다.
- 녹화 3개, 약 7분 분량, 작업 2종입니다. 수율은 방법 시연용이며 생산 수율이 아닙니다.
- 선명도는 대리 지표입니다(H.264 영상의 상대 라플라시안 분산). 특정 모델에 미치는 영향은 측정하지 않았습니다.
- 스테레오 세션은 작업 주석이 없어 작업 기준을 적용하지 않았습니다.
- 리그와 폰은 장비·장착·작업·작업자가 달라서, 차이는 관찰 결과이며 인과적 비교가 아닙니다.
- 기준값(선명도 0.6, ±2프레임 합의, 클립 길이, 허용 간격)은 예시입니다. 구매자의 승인 규칙은 다를 수 있습니다.
자주 묻는 질문
에고센트릭 촬영본 중 로봇 학습 데이터로 쓸 수 있는 비율은 얼마인가요?
승인 규칙에 따라 다릅니다. 이번 녹화에서 무결성·작업·선명도·양손 기준을 모두 통과한 프레임은 머리 장착 스테레오 리그 79%, 폰 녹화 2개 57%–67%였습니다. 3초 이상 클립을 요구하면 각각 46%, 12%, 43%로 줄었습니다. 손 기준은 AI-only 예비 결과입니다.
승인된 1시간을 얻으려면 몇 시간을 촬영해야 하나요?
프레임 단위, 선명도 기준 0.6, AI 합의 손 검출 기준으로 스테레오 리그는 승인 1시간당 1.26시간, 폰은 1.50–1.77시간이 필요했습니다. 손 검출기를 한 번만 돌리면 같은 영상이 2.06시간, 1.69–3.75시간이 됩니다.
손 검출 방법에 따라 비용이 왜 이렇게 달라지나요?
MediaPipe를 한 번만 돌리면 보이는 손을 많이 놓칩니다(기술노트 #07). 그만큼 양손 기준에서 탈락하는 프레임이 늘어납니다. 한 번 놓치면 클립도 끊기기 때문에 클립 단위에서는 차이가 더 커집니다. 스테레오 리그의 3초 클립 수율은 합의 방식 46%, 단일 검출 3.4%였습니다.
클립 안의 짧은 탈락 구간을 허용해야 하나요?
이번 데이터에서는 규칙이 영상만큼 중요했습니다. 6프레임(0.2초) 이하의 탈락 구간을 이어 붙이면 스테레오 리그의 3초 클립 수율이 46%에서 71%로 올랐습니다. 이어 붙인 프레임은 기준 미달이므로, 허용 폭은 구매자와 명시적으로 합의해야 합니다.
어떤 기준이 가장 많이 탈락시키나요?
폰 녹화에서는 선명도입니다(작업 중 프레임의 22%–31% 탈락). 스테레오 리그에서는 양손 기준입니다. 무결성 검사는 리그 프레임 0%, 폰 프레임 약 0.3%만 탈락시켰습니다(IMU가 없는 마지막 약 0.2초와 긴 프레임 간격 1회).
한 세션 안에서 수율이 일정한가요?
아닙니다. 290초 스테레오 세션의 분 단위 프레임 수율은 61%–89%였습니다. 가장 낮은 1분은 착용자가 드릴을 쥐고 있어 손 검출 누락이 많았던 구간입니다. 그 구간 6프레임을 AI로 육안 확인했을 때 6장 모두 양손이 보였지만, 합의 방식은 그중 3장에서 양손을 놓쳤습니다.
이 수율이 실제 생산 프로젝트에서도 보장되나요?
아닙니다. 녹화 3개(약 7분), 녹화마다 작업 한 종류, AI-only 손 검사에서 나온 결과입니다. 이 노트는 방법을 보여줄 뿐이며, 생산 수율은 구매자의 작업과 합의된 승인 규칙으로 따로 측정해야 합니다.
RESEARCH RESOURCES
기술자료 살펴보기
분석 코드, 데이터셋 및 평가 자료를 확인하세요.