기술 필드 노트 #06 · 2026년 10월

머리 회전이 에고센트릭 영상을 흐리게 하는 정도 | Origin Data Lab

자이로 예측 블러 1픽셀당 선명도 손실, 노출 시간별 회전 한계, IMU 기반 블러 플래그를 머리 장착 스테레오 리그와 몸 착용 폰에서 측정했습니다

에고센트릭 영상의 모든 프레임은 착용자가 움직이는 동안 노출됩니다. 그 대가를 측정했습니다. 대상은 프레임별 노출 시간(중앙값 10.04 ms)이 기록된 머리 장착 스테레오 카메라 3,600프레임과, 조리 작업을 찍은 폰 녹화 2개의 3,957프레임입니다. 자이로로 예측한 블러는 측정한 선명도와 함께 움직였습니다(스피어만 ρ = -0.62). 선명도는 0.75–1 px에서 주변 정지 프레임의 77%, 1.5–2 px에서 61%로 떨어졌습니다. 자이로만으로 선명도가 40% 넘게 떨어진 프레임을 찾는 AUC는 리그 0.92, 폰 0.88–0.93였습니다. 이번 판의 모든 수치는 원본 녹화로 다시 계산했습니다.

77% · 61%예측 블러 0.75–1 px와 1.5–2 px에서 남는 선명도 중앙값 (스테레오 리그)

≈12 °/s노출 10 ms, 8.4 px/°에서 1 px 블러가 생기는 회전 속도 (실측 11–15 °/s)

AUC 0.92선명도가 40% 넘게 떨어진 프레임을 찾는 자이로 플래그 (폰 0.88–0.93)

13%–22%20 °/s를 넘는 폰 프레임 비율 (머리 장착 리그는 6.8%)

문제

아무도 보고하지 않는 품질 손실, 블러

에고센트릭 데이터셋은 해상도, 프레임 레이트, IMU 주파수는 보고하지만 머리 움직임으로 흐려진 프레임이 얼마나 되는지는 거의 보고하지 않습니다. 블러는 손 추적, 물체 검출, VIO, 학습된 시각 특징이 의존하는 경계와 코너를 지웁니다.

b_{px} = \omega_{\circ/s}\cdot t_{exp}\cdot f_{px/\circ}

11프레임 간격으로 찍힌 같은 작업대 장면 두 장. 두 번째는 머리 회전으로 흐려짐 — 같은 장면을 0.37초 간격으로 찍은 것입니다. 왼쪽은 노출 중 3 °/s, 예측 블러 0.2 px입니다. 오른쪽은 62 °/s, 예측 블러 5.4 px로, 주변 정지 프레임 선명도의 26%만 남았습니다. 1600×1200 왼쪽 카메라의 중앙부를 잘랐습니다.

데이터

카메라 2종, 녹화 3개

녹화	프레임	영상	노출 기록	IMU
스테레오 리그(머리 장착)	3,600	1600×1200, 30 fps	있음, 중앙값 10.04 ms	501.7 Hz, 같은 시계
폰 · 칼 손질	1,979	1920×1080, 30 fps	없음	410.6 Hz, +188 ms 정렬
폰 · 양념 교반	1,978	1920×1080, 30 fps	없음	410.6 Hz, +200 ms 정렬

방법

자이로로 블러 예측하기

노출 시간 안의 자이로 샘플로 평균 각속도를 구하고, 광류에 맞춘 변환(R² = 0.974)으로 픽셀 이동으로 바꿉니다.

ω̄ = mean(gyro[t_exp_start : t_exp_start + t_exp])      # rad/s, 3 axes
blur_px = | A · ω̄ | · t_exp                                # A: 2×3 map, px per rad
rule of thumb:  blur_px ≈ ω[°/s] · t_exp[s] · f[px/°]

폰은 노출 시간이 기록되지 않아 회전 속도 기준으로 보고합니다(+188/+200 ms 정렬 후 ±16.7 ms 자이로 창).

결과

선명도는 첫 1픽셀부터 꾸준히 떨어집니다

자이로 예측 블러(픽셀)에 따른 상대 라플라시안 선명도와 FAST 코너 수 선그래프 — 머리 장착 스테레오 리그. 예측 블러 첫 2픽셀 동안 1픽셀마다 선명도가 약 5분의 1씩 줄고, 코너는 더 천천히 줄어듭니다. 3,600프레임 스피어만 ρ = -0.62.

예측 블러	프레임	회전 속도 중앙값	상대 선명도	상대 FAST 코너
0–0.25 px	1,052	3 °/s	1.03	1.01
0.25–0.5 px	1,158	5 °/s	0.93	0.97
0.5–0.75 px	534	8 °/s	0.85	0.92
0.75–1 px	279	11 °/s	0.77	0.86
1–1.5 px	292	15 °/s	0.71	0.83
1.5–2 px	129	21 °/s	0.61	0.80
2–3 px	114	29 °/s	0.57	0.70
3–6 px	42	45 °/s	0.34	0.56

폰 대 머리 장착 리그

1도당 픽셀이 많을수록 1도당 블러도 큽니다

녹화 3개의 회전 속도별 상대 선명도와 회전 속도별 프레임 비율 그래프 2개 — 왼쪽: 같은 회전 속도에서 폰이 선명도를 더 빨리 잃습니다. 오른쪽: 폰 녹화는 회전도 더 빠르고 더 잦았습니다.

회전 속도	스테레오 리그(머리)	폰 · 칼 손질	폰 · 양념 교반
0–5 °/s	1.00	1.00	0.99
5–10 °/s	0.88	0.80	0.88
10–20 °/s	0.73	0.56	0.63
20–40 °/s	0.60	0.31	0.37
40–80 °/s	0.34	0.15	0.23
80+ °/s	—	0.05	0.05
20 °/s 초과 프레임	6.8%	13%	22%
40 °/s 초과 프레임	0.9%	4.7%	10%
회전 속도 99백분위	40 °/s	121 °/s	144 °/s

블러가 몰리는 곳

가장 흐린 프레임은 작업 외 고개 돌림에 몰려 있습니다

66초 폰 녹화의 회전 속도와 상대 선명도 타임라인. non-task 구간은 음영 표시 — 폰, 양념 교반 작업. 착용자가 고개를 돌리는 곳에서 선명도가 급락합니다. 빨간 구간은 주석자가 독립적으로 non-task로 표시한 구간입니다(기술노트 #05).

생산 적용

촬영 설정과 자이로 기반 블러 플래그

노출	1 px 블러 · 8.4 px/°	3 px 블러 · 8.4 px/°	1 px 블러 · 20 px/°	3 px 블러 · 20 px/°
2 ms	59 °/s	178 °/s	25 °/s	75 °/s
4 ms	30 °/s	89 °/s	12 °/s	38 °/s
8 ms	15 °/s	45 °/s	6 °/s	19 °/s
10 ms	12 °/s	36 °/s	5 °/s	15 °/s
16 ms	7 °/s	22 °/s	3 °/s	9 °/s

\omega_{1px} = \frac{1}{t_{exp}\, f_{px/\circ}}

근거 상태

검증·추정·미평가 구분

주장	상태
자이로→영상 변환 적합 R² = 0.974	검증됨 (원본 녹화로 재현)
스피어만 ρ = -0.62 (예측 블러 대 상대 선명도)	검증됨 (재현)
블러 구간별 선명도·코너 유지율	검증됨 (재현)
자이로 블러 플래그 AUC 0.92 / 0.88–0.93	검증됨 (재현)
영상 중심 8.42 px/°	기술노트 #04에서 검증(모드 일치 캘리브레이션), 여기서는 입력값으로 사용
카메라–IMU 오프셋 −1.1 ms(리그), +188/+200 ms(폰)	추정 (영상–자이로 적합, 기술노트 #03·M1 검증 자료)
폰 약 17–22 px/°	추정 (영상–자이로 적합으로 역산한 초점거리)
폰이 1도당 더 많이 흐려지는 이유는 1도당 픽셀 수가 많기 때문	해석
특정 모델 성능 영향, 롤링셔터 왜곡, 평행이동 블러	평가하지 않음

재현

분석 다시 돌려보기

python analysis/summarize_from_csv.py analysis/data/stereo_rig_frames.csv analysis/data/phone_frames.csv analysis/results_fn06.json
# full pipeline from the (non-public) source recordings:
python analysis/reproduce_fn06.py config.json OUTPUT_DIR

연구의 한계

자이로는 카메라 움직임만 봅니다. 빠른 손이나 도구 때문에 생긴 블러는 예측하지 못합니다.
H.264 영상의 라플라시안 분산과 FAST 코너 수는 대리 지표입니다. 특정 모델에 미치는 영향은 그 모델의 파이프라인에서 따로 측정해야 합니다.
머리 장착 세션 1개(120초)와 폰 세션 2개(각 66초)이며 작업자와 작업이 다릅니다. 리그와 폰의 차이는 관찰 결과이며 통제된 비교가 아닙니다.
롤링셔터 왜곡과 평행이동 블러는 모델링하지 않았습니다.
폰은 노출 시간이 기록되지 않아 회전 속도 기준으로만 보고합니다.
±3초 안에 저움직임 기준 프레임이 없는 프레임은 상대 선명도 계산에서 제외했습니다(양념 교반 녹화 113프레임).

자주 묻는 질문

에고센트릭 학습 영상에서 모션 블러는 어느 정도까지 허용되나요?

머리 장착 스테레오 녹화에서 예측 블러 0.75–1 px 구간의 선명도 중앙값은 주변 정지 프레임의 77%, 1.5–2 px 구간은 61%였습니다. 검출 가능한 코너는 덜 줄어 각각 86%, 80%였습니다. 약 1.5 px를 넘는 프레임을 검토 대상으로 표시하고, 과제별 기준은 구매자와 협의하는 것이 현실적인 출발점입니다.

머리 장착 카메라는 얼마나 빨리 돌면 흐려지나요?

블러 길이는 회전 속도 × 노출 시간 × 1도당 픽셀 수입니다. 노출 10 ms, 1도당 8.4 px이면 약 12 °/s에서 1 px 블러가 생깁니다. 실측에서는 11–15 °/s였습니다. 1도당 약 20 px인 카메라는 같은 노출에서 약 5 °/s면 1 px에 이릅니다.

IMU로 흐린 프레임을 찾을 수 있나요?

카메라 움직임으로 생긴 블러는 찾을 수 있습니다. 노출 시간 동안의 자이로 회전량으로 선명도가 40% 넘게 떨어진 프레임을 구분한 AUC가 스테레오 0.92, 폰 0.88–0.93였습니다. 빠르게 움직이는 손이나 도구 때문에 생긴 블러는 잡지 못합니다.

폰과 머리 장착 카메라 중 어느 쪽이 더 흐려지나요?

이번 녹화에서는 폰이 같은 회전 속도에서 선명도를 더 빨리 잃었습니다. 1도당 픽셀 수가 2–2.6배 많은 것과 맞는 결과입니다. 착용자 회전도 더 빨라서 20 °/s를 넘는 프레임이 폰 13%–22%, 리그 6.8%였습니다. 작업과 작업자가 달라서 통제된 비교는 아닙니다.

에고센트릭 로봇 학습 촬영에는 노출 시간을 얼마로 해야 하나요?

조명이 허락하는 한 짧게 하는 것이 좋습니다. 노출을 절반으로 줄이면 같은 회전에서 블러 길이도 절반이 됩니다. 장비가 프레임별 노출 시간을 제공하면 꼭 저장하세요. 자이로로 블러를 예측하는 데 필요합니다.

프레임별 결과를 재현할 수 있나요?

네. 공개 프레임별 CSV와 함께 제공하는 스크립트로 이 노트의 모든 집계값을 다시 계산할 수 있습니다. 전체 파이프라인을 원본 녹화로 다시 돌렸고, 기존에 공개한 수치 120개와 모두 정확히 일치했습니다.

피지컬 AI 데이터 수집

움직임이 많은 실제 환경을 위한 데이터 수집 서비스를 확인하세요.

피지컬 AI 데이터 수집 → 피지컬 AI 데이터 프로젝트 문의 →