기술 필드 노트 #03 · 2026년 10월

스테레오 + IMU 에고센트릭 촬영

헤드마운트 스테레오 카메라와 6축 IMU로 촬영한 120초 실작업 기록을 바탕으로, 좌우 프레임 대응, 노출 중심 시각, IMU 연속성, 카메라–IMU 시간 오프셋 및 캘리브레이션의 한계를 분석했습니다.

이 결과는 특정 장비의 특정 촬영 모드에서 얻은 기술 평가입니다. 생산용 스테레오 캘리브레이션 또는 카메라–IMU 정밀 동기화의 최종 승인을 의미하지 않습니다.

동기화·타이밍·캘리브레이션 검증

촬영 구성

실내 작업대에서 작업자가 전동 드릴과 수공구를 이용해 케이스를 조립하는 양손 작업을 촬영했습니다. 좌우 영상은 각각 1600×1200, 30fps, 3,600프레임이며, 장비의 프레임 틱을 공유합니다. 각 프레임에는 노출 시작과 노출 시간이 H.264 SEI 메시지로 기록됩니다.

그림 1. 1,500번째 좌우 동시 프레임. 공개용으로 작업 공간의 모니터 화면을 블러 처리했습니다.

프레임 틱이 아닌 노출 중심 시각

카메라 프레임은 한순간이 아니라 노출 구간의 빛을 적분합니다. 자동 노출에 따라 이번 기록의 노출 시간은 약 8.1~12.0ms로 달라집니다. 따라서 영상과 센서 시간을 비교할 때는 노출 시작 + 노출 시간의 절반으로 계산한 노출 중심 시각을 사용해야 합니다. MP4 PTS는 일정한 1/30초 간격으로 기록되며 장비 자체의 노출 시각을 대체하지 않습니다.

그림 2. 좌우 노출 시간과 3,600쌍의 노출 중심 시각 차이. p1~p99는 16.5~31.0µs입니다.

좌우 스테레오 동기 검증

검사	방법	결과	판정
프레임 틱	SEI 틱 비교	3,600/3,600쌍 일치, 33,333µs 간격	검증
프레임 연속성	스트로브 카운터	양쪽 모두 프레임당 +1, 누락 0	검증
영상 내용의 프레임 대응	좌우 전역 영상 움직임 상관	지연 0프레임에서 최대, r=0.997	검증
노출 중심 차이	장비 기록값 비교	중앙값 20.5µs, 평균 21.1±2.9µs	장비 기록값

프레임 단위 대응은 서로 다른 검사로 뒷받침됩니다. 다만 마이크로초 단위 노출 차이는 펌웨어가 기록한 값이며, 30fps 영상만으로 독립 검증한 것은 아닙니다. 외부 검증에는 두 카메라에 동시에 보이는 LED 점멸 시험 등이 필요합니다.

IMU 스트림

6축 IMU는 영상과 공통 시계를 사용하는 기록에서 평균 약 501.7Hz로 샘플링됐습니다. 검사 범위에서 간격 이상치, 중복, 누락, 센서 포화가 확인되지 않았습니다. IMU는 첫 영상 노출 약 48ms 전부터 마지막 노출 약 48ms 후까지 포함합니다.

그림 3. 원시 3축 자이로스코프와 가속도 신호. 가속도 크기 평균 9.893m/s².

타깃 없는 카메라–IMU 시간 오프셋 추정

같은 장비 시계를 사용하더라도 카메라와 IMU의 처리 경로에서 상대적인 지연이 생길 수 있습니다. 영상의 머리 회전과 자이로스코프 신호를 비교해 오프셋을 추정했습니다.

400×300 영상에서 Lucas–Kanade 광학 흐름과 RANSAC 유사변환을 이용해 프레임 간 움직임을 계산했습니다.
노출 중심 사이 구간의 자이로 신호를 평균했습니다.
영상 움직임과 각속도 사이의 3×3 선형 맵 및 편향을 최소제곱으로 적합했습니다.
−6~+6ms 범위를 0.1ms 간격으로 탐색하고 30초 창 6개로 안정성을 확인했습니다.

그림 5. 영상에서 추정한 머리 회전과 자이로 신호 비교. 축별 R² 0.971 / 0.972 / 0.979.

그림 6. 30초 창별 오프셋. 창 사이 값 차이는 0.8ms 이내입니다.

항목	왼쪽 카메라	오른쪽 카메라
전체 구간 최적 오프셋	−1.1ms	−1.2ms
적합도 R²	0.973	0.974
30초 창 범위	−1.5~−0.7ms	−1.5~−0.8ms

이 결과는 해당 장비·모드에서 카메라–IMU 정렬이 수 ms 이내일 가능성을 뒷받침하지만, 최종 생산용 시간 오프셋을 확정하지는 않습니다. 다른 센서 모드에서 수행한 제조사 캘리브레이션은 +0.89/+0.95ms를 보고했으며 차이는 아직 해소되지 않았습니다.

스테레오 캘리브레이션은 촬영 센서 모드와 일치해야 합니다

장비 제공 캘리브레이션 파일의 스테레오 RMS는 0.362px로 기록돼 있지만, 내부 파라미터의 주점은 1920×1080(16:9) 영상 중심에 가깝습니다. 이번 실제 촬영은 1600×1200(4:3) 모드였습니다. 이 파일을 그대로 적용했을 때 영상 위치에 따라 체계적인 수직 잔차가 나타났습니다.

그림 7. 제공 파라미터로 정렬한 뒤의 수직 잔차. 영상 위치에 따른 체계적인 오차가 보입니다.

그림 8. 진단용 3자유도 회전 보정 후 홀드아웃 수직 잔차. 중앙값 0.570px이나 시차가 변하므로 생산용 보정으로 승인할 수 없습니다.

진단용 회전 보정은 수직 잔차 중앙값을 0.570px까지 낮췄지만, 약 −1.41°의 수직축 회전으로 오른쪽 영상 점을 수평으로 약 −20.9px 이동시켰습니다. 따라서 이를 실제 촬영 모드의 정식 캘리브레이션으로 취급해서는 안 됩니다.

검증·추정·추후 검증 구분

항목	결과	상태
영상 디코딩·형식	오류 0, 채널당 3,600프레임	검증
원본 추적성	프레임 해시·SEI 보존	검증
좌우 프레임 대응	틱 일치, 카운터 누락 0	검증
IMU 연속성	501.7Hz, 누락·중복·포화 0	검증
노출 동시성	중앙값 20.5µs	장비 기록값
카메라–IMU 시간 오프셋	−1.1/−1.2ms	추정
해당 모드 스테레오 캘리브레이션	제공 파일의 모드 불일치	생산용 검증 필요
카메라–IMU 외부 파라미터	해당 모드 자료 없음	생산용 검증 필요

이 자료가 주장하지 않는 것

이번 평가는 모든 장비·모드에서의 동기화 성능, 외부 광학 기준에 의한 마이크로초 단위 노출 동시성, 생산용 스테레오 캘리브레이션 합격, 카메라–IMU 외부 파라미터 확정 또는 로봇 학습 성능 향상을 주장하지 않습니다.

인용 가능한 핵심 기술 사실

Origin Data Lab은 120초 헤드마운트 스테레오+IMU 에고센트릭 기록(좌우 1600×1200, 30fps, 6축 IMU)을 평가했습니다. 3,600쌍의 프레임 틱이 일치했고, 장비 기록 기준 좌우 노출 중심 차이 중앙값은 20.5µs였습니다. IMU 샘플링은 약 501.7Hz였습니다. 영상–자이로 기반 시간 오프셋은 좌우 −1.1/−1.2ms로 추정됐으며, 실제 촬영 모드와 일치하는 스테레오 캘리브레이션은 별도 검증이 필요합니다.

인용 방법

Origin Data Lab (2026). “Stereo + IMU Egocentric Capture: Synchronization, Timing and Calibration,” Technical Field Note #03. 영문 원문.

기술 검증자료

스테레오 및 IMU 기술 평가 자료를 확인하세요.

🤗 Hugging Face 기술자료 GitHub GitHub 기술자료

전체 평가 패키지 문의

연구기관과 로봇 개발팀은 원본 비트스트림, 프레임별 장비 시각, IMU 원시 데이터, 디코더, 검증 스크립트, QA 및 기술 평가 자료의 제공 조건을 문의할 수 있습니다.

평가 패키지 문의 →