기술 필드 노트 #21 · 2026년 11월
실제 작업 중 스테레오만으로 추정한 머리 자세: 회전은 자이로, 이동은 가속도계로 검증
기술노트 #21 · 머리 착용 스테레오 카메라의 6DoF 자세를 서로 독립인 IMU 센서 두 개로 검증 (ODL-EGO S1)
에고센트릭 영상으로 로봇을 학습시키려면 영상만이 아니라 카메라 자세가 필요한데, 실제 작업 영상에서 그 추정이 맞는지 보여주는 경우는 드뭅니다. 머리 착용 카메라의 6DoF 움직임을 IMU 없이 스테레오 영상만으로 추정했고, 이틀간의 실제 농산물 소분 작업 60초 클립 3개에서 같은 시계로 기록된 리그 자체의 자이로와 가속도계로 검증했습니다. 67ms 구간 2694개 중 2690개를 풀었습니다. 구간별 회전은 자이로와 중앙값 0.04°(p95 0.21°) 차이로, 보통 구간 회전 1.4°의 약 3%입니다. 루프 클로저가 없어 60초 동안 방향 차이가 3.6–7.5° 쌓였습니다. 기술노트 #14에서 정지 상태로 잰 자이로 자체 바이어스를 뺀 값이며, 영상이 그 바이어스를 독립적으로 다시 찾아냈습니다. 이동은 스테레오 위치를 두 번 미분해 중력을 뺀 가속도계와 비교했습니다. 상관 0.98, 배율 0.98(영상/IMU)로, 65mm 기선에서 나온 실제 크기(미터) 스케일이 몇 % 안에서 맞습니다. 가속도계는 0.25–2Hz 움직임을 확인하며, 느린 위치 드리프트는 확인하지 못합니다.
왜 중요한가
자세 추정은 검증되어야 쓸 수 있다
에고센트릭 영상으로 조작을 학습하려면 카메라가 어떻게 움직였는지, 즉 손과 물체가 각 영상 안이 아니라 고정된 좌표계에서 어디 있었는지 알아야 합니다. 이 자세는 보통 비주얼 SLAM이나 비주얼–관성 오도메트리로 구하는데, 고개가 빨리 돌고 손이 화면을 채우고 주변이 복잡한 실제 작업 영상에서 검증되는 경우는 드뭅니다.
우리 리그는 카메라와 같은 시계로 서로 독립인 센서 두 개를 기록합니다. 회전을 직접 재는 자이로와, 가속도와 중력을 재는 가속도계입니다. 자세를 영상만으로 구하면 두 센서가 그대로 검증 도구가 됩니다. 회전은 자이로로, 이동과 실제 크기 스케일은 가속도계로 확인합니다.
구성
실제 작업 180초, 영상만 사용
데이터: 2026-11-02, 11-04의 녹화 세션 3개에서 뽑은 60초 클립 3개(당근 봉지 담기, 대파 묶기, 채소 봉지 담기). 기술노트 #18·#19와 같은 5일간의 실제 농산물 소분 작업이며, 작업자 1명, 리그는 머리에 착용했습니다.
추정: 두 어안 영상을 공장 캘리브레이션으로 핀홀 영상(800×600에서 f = 240px)으로 정류하고, Shi–Tomasi 코너를 광류로 좌우 매칭(왕복 검사)해 65.1mm 기선으로 삼각측량했습니다. 같은 코너를 다음 구간까지 추적하고 RANSAC PnP로 카메라 움직임을 풀었습니다. 두 프레임마다(15Hz) 계산했고, 착용자 자신의 파란 작업복은 가렸습니다. 추정에 IMU 데이터는 전혀 쓰지 않았고, 루프 클로저나 번들 조정도 없습니다.
좌우 프레임은 순번이 아니라 노출 시각으로 짝지었고(기술노트 #18), IMU와 카메라 시간은 공장 카메라–IMU 시간 오프셋으로 맞췄습니다. 비교할 때 자이로의 일정한 바이어스는 기술노트 #14에서 정지 상태로 잰 값(0.36°/s)으로 뺐고, 이 클립에 맞춘 값은 쓰지 않았습니다.
회전
영상과 자이로는 구간마다 0.04° 안에서 일치
각 구간에서 영상으로 푼 회전을, 같은 노출 중심 구간 동안 적분한 자이로 회전(공장 카메라–IMU 캘리브레이션으로 카메라 좌표계로 변환)과 비교했습니다. 2694개 중 2690개 구간을 풀었고, 나머지는 인라이어가 모자라(주로 빠른 고개 돌림) 제외했습니다(자세 유지).
차이는 중앙값 0.04°, 95번째 백분위 0.21°(원시 자이로로는 0.05°)였고, 보통 구간의 머리 회전은 1.4°였습니다(클립 3개 합계 6,234°). 그림의 두 곡선은 거의 구별되지 않습니다.
루프 클로저가 없으면 오차가 쌓입니다. 60초 클립마다 영상 방향은 바이어스를 보정한 자이로와 3.6–7.5°(30초 뒤 2.0–4.7°) 벌어졌고, 클립 A의 약 5°는 빠른 고개 돌림 한 번 중 실패한 구간 4개에서 나왔습니다. 원시 자이로와 비교하면 차이가 꾸준히 14–21°까지 커지는데, 그 기울기는 영상이 아니라 자이로의 바이어스입니다.
영상은 그 바이어스도 잽니다. 자이로와 영상 사이의 일정한 회전 속도 차이가 클립 3개에서 0.34–0.45°/s였고, 축마다 부호가 1주일여 전 정지 상태에서 잰 0.36°/s(기술노트 #14)와 같았습니다. 짧은 구간은 믿을 수 있고, 몇 분짜리 궤적에는 여전히 루프 클로저나 IMU 융합이 필요합니다.
이동
스테레오 위치에서 구한 가속도가 가속도계와 일치 (r = 0.98)
이동은 자이로로 확인할 수 없고, 외부 추적 장치도 없었습니다. 가속도계로 간접 확인할 수 있습니다. 카메라 위치를 두 번 미분하면 가속도이기 때문입니다. 가속도계 값을 영상 방향으로 영상 좌표계에 돌려 중력을 뺀 뒤, 두 신호에 같은 대역 필터(1초 Savitzky–Golay 평활에서 4초 추세를 뺌)를 걸었습니다. 추세 제거가 중요합니다. 빼지 않으면 느린 방향 드리프트 때문에 돌린 가속도계에 중력이 조금 새어 들어가 일치도가 떨어집니다.
두 신호는 모양(모든 축·클립에서 상관 0.98, 시간 지연 0에서 최대)과 크기 모두 맞았습니다. 맞춘 배율(영상/가속도계)은 전체 0.98, 클립별 0.97–0.99였습니다. 스테레오 기선이 주는 실제 크기 스케일이 약 0.25–2Hz 머리 움직임에서 몇 % 안으로 맞는다는 뜻입니다.
수십 초에 걸친 느린 위치 드리프트는 가속도계로 볼 수 없어 확인하지 못했습니다. 영상으로 구한 머리 이동 범위(작업대 앞에 선 작업자 기준 한 변 약 1m)는 그럴듯하지만 검증되지 않았습니다.
| 클립 | 날짜 | 작업 | 초 | 성공 구간 | 회전 차이 중앙값 | p95 | 30초 누적 차이 | 끝 누적 차이 | 가속도 상관 | 가속도 배율 (영상/IMU) |
|---|---|---|---|---|---|---|---|---|---|---|
| A | 2026-11-04 | 당근 봉지 담기 | 60 | 894/898 | 0.04° | 0.26° | 2.5° | 7.5° | 0.97 | 0.98 |
| B | 2026-11-02 | 대파 묶기 | 60 | 898/898 | 0.04° | 0.14° | 2.0° | 4.4° | 0.99 | 0.97 |
| C | 2026-11-04 | 채소 봉지 담기 | 60 | 898/898 | 0.04° | 0.18° | 4.7° | 3.6° | 0.99 | 0.99 |
의미
짧은 구간에는 쓸 수 있다. 가정이 아니라 확인한 결과
검증됨: 이 리그에서 스테레오만으로 실제 작업 중 카메라 회전을 구간마다 100분의 몇 도 안에서 자이로와 맞게 구할 수 있고, 이동은 가속도가 가속도계와 몇 % 안에서 맞는 실제 크기로 구할 수 있습니다.
구매자에게: 모든 녹화에 들어 있는 IMU만으로, 우리 데이터에서 돌린 어떤 자세 추정이든 이 노트의 스크립트로 검증할 수 있습니다. 직접 돌린 SLAM이나 VIO 결과에도 같은 검사를 쓸 수 있습니다.
다음: 몇 분짜리 궤적을 위한 루프 클로저나 비주얼–관성 융합, 위치 드리프트를 직접 확인할 줄자로 잰 걷기 경로.
- 구간별 회전: 자이로와의 차이 중앙값 0.1° 훨씬 아래.
- 이동 스케일: 가속도계와 몇 % 안.
- 긴 궤적: 아직 아님. 루프 클로저 없이 분당 몇 도씩 누적.
범위와 한계
연구의 한계
이 노트가 보여주지 않는 것을 먼저 밝힙니다.
- 리그 1대, 작업자 1명, 이틀간 한 종류 작업의 60초 클립 3개(180초) 결과입니다. 다른 작업, 조명, 머리 움직임에서는 다를 수 있습니다.
- 자이로 바이어스는 1주일여 전 정지 녹화(기술노트 #14) 값을 쓰고 일정하다고 가정했습니다. 온도에 따른 바이어스 변화는 드리프트 곡선에 남아 있습니다.
- 이동은 약 0.25–2Hz의 가속도로만 확인했습니다. 느린 위치 드리프트, 절대 위치, 머리 이동 범위는 검증하지 않았습니다.
- 실패한 구간(2694개 중 4개)은 통계에서 뺐습니다. 빠른 회전에 몰려 있어, 오차 분포는 푼 구간 기준입니다.
- 비주얼 오도메트리만 썼습니다. 루프 클로저, 번들 조정, IMU 융합은 없습니다. 더 좋은 추정기가 있으며, 이 노트는 원시 데이터가 무엇을 뒷받침하는지와 어떤 추정기든 검증하는 방법을 보여줍니다.
- 예비 분석: AI 보조 자동 분석으로 수행했고, 제3자나 다른 연구실의 독립 검증은 받지 않았습니다.
- 궤적 그림의 희소 점구름은 작업장 소유자의 동의를 받아 실었고, 알아볼 수 있는 사람은 없습니다. 원본 영상은 공개하지 않습니다.
FAQ
데이터 구매자가 묻는 질문
Q01머리 착용 에고센트릭 영상에서 스테레오 비주얼 오도메트리는 얼마나 정확한가요?
Q02모션 캡처 없이 에고센트릭 영상의 카메라 자세를 어떻게 검증하나요?
Q03스테레오 비주얼 오도메트리의 실제 크기 스케일은 맞나요?
Q04비주얼 오도메트리가 자이로에 비해 왜 드리프트하는 것처럼 보이나요?
Q05자세 추정에 IMU를 꼭 써야 하나요?
공개 데이터와 코드
근거 자료를 직접 확인하세요
이 노트의 모든 수치는 검증할 수 있습니다. 가공 데이터, 분석 코드, 그림, 실행 가능한 노트북을 공개합니다.
GitHub분석 코드와 재현 절차origin-data-lab/stereo-visual-odometry-head-pose-imu-validation-real-work저장소 보기 
Hugging Face데이터셋 카드, 표, 그림origin-data-lab/stereo-visual-odometry-head-pose-imu-validation-real-work데이터셋 열기 
데이터 탐색과 실행 노트북origindatalab/odl-stereo-vo-checked-with-imuKaggle에서 보기 라이선스: CC BY 4.0 (데이터·그림) · MIT (코드)
Origin Data Lab (2026). 기술노트 #21: 실제 작업 중 스테레오만으로 추정한 머리 자세, 자이로와 가속도계로 검증. https://origindatalab.io/ko/technical-field-notes/stereo-visual-odometry-head-pose-imu-validation-real-work.html