기술 필드 노트 #13 · 2026년 11월
잘못된 캘리브레이션 파일: 다른 센서 모드용 스테레오 캘리브레이션을 어떻게 찾아냈나
기술노트 #13 · 다른 센서 모드용 스테레오 캘리브레이션 진단 (ODL-EGO S1 촬영 리그)
앞서 보낸 평가 패키지에 들어간 제조사 스테레오 캘리브레이션 파일이, 살펴보니 16:9 녹화 모드용이었습니다. 영상은 리그의 4:3 1600×1200 모드로 찍혀 있었습니다. 데이터 검토자가 이를 정확히 지적했습니다. 이 노트는 이 불일치가 어떻게 드러나고 어떻게 확인했는지 보여 줍니다. 데이터 없이 파일만 보는 7가지 검사로 드러나고, ChArUco 코너 112,538개에서 잘못된 파일은 에피폴라 거리 중앙값 2.40px, 리그의 1600×1200 모드 파일은 0.33px였습니다. 검토자가 본 실제 양손 작업 영상에서도 오차가 2.82px에서 0.73px로 줄었고, 1px 미만 매칭 비율은 10%에서 61%로 늘었습니다. 이제 모든 납품에 캘리브레이션 파일 이름, 녹화 모드, 그 납품 프레임으로 돌린 검증 결과를 함께 넣습니다.
왜 중요한가
캘리브레이션 파일이 맞아도, 내 영상에는 틀릴 수 있다
스테레오 카메라는 해상도, 화면 비율, 자르기, 비닝이 다른 여러 녹화 모드를 지원하는 경우가 많습니다. 캘리브레이션은 계산한 그 모드에서만 유효합니다. 다른 모드의 파일도 오류 없이 불러와지고, 정류도 되고, 깊이도 나옵니다. 그냥 틀릴 뿐입니다. 세로로 수 픽셀 어긋나고, 미터 스케일이 수 % 틀어집니다.
우리는 앞선 평가 패키지에서 바로 이 실수를 했습니다. 이 노트는 그것을 재사용할 수 있는 검사 절차로 정리합니다. 파일에서 무엇을 보고, 잔차가 어떻게 나타나며, 영상 자체에서 맞는 파일을 어떻게 확인하는지입니다.
- 지금 지키는 규칙: 캘리브레이션 파일은 녹화 모드와, 같은 납품 프레임으로 돌린 잔차 검사와 함께만 납품합니다.
구성
제조사 파일 두 개, 리그 하나, 녹화 모드 하나
리그: R8 스테레오+IMU, 녹화 모드 한쪽 1600×1200, 30fps, 어안 렌즈. 장비와 함께 캘리브레이션 파일 두 개를 받았습니다.
파일 A: 스테레오 JSON(핀홀 모델 + 왜곡 5항, 좌우 간격 60.2mm, 해상도 항목 없음). 앞선 패키지에 들어간 파일입니다. 파일 B: Kalibr camchain(equidistant 어안 모델, 800×600, 좌우 간격 65.08mm).
검사 데이터: (1) 2026-10-26 1600×1200 모드로 찍은 ChArUco 보드 녹화, 샘플 프레임 두 개 중 하나, 짝지어진 코너 112,538개. (2) 앞선 패키지의 120초 실제 양손 작업 영상(2026-10-21), 영상 전체에 고르게 뽑은 16프레임, 캘리브레이션을 쓰지 않는 느슨한 이상치 제거 후 SIFT 매칭 11,360개.
검사 1
데이터 없이 하는 7가지 검사
계산하기 전에 파일만 봐도 불일치가 드러납니다. 파일 A는 해상도가 적혀 있지 않고, 주점이 1600×1200 영상 중심에서 217px 떨어져 있으며, 주점을 2배 하면 약 2004×1044(16:9) 영상이 됩니다. 초점거리도 파일 B보다 34% 깁니다. 파일 B는 800×600, 즉 녹화 모드의 정확히 절반이 적혀 있고, 2배 하면 주점이 중심에서 15px 안에 들어옵니다.
| 검사 (데이터 불필요) | 파일 A | 파일 B | 의미 |
|---|---|---|---|
| 파일에 적힌 해상도 | 적혀 있지 않음 | 800×600 (1600×1200의 정확히 ½) | 해상도가 없는 파일은 어떤 모드에도 믿고 쓸 수 없음 |
| 주점(px) | (1002, 522) | (807, 613) (×2 후) | 1600×1200 센서라면 (800, 600) 근처여야 함 |
| 주점과 1600×1200 중심의 거리 | 217 px | 15 px | 100px 넘으면 경고 신호 |
| 주점 ×2로 추정한 영상 크기 | ~2004 x 1044 | ~1615 x 1226 | A는 약 16:9 영상을 뜻함, 실제 영상은 4:3 |
| 초점거리(px) | 646 | 482 | 초점거리가 34% 다르면 자르기나 배율이 다른 모드 |
| 렌즈 모델 | 핀홀 + 5항 | equidistant 어안 | 광각 렌즈는 가장자리에서 어안 모델이 필요 |
| 좌우 간격(mm) | 60.2 | 65.08 | 깊이는 좌우 간격에 비례: 8% 차이는 8% 깊이 오차 |
검사 2
형상을 아는 타깃에서 잔차 보기
보드 코너 112,538개에서 파일 A의 에피폴라 거리 중앙값은 2.40px(90%값 7.89px), 파일 B는 0.33px(1.04px)였습니다. 내부 파라미터를 고정하면 파일 A는 보드 자체도 제대로 재현하지 못했습니다. 재투영 중앙값이 1.63px로, 파일 B의 0.28px와 큰 차이가 납니다.
특징적인 모양은 이렇습니다. 파일 A는 화면 중앙에서부터 오차가 크고(2.1px) 중심에서 400–550px 떨어진 곳에서 가장 큽니다. 파일 B는 0.25px에서 시작해 어안 바깥쪽으로 갈수록 서서히 커집니다.
| 검사 | 데이터 | 파일 A (16:9 모드) | 파일 B (1600×1200 모드) |
|---|---|---|---|
| 에피폴라 거리 중앙값 | ChArUco 녹화, 112,538 코너 | 2.40 px | 0.33 px |
| 에피폴라 거리 90%값 | 같음 | 7.89 px | 1.04 px |
| 왼쪽 재투영 중앙값(내부 파라미터 고정) | 같음 | 1.63 px | 0.28 px |
| 에피폴라 거리 중앙값 | 실제 양손 작업 영상, 11,360 특징점 매칭 | 2.82 px | 0.73 px |
| 1px 미만 매칭 비율 | 같음 | 10% | 61% |
검사 3
타깃 없이 실제 영상에서 확인하기
구매자 쪽 영상에는 보통 타깃이 없습니다. 좌우 프레임의 특징점 매칭만으로 충분합니다. 캘리브레이션이 맞으면 짝지어진 점은 에피폴라 선 위에 있어야 합니다. 실제 작업 영상에서 파일 A는 매칭을 선에서 중앙값 2.82px, 파일 B는 0.73px 떨어뜨렸습니다. 1px 이내에 든 매칭은 파일 B 61%, 파일 A 10%였습니다.
파일 B도 어안 화면의 극단적인 구석에서는 완벽하지 않고, 두 파일 모두 큰 값을 보입니다(기술노트 #11이 타깃으로 같은 바깥쪽 한계를 측정했습니다). 중요한 비교는 작업이 일어나는 중앙 시야입니다.
해석
우리 절차에서 바뀐 것
검증됨: 파일 B는 타깃과 실제 영상 모두에서 1600×1200 녹화 모드와 맞고, 파일 A는 맞지 않습니다. 해석: 파일 A는 같은 카메라 계열의 16:9 모드에서 만들어진 것으로 보이며, 패키지에 넣으면 안 되는 파일이었습니다. 60.2mm 좌우 간격을 그대로 썼다면 모든 깊이가 약 8% 틀어졌을 것입니다.
절차 변경: 모든 납품에 캘리브레이션 파일, 그 파일의 녹화 모드, 만든 장비를 명시하고, 7가지 파일 검사와 그 납품 프레임으로 돌린 에피폴라 검사를 함께 넣습니다. 같은 불일치가 다시 조용히 넘어갈 수 없게 했습니다.
- 캘리브레이션 파일을 쓰기 전에 해상도 항목과 주점부터 확인합니다.
- 모든 납품에서 몇 프레임으로 특징점 에피폴라 검사를 돌립니다. 이 리그에서 화면 중앙 중앙값이 약 1px을 넘으면 멈춥니다.
- 파일 이름이나 공급사 설명만으로 녹화 모드를 판단하지 않습니다.
범위와 한계
연구의 한계
이 노트가 보여주지 않는 것을 먼저 밝힙니다.
- R8 스테레오+IMU 장비 1대, 실내 사무실 1곳, 하루(2026-10-26) 측정 결과이며 다른 장비 전체를 대표하지 않습니다.
- 모든 측정은 자동 처리(OpenCV 검출·삼각측량·피팅)입니다. 사람이 독립적으로 다시 측정하지 않았으므로 알고리즘 기반 예비 분석(AI-only preliminary analysis)입니다.
- 공장 캘리브레이션 파일은 제3자 자료이므로 평가에만 사용하고 재배포하지 않습니다. 원본 영상은 사람과 사무실 내부가 찍혀 있어 공개하지 않습니다.
- 실제 영상의 특징점 매칭에는 잘못된 매칭이 일부 섞여 있어, 평균이 아니라 중앙값과 1px 미만 비율로 보고합니다.
- 실제 영상 검사는 120초 영상 1개의 16프레임, 보드 검사는 하루치 녹화를 사용했습니다.
- 파일 A의 출처(어느 장비의 어느 모드인지)는 파라미터로 추정한 것이며, 제조사가 확인하지 않았습니다.
FAQ
데이터 구매자가 묻는 질문
Q01스테레오 캘리브레이션이 내 녹화 모드와 맞는지 어떻게 아나요?
Q02이번에 무슨 일이 있었나요?
Q03영상에 캘리브레이션 타깃이 없어도 검사할 수 있나요?
Q04잘못된 캘리브레이션 파일은 깊이 스케일에도 영향을 주나요?
Q05바로잡은 캘리브레이션은 완벽한가요?
공개 데이터와 코드
근거 자료를 직접 확인하세요
이 노트의 모든 수치는 검증할 수 있습니다. 가공 데이터, 분석 코드, 그림, 실행 가능한 노트북을 공개합니다.
GitHub분석 코드와 재현 절차origin-data-lab/stereo-calibration-sensor-mode-mismatch-diagnosis저장소 보기 
Hugging Face데이터셋 카드, 표, 그림origin-data-lab/stereo-calibration-sensor-mode-mismatch-diagnosis데이터셋 열기 
데이터 탐색과 실행 노트북origindatalab/odl-stereo-calibration-mismatchKaggle에서 보기 라이선스: CC BY 4.0 (데이터·그림) · MIT (코드)
Origin Data Lab (2026). 기술노트 #13: 다른 센서 모드용 스테레오 캘리브레이션 진단. https://origindatalab.io/ko/technical-field-notes/stereo-calibration-sensor-mode-mismatch-diagnosis.html