스테레오 프레임은 카운터로 짝짓지 마라: 세션마다 최대 3,009프레임 어긋나는 카운터, 실제 동기는 15µs

왜 중요한가

가장 그럴듯한 키가 틀린 키다

스테레오 깊이, 스테레오 SLAM, 손 자세 삼각측량은 모두 한 쌍의 좌우 영상이 같은 순간에 노출되었다고 가정합니다. 그래서 어떤 왼쪽 프레임이 어떤 오른쪽 프레임과 짝인지 정하는 확실한 규칙이 필요합니다.

우리 리그는 프레임마다 스트로브 카운터를 영상 스트림(H.264 SEI)에 노출 시작, 노출 시간, 표시 타임스탬프와 함께 기록합니다. 카운터가 각 눈에서 프레임마다 정확히 1씩 늘기 때문에 짝짓기 키로 쓰고 싶어집니다. 이 노트는 실제 녹화에서 그 방법이 왜 실패하는지, 대신 무엇을 써야 하는지 보여 줍니다.

발견 1

두 카운터는 세션마다 다른 상수만큼 어긋난다

118개 파일 모두에서 좌우 카운터 차이는 모든 프레임에서 같았고, 두 카운터 모두 프레임마다 정확히 1씩 늘었습니다. 하지만 그 차이는 세션마다 달랐습니다. 1일차 48, 53, 61, 68, 32, 35프레임, 2일차 2,998~3,009, 3일차 0, 2, 4, 4일차 −1,243~−1,209입니다.

같은 날 세션 사이에는 조금씩 늘고(48 → 53 → 61 → 68) 날이 바뀌면 크게 뛰는 모습은, 각 센서의 카운터가 녹화 시작 때 초기화되지 않고 계속 돌아간다는 것을 시사합니다. 제조사 확인은 받지 않았으며 작업 가설입니다.

내 데이터 점검법

파일당 몇 초면 끝나는 세 가지 검사

이 검사는 영상이 아니라 프레임별 메타데이터만 쓰므로 하루치 녹화도 몇 초 만에 끝납니다.

• 파일마다 좌−우 카운터가 일정한지 확인하고, 0이라고 가정하지 말고 세션별 상수를 기록한다.
• 순서(또는 가장 가까운 노출 시작)로 짝짓고, 모든 쌍의 노출 시작 차이가 1ms 이내인지 확인한다. 실패한 파일은 표시한다.
• 세션 끝의 1프레임 차이는 허용하고, 그 외의 불일치는 프레임 누락으로 보고 조사한다.