[자율주행] 씬 데이터란 무엇인가 — 여러 센서가 '한 장면'을 함께 기록하는 법

자율주행을 데이터 관점에서 볼 때 가장 먼저 바로잡아야 할 직관이 하나 있다. 데이터의 단위는 '이미지 한 장'이 아니다. 카메라 한 대가 찍은 프레임은 세상의 아주 얇은 단면일 뿐이다. 자율주행 시스템이 실제로 다루는 단위는 한 장면(scene) — 여러 센서가 같은 순간을 각자의 방식으로 기록한 것을 하나로 묶은 덩어리다.

이 글은 그 '씬 데이터'가 무엇인지, 왜 그것이 이후 차선 검출·3D 객체 검출·점유 예측·궤적 예측 같은 모든 알고리즘의 출발점이 되는지를 정리한다.

한 장면을 이루는 센서들

자율주행 차량은 서로 다른 물리량을 보는 센서를 겹쳐서 쓴다. 각 센서는 세상의 다른 약점을 메운다.

라이다(LiDAR) — 레이저를 쏘고 돌아오는 시간을 재서 주변을 3D 점(point) 으로 그린다. 거리가 정확하고 형상이 살아있지만, 색이 없고 멀수록 점이 성기다.
카메라(Camera) — 색·질감·글자(신호등, 표지판)를 본다. 의미(semantics)에 강하지만, 단일 카메라로는 거리를 모른다(스케일 모호성).
레이더(Radar) — 도플러로 상대 속도를 직접 잰다. 악천후에 강하고 멀리 보지만 해상도가 낮다.
GNSS/IMU — 차 자신이 지금 지구 어디에서 어떤 자세로 어떻게 움직이는지(에고 모션)를 알려준다.

핵심은 이것이다. 어느 하나로는 세상을 온전히 못 본다. 라이다는 '무엇'인지 모르고, 카메라는 '얼마나 먼지' 모르고, 레이더는 '정확히 어디'인지 흐릿하다. 그래서 이들을 같은 순간·같은 좌표계로 포개는 것이 자율주행 데이터의 본질이고, 그 포개진 결과가 곧 씬이다.

왜 '씬'이 단위인가

이미지 분류에서는 사진 한 장이 하나의 샘플이다. 자율주행에서는 그럴 수 없다. 신호등을 카메라가 보고, 그 앞에 선 차의 거리를 라이다가 재고, 그 차의 속도를 레이더가 잰다. 이 셋이 같은 순간의 같은 대상임을 알아야 비로소 "빨간불 앞 정지한 차가 5m 앞에 있고 곧 출발할 것"이라는 판단이 나온다.

그래서 씬은 다음을 하나로 묶은 것이다.

동기화된 센서 프레임 — 같은 타임스탬프(오차 수 ms 이내)로 정렬된 라이다 스윕·여러 카메라 이미지·레이더 리턴.
에고 포즈(ego pose) — 그 순간 차가 지도상 어디에 어떤 자세로 있었는지.
캘리브레이션 — 각 센서를 차의 기준 좌표계로 옮기는 변환. (다음 글 센서 캘리브레이션에서 자세히.)
어노테이션(선택) — 사람/모델이 붙인 3D 박스, 차선, 점유 등 정답.

이 묶음이 있어야 카메라가 본 픽셀을 라이다 점 위에 올리고, 라이다 점을 지도 위에 올릴 수 있다. 씬은 여러 감각을 하나의 세계로 합의시키는 계약서다.

샘플, 스윕, 키프레임

실제 데이터셋(예: nuScenes, Waymo Open Dataset)을 열어보면 몇 가지 용어가 반복된다.

스윕(sweep) — 라이다가 한 바퀴 돌며 얻은 점 구름 한 세트. 보통 10~20Hz로 계속 쏟아진다.
샘플(sample) / 키프레임(keyframe) — 그중 정답을 붙일 대표 순간. 모든 스윕에 라벨을 달 수는 없으니, 일정 간격(예: 2Hz)의 키프레임에만 어노테이션을 붙인다.
시퀀스/로그(log) — 하나의 주행에서 이어진 씬들의 흐름. 20초짜리 클립일 수도, 몇 분짜리 로그일 수도 있다.

라벨은 키프레임에만 있지만, 그 사이의 스윕들은 버리지 않는다. 시간적으로 앞뒤 스윕을 쌓으면 성긴 점 구름이 촘촘해지고, 움직임(속도·방향)이 드러난다. '라벨 없는 프레임'이 곧 쓸모없는 프레임은 아니다 — 이 감각이 자율주행 데이터 엔지니어링의 출발점이다.

좌표계라는 뼈대

씬을 이해하는 가장 확실한 방법은 좌표계로 보는 것이다. 데이터는 늘 "어떤 좌표계에서 본 값인가"를 달고 다닌다.

센서 좌표계 — 그 라이다/카메라 자신을 원점으로 한 값.
에고(차량) 좌표계 — 차의 뒷축 중심 같은 기준점.
글로벌/맵 좌표계 — 지도 위의 절대 위치.

같은 한 대의 차라도, 라이다 점은 라이다 기준으로 나오고 카메라 픽셀은 카메라 기준으로 나온다. 이걸 전부 에고 좌표계로 모으고, 다시 에고 포즈로 맵 좌표계에 얹으면, 여러 순간·여러 센서가 하나의 3D 세계로 정합된다. 씬 데이터의 절반은 이 좌표 변환의 기록이다.

데이터 엔지니어의 시선

모델을 만드는 사람에게 씬은 '입력'이지만, 데이터를 다루는 사람에게 씬은 설계 대상이다.

서로 다른 주파수로 쏟아지는 센서를 어떤 타임스탬프에 정렬할 것인가.
라이다 스윕·이미지·박스를 어떤 스키마로 저장해야 페타바이트 규모에서 질의 가능한가.
"비 오는 밤, 좌회전 중, 보행자 있음" 같은 조건으로 어떤 씬을 골라낼 것인가.

즉 씬은 저장·정렬·검색·재현이 모두 걸리는 데이터 파이프라인의 최소 단위다. 이 '어떤 포맷·어떤 스키마로 저장하고 질의하는가'는 로그 데이터와 포맷 — rosbag·MCAP·컬럼형에서, 좌표·자세를 적는 근간은 3D 기하 기초에서 따로 판다. 좋은 자율주행 시스템은 좋은 모델 이전에 좋은 씬 정의에서 시작한다.

정리

자율주행 데이터의 단위는 이미지가 아니라 여러 센서가 같은 순간을 기록한 한 장면(scene) 이다.
씬은 동기화된 센서 프레임 + 에고 포즈 + 캘리브레이션 + (선택) 어노테이션의 묶음이다.
라벨은 키프레임에만 붙지만, 사이의 스윕들은 밀도·움직임을 채우는 자원이다.
씬을 지탱하는 뼈대는 좌표계와 그 사이의 변환이다.

다음 글에서는 그 변환의 정확도를 결정하는 센서 캘리브레이션 — 좌표계를 맞추지 못하면 아무것도 맞지 않는 이유를 판다.