[자율주행] 센서는 어떻게 세상을 재는가 — 라이다·레이더의 물리와 로그 스키마

씬 데이터에서 센서를 한 줄씩 소개하고 지나갔다. "라이다는 레이저를 쏘고 돌아오는 시간을 잰다" 정도였다. 데이터를 다루는 입장에서는 그걸로 충분해 보이지만, 실제로는 여기서 답이 안 나오는 질문들이 계속 생긴다.

• 왜 80m 밖의 차는 라이다 점이 네 개밖에 없는가
• intensity가 뭐길래 차선을 읽는 데 쓰는가
• 리턴이 왜 여러 개인가
• 레이더는 왜 "저기 뭔가 있다"까지만 말하고 "그게 뭔지"는 못 말하는가
• 점별 타임스탬프를 안 남기면 왜 되돌릴 수 없는가

전부 센서가 어떻게 재는지에서 나온다. 그리고 그 물리가 곧바로 로그 스키마를 결정한다. 이 글은 그 연결을 만든다.

라이다 — 빛의 왕복 시간

ToF: 펄스를 쏘고 시간을 잰다

가장 흔한 방식은 비행시간(ToF) 이다. 레이저 펄스를 쏘고 돌아올 때까지의 시간 t를 재서 거리를 얻는다.

거리 = (빛의 속도 × t) / 2

빛은 1ns에 30cm를 간다. 왕복이므로 1ns의 측정 오차 = 15cm의 거리 오차다. 그래서 라이다 수신부는 나노초 이하를 재야 하고, 이게 라이다가 비싼 이유의 큰 부분이다.

채널과 각해상도 — 먼 차에 점이 네 개인 이유

라이다는 여러 개의 레이저(채널, 흔히 ring)를 수직으로 배열해 회전시킨다. 32채널이면 수직으로 32줄, 128채널이면 128줄이다.

여기서 결정적인 성질이 나온다. 각도는 일정한데 거리가 멀어지면 점 사이 간격은 비례해서 벌어진다.

수직 각해상도 0.4° 라이다

  10m 거리 → 점 간격 약 7cm    →  차 한 대에 점 수천 개
  50m 거리 → 점 간격 약 35cm   →  차 한 대에 점 수십 개
  80m 거리 → 점 간격 약 56cm   →  차 한 대에 점 몇 개

원거리 3D 객체 검출이 어려운 이유가 알고리즘이 아니라 여기다. 그리고 이게 어노테이션 스펙에도 직접 걸린다 — "박스 안 점이 N개 미만이면 라벨링 대상에서 제외한다" 같은 규칙이 필요한 이유가 이 물리다.

intensity — 얼마나 밝게 돌아왔나

돌아온 빛의 세기다. 같은 거리라도 대상의 반사율에 따라 다르게 돌아온다.

• 차선 도색은 아스팔트보다 훨씬 밝게 돌아온다. 그래서 야간이나 역광처럼 카메라가 무력한 상황에서도 라이다 intensity로 차선을 읽을 수 있다.
• 표지판의 재귀반사 시트는 매우 밝다.
• 검은 무광 차량은 반사가 약해 원거리에서 놓치기 쉽다. 라이다의 대표적인 실패 모드다.

intensity를 로그에서 버리면 이 정보가 통째로 사라진다. 되돌릴 수 없다.

멀티 리턴 — 하나의 펄스, 여러 개의 답

레이저 빔은 점이 아니라 퍼지는 원뿔이다. 그래서 하나의 펄스가 여러 대상에 걸쳐 맞을 수 있다.

   펄스 하나 ──▶ 나뭇잎(1st return) ──▶ 뒤의 벽(last return)
                  빗방울             유리창

그래서 라이다는 리턴을 여러 개 낸다 — 첫 번째(1st), 마지막(last), 가장 강한 것(strongest).

실무에서 이게 값을 하는 곳:

• 비·먼지·눈 — 첫 리턴은 빗방울, 마지막 리턴은 진짜 물체. 리턴 종류를 알면 악천후 노이즈를 걸러낼 수 있다.
• 식생 관통 — 나뭇잎 너머의 구조물.
• 유리 — 유리창은 대부분 통과시키고 일부만 반사한다.

return_id를 안 남기면 "비 오는 날 점군이 지저분하다" 이상의 분석을 할 수 없다.

스캔 방식

• 회전형(mechanical) — 물리적으로 한 바퀴 돈다. 360° 시야, 성숙한 기술. 다만 움직이는 부품이 있고 한 바퀴에 시간이 걸린다(10Hz면 100ms).
• 솔리드 스테이트 — MEMS 미러, OPA, 플래시 등. 시야는 좁지만 작고 싸고 내구성이 좋다. 여러 대를 붙여 쓴다.

회전형에서 파생되는 결정적 사실 하나. 한 스윕 안의 점들은 서로 다른 순간에 찍혔다. 100ms 동안 60km/h로 달리면 차가 1.7m를 움직인다. 그래서 모션 보정이 필요하고, 보정하려면 점마다 상대 시각이 있어야 한다. 이 필드를 안 남기면 나중에 복원할 방법이 없다.

FMCW 라이다

주파수를 연속적으로 변조한 빛을 쏘고, 돌아온 빛과 섞어 비트 주파수를 본다. ToF와 다른 두 가지 이점이 있다.

• 속도를 직접 잰다. 도플러 효과로 점마다 시선 방향 속도가 나온다. 정지물과 이동물을 첫 프레임에서 가른다.
• 간섭에 강하다. 다른 차의 라이다나 햇빛에 덜 흔들린다.

아직 비싸고 보급이 진행 중이지만, 만약 도입되면 점군 스키마에 doppler 필드가 추가된다. 스키마를 지금 설계한다면 확장 여지를 남겨두는 게 좋다.

레이더 — 전파와 도플러

FMCW 처프

레이더는 대부분 FMCW다. 주파수가 시간에 따라 올라가는 처프(chirp) 를 쏘고, 돌아온 신호와 송신 신호를 섞는다. 그 차이(비트 주파수)가 거리에 비례한다.

도플러 — 레이더의 진짜 무기

움직이는 물체에 반사된 전파는 주파수가 바뀐다. 이걸 재면 상대 속도를 직접, 한 프레임에서 얻는다.

라이다와 카메라는 속도를 얻으려면 두 프레임을 비교해야 한다. 즉 추적이 먼저 되어야 속도가 나온다. 레이더는 그 반대다 — 속도가 먼저 나오고, 그게 추적을 도와준다. 융합에서 레이더가 값을 하는 지점이 정확히 여기다.

각해상도가 나쁜 이유

레이더의 고질적 약점이다. 각도 분해능은 안테나 개구의 크기에 반비례하는데, 차량에 실을 수 있는 안테나는 작다. 그래서 "전방 40m에 뭔가 있다"는 정확하지만 "그게 내 차선인지 옆 차선인지"는 흐릿하다.

MIMO로 송수신 안테나를 조합해 가상 안테나를 늘리는 방식이 표준이 됐고, 최근의 4D 이미징 레이더는 고도까지 분해해 점군에 가까운 출력을 낸다. 그래도 라이다 수준은 아니다.

레이더 데이터의 층위

레이더는 어느 단계의 출력을 로그에 남길지가 설계 결정이다.

하류로 갈수록 되돌릴 수 없다. 트랙만 남기면 나중에 "레이더 알고리즘을 바꿔서 다시 돌려보자"가 불가능하다.

레이더의 함정

• 고스트 타깃 — 전파가 가드레일이나 지면에 반사돼 돌아오면(멀티패스) 있지도 않은 물체가 잡힌다. 터널에서 특히 심하다.
• 정지물 구분 — 육교, 표지판, 맨홀 뚜껑이 정지 차량과 헷갈린다. 그래서 많은 레이더 기반 시스템이 정지물을 아예 무시하는데, 이게 정지 차량 추돌 사고의 고전적 원인이다.
• RCS는 크기가 아니다 — 레이더 반사 단면적은 재질과 형상에 좌우된다. 작은 금속 조각이 큰 플라스틱보다 크게 잡힌다.

카메라

카메라 이미지의 실제에서 따로 다뤘다. 요약하면 — 색과 의미에 강하고 거리에 약하며, 픽셀은 렌즈·센서·ISP를 거친 가공물이다.

한 가지만 여기서 덧붙이면, 세 센서의 실패 모드가 서로 겹치지 않는다는 점이 융합의 근거다.

그래서 로그 스키마가 이렇게 생긴다

여기가 이 글의 목적지다. 위의 물리가 그대로 필드 목록이 된다.

점군 한 점에 최소한 이만큼은 남긴다.

x, y, z        위치 (센서 좌표계)
intensity      반사 강도       ← 차선·표지판·재질 판별
ring           몇 번째 채널     ← 지면 제거, 거리 이미지 변환
time           스윕 내 상대 시각 ← 모션 보정. 없으면 복원 불가
return_id      몇 번째 리턴     ← 악천후 노이즈 판별
(doppler)      FMCW 라이다면

레이더 탐지점.

range, azimuth, elevation, doppler, rcs, snr, (track_id)

그리고 원본을 남길 것인가. 라이다 패킷과 레이더 큐브는 용량이 크지만, 남겨두면 나중에 신호처리를 바꿔 재처리할 수 있다. 실무 절충은 대개 일부 구간만 원본 보존이다 — 특이 상황, 실패 장면, 개발용 구간.

원칙은 하나다. 원본 로그에서는 버리지 않는다. 줄이는 건 파생 데이터를 구울 때 한다. 지금 아껴서 얻는 저장 비용보다, 나중에 필드가 없어서 못 하게 되는 분석의 비용이 훨씬 크다.

캘리브레이션과의 연결

센서마다 내부 특성이 있다는 것도 물리에서 나온다.

• 라이다는 빔별 각도·거리 오프셋이 미세하게 다르다(내부 캘리브레이션). 이게 틀어지면 평평한 바닥이 층층이 보인다.
• 카메라는 렌즈 왜곡.
• 레이더는 안테나 위상 보정.

그리고 셋을 겹치려면 외부 파라미터와 시간 동기화가 맞아야 한다. 센서 물리 → 캘리브레이션 → 융합은 한 줄로 이어진 이야기다.

데이터 엔지니어의 시선

• 필드 하나를 안 남기는 결정은 그 기간의 데이터에 영원히 없다. 되돌릴 수 없는 결정과 되돌릴 수 있는 결정을 구분한다.
• 센서 모델·펌웨어·장착 위치가 바뀌면 데이터 분포가 바뀐다. 메타데이터에 남긴다.
• "원거리 성능이 나쁘다"는 리포트를 받으면 모델을 의심하기 전에 그 거리의 점 밀도를 먼저 본다.
• 악천후 데이터를 모을 때는 리턴 종류가 남아 있는지 확인한다. 없으면 나중에 노이즈와 신호를 못 가른다.

정리

• 라이다는 빛의 왕복 시간을 잰다. 1ns = 15cm.
• 채널과 각해상도 때문에 거리에 비례해 점이 성겨진다. 원거리 검출 난이도의 물리적 근원이다.
• intensity는 재질을 말하고, 멀티 리턴은 악천후와 식생을 가른다. 둘 다 버리면 복원 불가.
• 회전형 라이다는 한 스윕이 한 순간이 아니다 → 점별 시각이 필수다.
• 레이더는 도플러로 속도를 직접 재지만 각해상도가 낮고, 고스트와 정지물 구분이 고질적 약점이다.
• 세 센서의 실패 모드가 겹치지 않는 것이 융합의 근거다.
• 물리가 곧 스키마다. 남길 필드 목록은 센서가 무엇을 재는지에서 그대로 나온다.

이어서 볼 글: 좌표를 맞추는 일은 센서 캘리브레이션, 이 데이터가 담기는 로그는 MCAP 완전 정복, 그리고 이 센서들이 만든 에고 포즈가 어디서 오는지는 측위와 SLAM에서 다룬다.