[자율주행] 궤적 예측(Trajectory) — 남들이 '어디로 갈지' 읽기

여기까지 인지는 '지금'을 다뤘다. 검출은 지금 어디에 무엇이, 점유는 지금 어디가 찼는지를 말한다. 하지만 운전은 현재만으로 안 된다. 끼어들려는 차, 건너려는 보행자 를 미리 읽어야 부드럽고 안전한 계획이 나온다.

궤적 예측(trajectory/motion prediction) 은 주변 주체들이 앞으로 몇 초 동안 어디로 갈지를 예측한다. 인지(perception)와 계획(planning)을 잇는 다리다.

미래는 하나가 아니다

궤적 예측의 가장 큰 특징은 미래가 여러 갈래라는 것이다. 교차로에 선 앞차는 직진할 수도, 좌회전할 수도 있다. 어느 쪽인지는 아직 정해지지 않았다. 그래서 "가장 그럴듯한 하나의 미래"만 내면 위험하다 — 20%의 좌회전 가능성을 무시하는 순간 사고가 난다.

그래서 현대 예측 모델은 멀티모달(multi-modal) 로 답한다. 각 주체마다 여러 개의 후보 궤적과 각각의 확률을 낸다. "70% 직진, 25% 좌회전, 5% 정지" 같은 식이다. 계획은 이 분포 전체를 받아 최악을 대비한다.

무엇을 입력으로 받는가

한 주체의 미래는 그 주체만 봐서는 못 맞힌다. 궤적 예측은 최소한 세 가지를 함께 본다.

• 과거 궤적 — 지난 몇 초간의 위치·속도·방향. 관성과 의도의 단서.
• 지도(map) — 차선과 도로 구조. 차는 아무 데로나 가지 않고 차선을 따른다. 지도가 미래의 '가능한 길'을 제약한다.
• 상호작용(interaction) — 주변 다른 주체들. 앞차가 서면 뒤차도 서고, 내가 끼어들면 옆차가 양보하거나 안 한다.

특히 상호작용이 어렵다. 주체들은 서로의 미래에 영향을 준다. 그래서 각자를 따로 예측하는 것(marginal)과, 서로 얽힌 미래를 함께 예측하는 것(joint)은 다르다. 두 차가 각자 "내가 먼저 간다"고 예측하면, 합치면 충돌하는 모순이 생긴다.

표현: 벡터로

예측 모델의 입력은 점점 벡터(vector) 로 정리됐다. 차선을 폴리라인으로, 주체의 과거를 점들의 시퀀스로 표현하고, 이들 사이의 관계를 그래프/어텐션으로 잇는다(VectorNet, 그리고 최근의 트랜스포머 기반 예측기들). BEV 래스터 이미지로 넣던 초기 방식보다 효율적이고, 지도-주체-주체의 관계를 자연스럽게 담는다.

어떻게 '잘한다'를 재는가

궤적 예측은 보통 이렇게 평가한다.

• minADE (minimum Average Displacement Error) — 여러 후보 중 정답에 평균적으로 가장 가까운 궤적의 평균 위치 오차.
• minFDE (Final Displacement Error) — 여러 후보 중 마지막 시점이 정답에 가장 가까운 궤적의 그 끝점 오차. (minADE가 고른 궤적과 다를 수 있다 — 두 최소값은 따로 구한다.) 먼 미래일수록 어렵다.
• Miss Rate — 어떤 후보도 정답 근처에 못 간 비율.

min이 붙는 이유가 중요하다. 멀티모달이므로 "여러 후보 중 하나라도 맞았는가"를 본다. 표준 벤치마크(Argoverse 1/2·Waymo Motion·nuScenes prediction)는 보통 후보 K=6, 예측 지평 3~8초로 잰다. 다만 이 지표들은 확률 보정(어느 후보에 몇 %를 줬는가)까지는 잘 못 재서, 이를 보정에 반영한 brier-minFDE를 함께 보기도 한다 — 실제 계획 성능과의 간극이 늘 논쟁거리다.

예측과 계획의 경계가 흐려진다

전통적으로 인지 → 예측 → 계획은 분리된 모듈이었다. 하지만 최근엔 이 경계가 흐려진다.

• 예측과 계획의 결합 — 내 차의 계획이 남의 미래에 영향을 주므로, 둘을 함께 푸는 게 자연스럽다.
• 엔드투엔드 — 센서에서 계획까지 하나의 BEV 위에서 검출·차선·점유·예측·계획을 함께 학습하는 흐름(UniAD 등).
• 점유 흐름과의 만남 — 개별 궤적 대신 공간 전체의 미래 점유를 예측하면, 셀 수 없이 많은 주체도 다룰 수 있다.

데이터 엔지니어의 시선

궤적 예측의 정답은 사실 미래에 실제로 일어난 일이다. 그래서 로그를 시간으로 잘라, "과거 t초 → 미래 t초"의 쌍을 대량으로 뽑아내는 시공간 슬라이싱이 데이터의 핵심이다. 여기에 지도 정합, 주체 궤적 추출(추적)이 얹힌다. 결국 좋은 예측 데이터는 잘 정렬된 로그와 지도에서 나온다 — 앞선 씬 데이터·캘리브레이션 이야기로 되돌아가는 셈이다.

정리

• 궤적 예측은 주변 주체의 미래 경로를 읽어 인지와 계획을 잇는다.
• 미래는 여러 갈래이므로 멀티모달(후보 + 확률)로 답하고, 계획은 그 분포로 최악을 대비한다.
• 과거 궤적·지도·상호작용을 함께 보며, 특히 주체 간 상호작용(joint 예측)이 어렵다.
• minADE/minFDE로 평가하고, 최근엔 예측·계획·점유의 경계가 흐려지며 엔드투엔드로 수렴 중이다.

여기까지가 '알고리즘'이다. 마지막 글은 이 모든 데이터를 사람이 눈으로 보는 이야기 — 자율주행 시각화로 마무리한다.