벡터란 무엇인가

벡터는 숫자를 순서대로 나열한 것이다.

2D 벡터 — 평면 위의 화살표

[3, 4]는 x 방향으로 3, y 방향으로 4 이동하는 화살표다. 지도에서 "동쪽 3km, 북쪽 4km"라고 말하는 것과 같다.

두 벡터 사이의 거리를 구하면 "얼마나 멀리 있는가"를 알 수 있고, 각도를 구하면 "얼마나 비슷한 방향인가"를 알 수 있다. 이 각도 기반 유사도가 코사인 유사도다.

3D 벡터 — 공간 속의 점

[3, 4, 2]는 3차원 공간의 점이다. x, y에 z축(높이)이 추가됐을 뿐, 거리와 각도 계산은 2D와 같다.

여기까지는 사람이 직접 눈으로 볼 수 있다. 2D는 종이 위에, 3D는 Three.js 같은 도구로 회전시키면서 볼 수 있다.

고차원 벡터 — 의미의 공간

[0.023, -0.15, 0.41, ..., -0.33] — 숫자가 1536개. 이건 더 이상 눈으로 볼 수 없다.

근데 수학은 변하지 않는다. 2D에서 두 점 사이 거리를 구하는 공식이 1536D에서도 그대로 작동한다. 차원이 늘어난 것뿐이지, "가까운 건 비슷하고 먼 건 다르다"는 원리는 같다.

AI에서 임베딩이 1536차원인 이유는 단순하다 — 2~3차원으로는 "고양이"와 "강아지"가 비슷하다는 정도만 표현 가능하고, "페르시안 고양이는 고급스럽고 길고양이는 거칠다" 같은 뉘앙스를 담으려면 차원이 많이 필요하다.

고차원을 시각화하는 방법

1536차원을 직접 볼 순 없지만, 2D/3D로 "압축"해서 보는 방법이 있다.

t-SNE: 가까운 점은 가깝게, 먼 점은 멀게 유지하면서 2D로 투영한다. 클러스터(덩어리) 구조를 파악하기 좋다.

UMAP: t-SNE보다 빠르고, 전체 구조를 더 잘 보존한다. 대량 데이터에 적합.

PCA: 가장 정보량이 많은 축 2~3개만 남기고 나머지를 버린다. 가장 빠르지만 정보 손실이 크다.

이 압축 시각화에서 "비슷한 이미지끼리 뭉쳐 있다"가 보이면, 임베딩이 제대로 작동하고 있다는 증거다.

왜 추천시스템에 중요한가

추천시스템의 거의 모든 기법은 결국 "유저 벡터와 아이템 벡터 사이의 거리를 구하는 것"이다. 벡터를 이해하면 Matrix Factorization, Two-Tower, 임베딩 기반 검색 전부가 같은 원리 위에 있다는 게 보인다.