FaceFusion 은 방법론이 아니라 부품 조립기다 — 얼굴 바꾸는 기술 4계열 지도

「FaceFusion 으로 했다」 는 말을 자주 듣다 보니 FaceFusion 이 얼굴 교체 방법론 이름인 줄 알았다. 아니다. GitHub facefusion/facefusion 이라는 특정 소프트웨어 이름이다. 학술 용어도 방법론도 아니다.

얼굴 바꾸는 기술은 크게 4계열이고, 계열이 다르면 서로 비교할 대상이 아니다. 이 글을 읽으면 검색에 뒤섞여 나오는 도구 · 모델 · 서비스 이름을 어느 칸에 넣을지, 내 목적엔 어느 계열이 맞는지 고를 수 있다.

먼저 선 하나. 본인 얼굴이나 동의를 받은 얼굴로만 쓰고, 결과물을 올릴 때는 AI 로 바꾼 영상(딥페이크)이라고 밝힌다. 이 글은 전부 이 전제 위에서 쓴다.

용어부터

face swapping(얼굴 교체) 은 A 의 신원(누구인지)을 B 의 얼굴에 옮긴다. FaceFusion 의 주 기능이다. face reenactment(얼굴 재연) 는 A 의 표정 · 움직임을 B 에게 옮긴다. 방향이 반대다. deepfake 는 이걸 다 묶어 부르는 대중적인 통칭이다.

교체 방식도 둘로 나뉜다. 사진 한 장이면 되는 one-shot(inswapper, hyperswap, SimSwap)과, 인물 쌍마다 따로 학습하는 subject-specific(DeepFaceLab).

4계열 지도

이 표에서 제일 재밌는 건 A 와 C 다. 입력은 똑같이 「사진 한 장 + 영상 하나」 인데 결과가 반대다.

A 로 해 봤을 때 원본 배우의 삭발 머리가 그대로 남는 문제가 있었다. 구조상 C 에서는 이 문제가 생기지 않는다. 대신 배경과 몸이 사진 것이 된다. C 는 아직 직접 돌려 보지 않았고, 이건 표의 칸이 말해 주는 예상이다.

언제 무엇을

• 원본 영상의 연기 · 조명 · 카메라를 살리고 얼굴만 바꾼다 → A

• 내 얼굴로 된 새 이미지(프로필, 썸네일)가 필요하다 → B

• 사진 한 장을 말하게 · 움직이게 한다 → C

• 머리 · 옷 · 체형까지 통째로 바꾼다 → D. 대신 원본 「재현」 이 아니라 새로 만든 장면이 된다

「FaceFusion 이랑 Runway 중 뭐가 나아?」 는 질문 자체가 성립하지 않는다. 한쪽은 A, 한쪽은 D 다.

FaceFusion 은 부품 조립기다

FaceFusion 안에서는 단계마다 모델을 갈아 끼운다. 어떤 조합으로 돌려도 「FaceFusion 으로 했다」 고 부른다.

교체 말고도 lip_syncer, expression_restorer, age_modifier, frame_enhancer, background_remover 같은 프로세서를 붙였다 뗐다 한다.

이 뼈대(검출 → 정렬 → 교체 → 마스크 → 합성 → 보정)는 FaceFusion 만의 것도 아니다. roop, Deep-Live-Cam 도 같은 구조다. 논문이 새로 내놓는 건 보통 가운데의 교체 모델 하나고, 앞뒤 단계는 있는 걸 가져다 쓴다. SimSwap 이나 HifiFace 가 FaceFusion 의 경쟁자가 아니라 선택지 목록에 이름이 올라 있는 이유다. 각 단계가 실제로 무엇을 하는지는 얼굴 교체가 머리카락을 못 바꾸는 이유에 따로 뜯어 놨다.

뿌리는 InsightFace

계열 A 의 부품 상당수가 InsightFace 프로젝트에서 나왔다. 얼굴을 신원 벡터로 바꾸는 ArcFace(이번 작업에서 arcface_w600k_r50 으로 실제로 썼다), 검출기 RetinaFace · SCRFD, one-shot 교체의 출발점인 inswapper_128.

라이선스는 꼭 본다. InsightFace 저장소는 코드는 MIT 지만, 학습 데이터와 그걸로 학습한 모델은 비상업 연구 용도만 허용한다고 적고 있다. inswapper 계열은 라이선스를 따로 문의하라고 한다 (2026-10-19 확인). 개인 로컬 실험과 서비스 공개는 전혀 다른 이야기다.

얼굴 교체나 아바타를 서비스에 넣으려는데 어느 계열 · 어떤 라이선스로 가야 할지 정리가 필요하면 negabaro 에 물어봐도 된다 (문의).