About

ElastiCache 암호화는 켜는 게 아니라 다시 만드는 것 — 로그아웃 없이 세션 옮기기, DUMP 의 방향, 바뀌는 엔드포인트

저장 데이터 암호화는 만들 때만 켤 수 있다. -v2 를 옆에 세우고 세션을 두 번에 나눠 옮겼다. 로컬 Redis 두 대로 다시 해 보니 우리가 쓴 복사 규칙에도 구멍이 하나 있었다

ElastiCache Redis 에 암호화를 넣는 일을 했다. 콘솔에서 체크 하나 켜면 될 줄 알았는데, 결국 클러스터를 새로 만들고 사용자 세션을 옮기는 일이 됐다. 이 글을 읽으면 왜 새로 만들어야 하는지, 아무도 로그아웃시키지 않고 세션을 옮기는 순서, 옮긴 뒤 바뀌는 엔드포인트 이름과 TLS 확인까지 한 번에 알 수 있다.

ElastiCache 는 Redis(Valkey)를 AWS 가 대신 운영해 주는 서비스다. 암호화는 두 종류다. 디스크 · 백업에 쓰이는 데이터를 감추는 저장 데이터 암호화(at-rest)와, 앱과 Redis 사이 통신을 TLS 로 감싸는 전송 중 암호화(in-transit).

체크박스가 없다

AWS 문서에 그대로 적혀 있다. at-rest 암호화는 replication group 을 만들 때만 켤 수 있고, 수정으로 켜고 끌 수 없다. 기존 클러스터에 넣으려면 백업 → 새 클러스터로 복원 → 앱의 엔드포인트 교체 → 옛 클러스터 삭제, 이게 공식 절차다.

in-transit 은 Redis OSS 7 이상(Valkey 7.2 이상)이면 기존 클러스터에서도 바꿀 수 있다. 우리는 6.x 였다. 어차피 at-rest 때문에 새로 만들어야 하니 버전도 같이 올렸다.

같은 이름으로 다시 만들면 terraform 은 옛 걸 먼저 지우고 새 걸 만든다. 이름이 겹치니 동시에 둘을 둘 수 없다. 새 클러스터가 다 뜰 때까지 Redis 가 없는 시간이 생긴다. 그래서 -v2 라는 다른 이름으로 옆에 세우고, 앱의 접속처를 바꿔 롤링 배포로 넘어갔다.

1. Phase 1 before the deploy sessions active in the last 7 days only RESTORE ... REPLACE 2. Rolling deploy old tasks write old new tasks write v2 the gap: both sides change at once 3. Phase 2 copy a key only if it is missing on v2 and was not copied in phase 1 no REPLACE 4. Jobs wait until the last old task is gone then pop-push the leftover queue Why "last 7 days" works Rack expire_after rewrites the session on every request, so the remaining TTL tells you when the user was last seen DUMP is one-way 6.2.6 (RDB 9) to 7.2 (RDB 11): OK 7.2 to 6.2.6: payload version error rollback cannot carry v2 data back

빈 클러스터로 넘어가면 전원 로그아웃

세션을 Redis 에 두고 있으면, 빈 v2 로 바꾸는 순간 모두 로그아웃된다. 그래서 DUMP 로 값을 꺼내 RESTORE 로 넣었다. 남은 수명은 PTTL(밀리초 단위 남은 TTL)로 읽어서 그대로 붙인다.

다 옮길 필요는 없었다. Rack 세션에 expire_after 가 있으면 요청이 올 때마다 세션을 다시 저장한다. rack-session 2.1.1 소스를 보면 force_options? 가 expire_after 를 보고, forced_session_update? 가 참이 돼서 매번 commit 한다. 그러니 남은 TTL 이 곧 마지막 접속 시각이다.

실제로 세어 보니 수만 건 중 최근 7일 안에 움직인 세션은 7분의 1 정도였다. 나머지는 브라우저를 닫고 떠난 사람 것이다. 최근 7일 것만 옮겼다.

두 번에 나눠 옮긴다

옮기는 동안에도 새 세션은 생긴다. 롤링 배포 중엔 옛 태스크는 옛 클러스터에, 새 태스크는 v2 에 쓴다. 그래서 두 번 옮긴다.

Phase 1  배포 직전   최근 7일 세션을 한꺼번에 복사    REPLACE 써도 됨
         ↓
         롤링 배포                                ← 양쪽이 동시에 바뀌는 구간
         ↓
Phase 2  배포 직후   v2 에 없는 것만 채운다

실무에선 Phase 1 이 3초 남짓, Phase 2 에서 채운 건 수십 건이었다. 복사 자체는 순식간이라 서두를 이유가 없었다.

Phase 2 규칙을 로컬에서 다시 돌려 봤다

우리가 쓴 Phase 2 규칙은 「v2 에 EXISTS 면 건너뛴다」 였다. 맞았는지 보려고 Docker 로 Redis 6.2.6(옛 쪽)과 7.2.17(v2)을 띄우고, redis-py 로 흉내 냈다. 세션 2만 개, expire_after 14일, 마지막 접속은 0〜14일 전으로 고르게 뿌렸다. Phase 1 은 1만 99개, 0.26초(같은 맥 안이라 네트워크는 없다).

그다음 배포 구간에 일어날 일을 직접 넣었다. A 는 새 태스크에서 장바구니를 바꿨고, C 는 옛 태스크에서 바꿨다. E 는 새 태스크에서 로그아웃했고, D 는 옛 태스크에서 새로 로그인했다. 이 상태에서 Phase 2 를 세 가지로 돌린 결과다.

                A (v2 에서 바뀜)   C (옛쪽에서 바뀜)   E (v2 에서 로그아웃)   D (옛쪽 새 로그인)
REPLACE         옛 값으로 덮임      살아남음            되살아남               복사됨
EXISTS 만       지켜짐              잃음                되살아남               복사됨
EXISTS + 목록   지켜짐              잃음                지워진 채              복사됨

REPLACE 가 안 되는 건 알고 있었다. 새 쪽에서 바뀐 걸 옛 값으로 덮는다.

몰랐던 건 E 다. Rails 의 reset_session 은 옛 세션 ID 를 스토어에서 지우고 새 ID 를 준다(actionpack 의 Session#destroy). v2 에서 지워진 키는 EXISTS 로는 「없는 것」 이라, Phase 2 가 옛 쪽에서 다시 가져온다. 본인 쿠키는 이미 새 ID 라 티가 안 난다. 하지만 로그아웃으로 죽었어야 할 세션 ID 가 TTL 이 끝날 때까지 다시 살아 있다. 쿠키가 새어 나간 경우에 닫혀야 할 문이 다시 열리는 셈이다.

막는 법은 간단했다. Phase 1 에서 옮긴 키 목록을 남겨 두고, Phase 2 는 그 목록에 없는 키만 본다. 표의 마지막 줄이다.

C 는 어느 규칙이든 한쪽을 잃는다. 배포 구간에 양쪽에서 같은 세션이 바뀌면 둘 다 살릴 방법은 없다. 구간을 짧게 잡는 것 말고는 답이 없었다.

DUMP 는 한 방향으로만 간다

DUMP 결과에는 RDB 포맷 버전이 들어 있다(끝 10바이트 중 앞 2바이트). 같은 실험에서 찍어 보면 6.2.6 은 9, 7.2.17 은 11 이었다.

6.2.6 → 7.2.17   RESTORE OK
7.2.17 → 6.2.6   ERR DUMP payload version or checksum are wrong

받는 쪽이 보내는 쪽보다 옛 버전이면 실패한다. 즉 이 방법으로는 롤백 방향으로 데이터를 못 돌린다. 롤백은 접속처를 옛 클러스터로 되돌리는 것이고, 그 사이 v2 에만 생긴 세션은 버린다고 미리 정해 두는 게 맞다. 실무의 v2 는 ElastiCache 7.1 이었는데, 7.1 에서 반대 방향은 직접 안 해 봤다. 로컬 OSS 7.2 로 확인한 것이다.

Sidekiq 큐는 「비울 때까지 기다리기」 가 안 된다

처음 쓴 절차서엔 「Sidekiq 을 quiet 로 만들고 큐가 빌 때까지 기다린다」 고 적혀 있었다. 틀렸다. Sidekiq 소스(launcher.rb · manager.rb)를 보면 quiet 는 워커 스레드가 새 잡을 가져가는 걸 멈추게 한다. quiet 하면 큐는 줄지 않는다. 멈춰야 하는 건 들어오는 쪽이다.

게다가 종료할 때 Sidekiq 은 실행 중이던 잡을 큐에 되돌린다(fetch.rb 의 bulk_requeue). 마지막 옛 태스크가 죽는 그 순간에도 옛 큐에 잡이 생길 수 있다. 그래서 비기를 기다리지 않고, 옛 태스크가 다 사라진 뒤 남은 잡을 v2 로 옮겼다. 복사가 아니라 꺼내서 넣기(pop-push)로. 복사하면 옛 워커가 살아 있을 때 같은 잡이 두 번 돈다. 이 부분은 로컬에서 재현하진 않았고 소스로 확인했다.

엔드포인트 이름이 바뀐다

AWS 문서의 예를 그대로 옮기면 이렇다.

전송 암호화 없음   redis-01.7abc2d.0001.usw2.cache.amazonaws.com
전송 암호화 있음   master.ncit.ameaqx.use1.cache.amazonaws.com

0001 같은 노드 번호가 빠지고 앞에 master. 가 붙는다. 읽기용은 replica. 다. 손으로 호스트명을 조립하면 틀린다.

이유는 TLS 인증서다. AWS 문서의 TLS 클라이언트 예제가 호스트 검증에 *.mycluster.fnjyzo.use1.cache.amazonaws.com 을 쓴다. 이름을 전부 클러스터 이름 아래에 모아 와일드카드 한 장으로 받는 구조다. 와일드카드는 딱 한 칸만 맞는다. 로컬에서 같은 꼴의 인증서를 만들어 TLS Redis 에 붙여 봤다.

인증서  *.demo-rg-v2.abc123.use1.cache.amazonaws.com
OK    master.demo-rg-v2.abc123.use1.cache.amazonaws.com
OK    replica.demo-rg-v2.abc123.use1.cache.amazonaws.com
FAIL  demo-rg-v2.abc123.ng.0001.use1.cache.amazonaws.com   (옛 꼴 그대로)
FAIL  master.demo-rg.abc123.use1.cache.amazonaws.com       (-v2 를 빼먹음)

옛 꼴로 이름만 바꿔 넣으면 연결은 되는데 인증서 검증에서 떨어진다. 이름은 terraform 의 primary_endpoint_address 출력을 그대로 앱 설정에 넘기는 게 안전하다. 스킴도 redis:// 가 아니라 rediss:// 다.

진짜 ElastiCache 는 VPC 밖에서 안 닿아서, 실무에선 ECS 에 확인용 태스크를 하나 띄워 접속해 봤다. 하나 더. 전송 암호화를 켜면 클러스터 이름이 들어간 인증서가 공개 Certificate Transparency 로그에 남는다(AWS 문서). 이름에 고객사명 같은 걸 넣지 않는다.

다음에 또 한다면 이 순서로

  • v2 를 다른 이름으로, at-rest · in-transit 둘 다 켜고 만든다. 엔진 버전도 이때 올린다

  • 앱 설정의 Redis 주소는 primary_endpoint_address 출력에서 받는다. rediss://

  • 배포 직전 Phase 1, 직후 Phase 2. Phase 2 는 REPLACE 없이, Phase 1 목록에 없고 v2 에도 없는 키만

  • 큐는 들어오는 쪽을 막거나, 옛 태스크가 다 죽은 뒤 pop-push 로 옮긴다

  • 롤백 = 접속처만 되돌린다. 데이터는 못 돌아간다는 걸 계획서에 적는다

AWS 의 Redis · DB 를 서비스를 멈추지 않고 갈아타야 하는 일이 있다면 https://www.negabaro.com/contact 로 물어봐 주면 좋겠다. 이런 이전 순서를 같이 짜고 리허설하는 일도 한다.

동작 흐름

1

at-rest 암호화는 만들 때만 켤 수 있다 — 기존 클러스터는 옆에 새로 세우고 접속처를 바꾼다

2

Rack expire_after 면 남은 TTL = 마지막 접속 — 최근 7일 세션만 옮기면 된다

3

Phase 2 는 REPLACE 없이, Phase 1 에서 옮긴 목록에 없고 v2 에도 없는 키만 — EXISTS 만 보면 로그아웃한 세션이 되살아난다

4

DUMP 는 옛 버전 → 새 버전만 (6.2.6 RDB 9 → 7.2 RDB 11 OK, 반대는 실패) — 롤백은 접속처만 되돌린다

5

전송 암호화를 켜면 엔드포인트가 master.<이름>.<토큰>… — primary_endpoint_address 를 그대로 쓰고 rediss:// 로

사용 사례

보안 점검에서 「ElastiCache 암호화」 를 지적받아 기존 클러스터에 넣어야 할 때 Redis 에 세션 · Sidekiq 큐가 있는 Rails 앱을 멈추지 않고 새 Redis 로 옮길 때 TLS 를 켠 뒤 Redis 연결이 인증서 검증에서 떨어질 때
← terraform apply 는 성공했는데 AWS 엔 반영이 안 됐다 — ElastiCache 보류 변경과 provider 6.58 의 「No changes」