About

ElastiCacheの暗号化は「有効にする」ではなく「作り直す」 — ログアウトさせずにセッションを移す、DUMPの向き、変わるエンドポイント

保存データの暗号化は作成時にしか有効にできない。-v2を横に立て、セッションを2回に分けて移した。ローカルのRedis 2台でやり直すと、自分たちのコピー規則にも穴がひとつあった

ElastiCache Redisに暗号化を入れる仕事をした。コンソールでチェックをひとつ入れれば済むと思っていたら、結局クラスタを作り直してユーザーのセッションを移す仕事になった。この記事を読むと、なぜ作り直しが要るのか、誰もログアウトさせずにセッションを移す順番、移したあとに変わるエンドポイント名とTLSの確かめ方まで一度にわかる。

ElastiCacheはRedis(Valkey)をAWSが代わりに運用してくれるサービスだ。暗号化は2種類ある。ディスクやバックアップに書かれるデータを守る保存データの暗号化(at-rest)と、アプリとRedisの間の通信をTLSで包む転送中の暗号化(in-transit)。

チェックボックスがない

AWSのドキュメントにそのまま書いてある。at-rest暗号化はreplication groupを作るときにしか有効にできず、変更でオン・オフはできない。既存クラスタに入れるなら、バックアップ → 新しいクラスタに復元 → アプリのエンドポイント差し替え → 古いクラスタ削除、が公式の手順だ。

in-transitはRedis OSS 7以上(Valkey 7.2以上)なら既存クラスタでも変えられる。うちは6.xだった。どのみちat-restのために作り直すので、バージョンも一緒に上げた。

同じ名前で作り直すと、terraformは古いほうを先に消してから新しいほうを作る。名前がぶつかるので2つ同時には置けない。新しいクラスタが立ち上がるまでRedisがいない時間ができる。そこで-v2という別名で横に立て、アプリの接続先を差し替えてローリングデプロイで移った。

1. Phase 1 before the deploy sessions active in the last 7 days only RESTORE ... REPLACE 2. Rolling deploy old tasks write old new tasks write v2 the gap: both sides change at once 3. Phase 2 copy a key only if it is missing on v2 and was not copied in phase 1 no REPLACE 4. Jobs wait until the last old task is gone then pop-push the leftover queue Why "last 7 days" works Rack expire_after rewrites the session on every request, so the remaining TTL tells you when the user was last seen DUMP is one-way 6.2.6 (RDB 9) to 7.2 (RDB 11): OK 7.2 to 6.2.6: payload version error rollback cannot carry v2 data back

空のクラスタに切り替えると全員ログアウト

セッションをRedisに置いていると、空のv2に切り替えた瞬間に全員ログアウトになる。だからDUMPで値を取り出してRESTOREで入れた。残りの寿命はPTTL(ミリ秒単位の残りTTL)で読んで、そのまま付ける。

全部移す必要はなかった。Rackのセッションにexpire_afterがあると、リクエストのたびにセッションを保存し直す。rack-session 2.1.1のソースではforce_options?がexpire_afterを見て、forced_session_update?が真になり毎回commitされる。つまり残りTTLがそのまま最終アクセス時刻になる。

実際に数えると、数万件のうち直近7日に動いたセッションは7分の1ほどだった。残りはブラウザを閉じて去った人の分だ。直近7日分だけを移した。

2回に分けて移す

移している最中も新しいセッションは生まれる。ローリングデプロイ中は旧タスクは旧クラスタに、新タスクはv2に書く。だから2回移す。

Phase 1  デプロイ直前   直近7日のセッションを一括コピー   REPLACEしてよい
         ↓
         ローリングデプロイ                              ← 両側が同時に変わる区間
         ↓
Phase 2  デプロイ直後   v2に無いものだけ補う

本番ではPhase 1が3秒ほど、Phase 2で補ったのは数十件だった。コピー自体は一瞬なので、急ぐ理由はなかった。

Phase 2の規則をローカルでやり直した

自分たちのPhase 2の規則は「v2にEXISTSならスキップ」だった。正しかったか確かめるため、DockerでRedis 6.2.6(旧側)と7.2.17(v2)を立て、redis-pyで再現した。セッション2万件、expire_afterは14日、最終アクセスは0〜14日前に均等にばらまいた。Phase 1は10,099件で0.26秒(同じMacの中なのでネットワークはない)。

次に、デプロイ区間に起きることを自分で入れた。Aは新タスクでカートを変え、Cは旧タスクで変えた。Eは新タスクでログアウトし、Dは旧タスクで新しくログインした。この状態からPhase 2を3通りに回した結果だ。

                  A (v2で変更)     C (旧側で変更)   E (v2でログアウト)   D (旧側で新規ログイン)
REPLACE           古い値で上書き    残る             生き返る             コピーされる
EXISTSだけ        守られる          失う             生き返る             コピーされる
EXISTS + 一覧     守られる          失う             消えたまま           コピーされる

REPLACEがだめなのはわかっていた。新しい側の変更を古い値で上書きする。

知らなかったのはEだ。Railsのreset_sessionは古いセッションIDをストアから消して新しいIDを渡す(actionpackのSession#destroy)。v2で消えたキーはEXISTSから見ると「無いもの」なので、Phase 2が旧側からもう一度持ってくる。本人のクッキーはもう新しいIDなので気づかない。でも、ログアウトで死んだはずのセッションIDがTTLが切れるまで生き返っている。クッキーが漏れていた場合に閉じるべき扉がまた開く。

防ぎ方は単純だった。Phase 1で移したキーの一覧を残しておき、Phase 2はその一覧に無いキーだけを見る。表の最後の行だ。

Cはどの規則でも片方を失う。デプロイ区間に両側で同じセッションが変われば、両方は残せない。区間を短くする以外に答えはなかった。

DUMPは一方向にしか通らない

DUMPの結果にはRDBフォーマットのバージョンが入っている(末尾10バイトのうち先頭2バイト)。同じ実験で見ると、6.2.6は9、7.2.17は11だった。

6.2.6 → 7.2.17   RESTORE OK
7.2.17 → 6.2.6   ERR DUMP payload version or checksum are wrong

受け取る側が送る側より古いと失敗する。つまりこの方法ではロールバック方向にデータを戻せない。ロールバックは接続先を旧クラスタに戻すことで、その間にv2にだけできたセッションは捨てると最初に決めておくのがいい。本番のv2はElastiCache 7.1だったが、7.1での逆方向は自分では試していない。確かめたのはローカルのOSS 7.2だ。

Sidekiqのキューは「空になるまで待つ」が成り立たない

最初の手順書には「Sidekiqをquietにしてキューが空になるまで待つ」と書いてあった。誤りだった。Sidekiqのソース(launcher.rb・manager.rb)を見ると、quietはワーカースレッドが新しいjobを取りに行くのを止める。quietするとキューは減らない。止めるべきは流入側だ。

さらにSidekiqは終了時に実行中のjobをキューへ戻す(fetch.rbのbulk_requeue)。最後の旧タスクが死ぬその瞬間にも旧キューにjobが生まれうる。だから空になるのを待たず、旧タスクが全部いなくなってから残ったjobをv2へ移した。コピーではなく取り出して入れる(pop-push)。コピーだと旧ワーカーが生きていたとき同じjobが2回走る。ここはローカルで再現しておらず、ソースで確かめた。

エンドポイント名が変わる

AWSドキュメントの例をそのまま写すとこうなる。

転送中の暗号化なし   redis-01.7abc2d.0001.usw2.cache.amazonaws.com
転送中の暗号化あり   master.ncit.ameaqx.use1.cache.amazonaws.com

0001のようなノード番号が消えて、頭にmaster.が付く。読み取り用はreplica.だ。ホスト名を手で組み立てると間違える。

理由はTLS証明書だ。AWSドキュメントのTLSクライアント例は、ホスト検証に*.mycluster.fnjyzo.use1.cache.amazonaws.comを使っている。名前を全部クラスタ名の下に集めて、ワイルドカード1枚で受ける作りだ。ワイルドカードはちょうど1ラベルにしか当たらない。ローカルで同じ形の証明書を作り、TLSのRedisにつないでみた。

証明書  *.demo-rg-v2.abc123.use1.cache.amazonaws.com
OK    master.demo-rg-v2.abc123.use1.cache.amazonaws.com
OK    replica.demo-rg-v2.abc123.use1.cache.amazonaws.com
FAIL  demo-rg-v2.abc123.ng.0001.use1.cache.amazonaws.com   (旧い形のまま)
FAIL  master.demo-rg.abc123.use1.cache.amazonaws.com       (-v2を付け忘れ)

旧い形のまま名前だけ差し替えると、接続はできても証明書の検証で落ちる。名前はterraformのprimary_endpoint_addressの出力をそのままアプリの設定に渡すのが安全だ。スキームもredis://ではなくrediss://。

本物のElastiCacheはVPCの外から届かないので、本番ではECSに確認用のタスクを1つ流して接続してみた。もうひとつ。転送中の暗号化を有効にすると、クラスタ名入りの証明書が公開のCertificate Transparencyログに残る(AWSドキュメント)。クラスタ名に顧客名などを入れない。

次にやるならこの順番で

  • v2を別名で、at-rest・in-transitの両方を有効にして作る。エンジンバージョンもここで上げる

  • アプリ設定のRedisのアドレスはprimary_endpoint_addressの出力から受け取る。rediss://

  • デプロイ直前にPhase 1、直後にPhase 2。Phase 2はREPLACEなしで、Phase 1の一覧に無く、v2にも無いキーだけ

  • キューは流入を止めるか、旧タスクが全部いなくなってからpop-pushで移す

  • ロールバック = 接続先だけ戻す。データは戻せないと計画書に書く

AWSのRedisやDBを、サービスを止めずに乗り換えたいなら https://www.negabaro.com/contact から聞いてほしい。こういう移行の順番を一緒に組んで、リハーサルする仕事もしている。

動作フロー

1

at-rest暗号化は作成時にしか有効にできない — 既存クラスタは横に新しく立てて接続先を切り替える

2

Rackのexpire_afterがあれば残りTTL = 最終アクセス — 直近7日のセッションだけ移せばいい

3

Phase 2はREPLACEなしで、Phase 1の一覧に無くv2にも無いキーだけ — EXISTSだけだとログアウトしたセッションが生き返る

4

DUMPは古い→新しいだけ(6.2.6 RDB 9 → 7.2 RDB 11はOK、逆は失敗) — ロールバックは接続先だけ戻す

5

転送中の暗号化でエンドポイントはmaster.<名前>.<トークン>… — primary_endpoint_addressをそのまま使いrediss://で

ユースケース

セキュリティ点検で「ElastiCacheの暗号化」を指摘され、既存クラスタに入れる必要があるとき Redisにセッション・Sidekiqキューを置いたRailsアプリを、止めずに新しいRedisへ移すとき TLSを有効にしたあと、Redisの接続が証明書の検証で落ちるとき
← terraform applyは成功したのにAWSに反映されていない — ElastiCacheの保留変更と、provider 6.58からの「No changes」