ElastiCacheの暗号化は「有効にする」ではなく「作り直す」 — ログアウトさせずにセッションを移す、DUMPの向き、変わるエンドポイント
保存データの暗号化は作成時にしか有効にできない。-v2を横に立て、セッションを2回に分けて移した。ローカルのRedis 2台でやり直すと、自分たちのコピー規則にも穴がひとつあった
ElastiCache Redisに暗号化を入れる仕事をした。コンソールでチェックをひとつ入れれば済むと思っていたら、結局クラスタを作り直してユーザーのセッションを移す仕事になった。この記事を読むと、なぜ作り直しが要るのか、誰もログアウトさせずにセッションを移す順番、移したあとに変わるエンドポイント名とTLSの確かめ方まで一度にわかる。
ElastiCacheはRedis(Valkey)をAWSが代わりに運用してくれるサービスだ。暗号化は2種類ある。ディスクやバックアップに書かれるデータを守る保存データの暗号化(at-rest)と、アプリとRedisの間の通信をTLSで包む転送中の暗号化(in-transit)。
チェックボックスがない
AWSのドキュメントにそのまま書いてある。at-rest暗号化はreplication groupを作るときにしか有効にできず、変更でオン・オフはできない。既存クラスタに入れるなら、バックアップ → 新しいクラスタに復元 → アプリのエンドポイント差し替え → 古いクラスタ削除、が公式の手順だ。
in-transitはRedis OSS 7以上(Valkey 7.2以上)なら既存クラスタでも変えられる。うちは6.xだった。どのみちat-restのために作り直すので、バージョンも一緒に上げた。
同じ名前で作り直すと、terraformは古いほうを先に消してから新しいほうを作る。名前がぶつかるので2つ同時には置けない。新しいクラスタが立ち上がるまでRedisがいない時間ができる。そこで-v2という別名で横に立て、アプリの接続先を差し替えてローリングデプロイで移った。
空のクラスタに切り替えると全員ログアウト
セッションをRedisに置いていると、空のv2に切り替えた瞬間に全員ログアウトになる。だからDUMPで値を取り出してRESTOREで入れた。残りの寿命はPTTL(ミリ秒単位の残りTTL)で読んで、そのまま付ける。
全部移す必要はなかった。Rackのセッションにexpire_afterがあると、リクエストのたびにセッションを保存し直す。rack-session 2.1.1のソースではforce_options?がexpire_afterを見て、forced_session_update?が真になり毎回commitされる。つまり残りTTLがそのまま最終アクセス時刻になる。
実際に数えると、数万件のうち直近7日に動いたセッションは7分の1ほどだった。残りはブラウザを閉じて去った人の分だ。直近7日分だけを移した。
2回に分けて移す
移している最中も新しいセッションは生まれる。ローリングデプロイ中は旧タスクは旧クラスタに、新タスクはv2に書く。だから2回移す。
Phase 1 デプロイ直前 直近7日のセッションを一括コピー REPLACEしてよい
↓
ローリングデプロイ ← 両側が同時に変わる区間
↓
Phase 2 デプロイ直後 v2に無いものだけ補う
本番ではPhase 1が3秒ほど、Phase 2で補ったのは数十件だった。コピー自体は一瞬なので、急ぐ理由はなかった。
Phase 2の規則をローカルでやり直した
自分たちのPhase 2の規則は「v2にEXISTSならスキップ」だった。正しかったか確かめるため、DockerでRedis 6.2.6(旧側)と7.2.17(v2)を立て、redis-pyで再現した。セッション2万件、expire_afterは14日、最終アクセスは0〜14日前に均等にばらまいた。Phase 1は10,099件で0.26秒(同じMacの中なのでネットワークはない)。
次に、デプロイ区間に起きることを自分で入れた。Aは新タスクでカートを変え、Cは旧タスクで変えた。Eは新タスクでログアウトし、Dは旧タスクで新しくログインした。この状態からPhase 2を3通りに回した結果だ。
A (v2で変更) C (旧側で変更) E (v2でログアウト) D (旧側で新規ログイン)
REPLACE 古い値で上書き 残る 生き返る コピーされる
EXISTSだけ 守られる 失う 生き返る コピーされる
EXISTS + 一覧 守られる 失う 消えたまま コピーされる
REPLACEがだめなのはわかっていた。新しい側の変更を古い値で上書きする。
知らなかったのはEだ。Railsのreset_sessionは古いセッションIDをストアから消して新しいIDを渡す(actionpackのSession#destroy)。v2で消えたキーはEXISTSから見ると「無いもの」なので、Phase 2が旧側からもう一度持ってくる。本人のクッキーはもう新しいIDなので気づかない。でも、ログアウトで死んだはずのセッションIDがTTLが切れるまで生き返っている。クッキーが漏れていた場合に閉じるべき扉がまた開く。
防ぎ方は単純だった。Phase 1で移したキーの一覧を残しておき、Phase 2はその一覧に無いキーだけを見る。表の最後の行だ。
Cはどの規則でも片方を失う。デプロイ区間に両側で同じセッションが変われば、両方は残せない。区間を短くする以外に答えはなかった。
DUMPは一方向にしか通らない
DUMPの結果にはRDBフォーマットのバージョンが入っている(末尾10バイトのうち先頭2バイト)。同じ実験で見ると、6.2.6は9、7.2.17は11だった。
6.2.6 → 7.2.17 RESTORE OK
7.2.17 → 6.2.6 ERR DUMP payload version or checksum are wrong
受け取る側が送る側より古いと失敗する。つまりこの方法ではロールバック方向にデータを戻せない。ロールバックは接続先を旧クラスタに戻すことで、その間にv2にだけできたセッションは捨てると最初に決めておくのがいい。本番のv2はElastiCache 7.1だったが、7.1での逆方向は自分では試していない。確かめたのはローカルのOSS 7.2だ。
Sidekiqのキューは「空になるまで待つ」が成り立たない
最初の手順書には「Sidekiqをquietにしてキューが空になるまで待つ」と書いてあった。誤りだった。Sidekiqのソース(launcher.rb・manager.rb)を見ると、quietはワーカースレッドが新しいjobを取りに行くのを止める。quietするとキューは減らない。止めるべきは流入側だ。
さらにSidekiqは終了時に実行中のjobをキューへ戻す(fetch.rbのbulk_requeue)。最後の旧タスクが死ぬその瞬間にも旧キューにjobが生まれうる。だから空になるのを待たず、旧タスクが全部いなくなってから残ったjobをv2へ移した。コピーではなく取り出して入れる(pop-push)。コピーだと旧ワーカーが生きていたとき同じjobが2回走る。ここはローカルで再現しておらず、ソースで確かめた。
エンドポイント名が変わる
AWSドキュメントの例をそのまま写すとこうなる。
転送中の暗号化なし redis-01.7abc2d.0001.usw2.cache.amazonaws.com
転送中の暗号化あり master.ncit.ameaqx.use1.cache.amazonaws.com
0001のようなノード番号が消えて、頭にmaster.が付く。読み取り用はreplica.だ。ホスト名を手で組み立てると間違える。
理由はTLS証明書だ。AWSドキュメントのTLSクライアント例は、ホスト検証に*.mycluster.fnjyzo.use1.cache.amazonaws.comを使っている。名前を全部クラスタ名の下に集めて、ワイルドカード1枚で受ける作りだ。ワイルドカードはちょうど1ラベルにしか当たらない。ローカルで同じ形の証明書を作り、TLSのRedisにつないでみた。
証明書 *.demo-rg-v2.abc123.use1.cache.amazonaws.com
OK master.demo-rg-v2.abc123.use1.cache.amazonaws.com
OK replica.demo-rg-v2.abc123.use1.cache.amazonaws.com
FAIL demo-rg-v2.abc123.ng.0001.use1.cache.amazonaws.com (旧い形のまま)
FAIL master.demo-rg.abc123.use1.cache.amazonaws.com (-v2を付け忘れ)
旧い形のまま名前だけ差し替えると、接続はできても証明書の検証で落ちる。名前はterraformのprimary_endpoint_addressの出力をそのままアプリの設定に渡すのが安全だ。スキームもredis://ではなくrediss://。
本物のElastiCacheはVPCの外から届かないので、本番ではECSに確認用のタスクを1つ流して接続してみた。もうひとつ。転送中の暗号化を有効にすると、クラスタ名入りの証明書が公開のCertificate Transparencyログに残る(AWSドキュメント)。クラスタ名に顧客名などを入れない。
次にやるならこの順番で
v2を別名で、at-rest・in-transitの両方を有効にして作る。エンジンバージョンもここで上げる
アプリ設定のRedisのアドレスは
primary_endpoint_addressの出力から受け取る。rediss://デプロイ直前にPhase 1、直後にPhase 2。Phase 2はREPLACEなしで、Phase 1の一覧に無く、v2にも無いキーだけ
キューは流入を止めるか、旧タスクが全部いなくなってからpop-pushで移す
ロールバック = 接続先だけ戻す。データは戻せないと計画書に書く
AWSのRedisやDBを、サービスを止めずに乗り換えたいなら https://www.negabaro.com/contact から聞いてほしい。こういう移行の順番を一緒に組んで、リハーサルする仕事もしている。
動作フロー
at-rest暗号化は作成時にしか有効にできない — 既存クラスタは横に新しく立てて接続先を切り替える
Rackのexpire_afterがあれば残りTTL = 最終アクセス — 直近7日のセッションだけ移せばいい
Phase 2はREPLACEなしで、Phase 1の一覧に無くv2にも無いキーだけ — EXISTSだけだとログアウトしたセッションが生き返る
DUMPは古い→新しいだけ(6.2.6 RDB 9 → 7.2 RDB 11はOK、逆は失敗) — ロールバックは接続先だけ戻す
転送中の暗号化でエンドポイントはmaster.<名前>.<トークン>… — primary_endpoint_addressをそのまま使いrediss://で