Transit Gateway経由のNAT Gatewayで接続のタイムアウトを解消する

サマリ
- Transit Gatewayで複数のVPCの外向きの通信をEgress VPCのNAT Gatewayに集約した構成で、外部への接続がタイムアウトした。
- spokeのVPC(Egress VPCを利用する側のVPC)のECSのタスクから、Datadogなどの外部のサービスへの接続が確立しなかった。
- 往路のルートはすべて設定済みだった。
- NAT Gatewayのサブネットのルートテーブルに、spokeのCIDR宛てのTransit Gatewayへのルートがなかった。
- このルートがないと応答のパケットは
0.0.0.0/0のルートでInternet Gatewayへ転送され、spokeに返送されない。 - 往路と復路では参照するルートテーブルが異なるので、往路のルートの確認だけでは欠落を発見できない。
- このルートがないと応答のパケットは
- 復路のルートの追加と、Egress VPCのアタッチメントのアプライアンスモード(1つのフローの往復で同一のAZを使用する設定)の有効化を同時に適用し、接続は回復した。
- 2つの変更の効果は個別に検証していない。
- 復路のルートがない状態では、アベイラビリティゾーン(AZ)に関係なくすべての応答が返送されない。
前提となる集約型の外向き通信の構成
Egress VPCによる外向き通信の集約
AWSのホワイトペーパー は、Egress VPCのNAT Gatewayに外向きの通信をTransit Gateway経由で集約する構成を示している。
VPCごとにNAT Gatewayを配置する場合より、NAT Gatewayの数を削減する目的で採用される。
Egress VPCには2種類のサブネットがある。
1つはTransit Gatewayのアタッチメントのネットワークインターフェースを配置するサブネット(以下、TGWのサブネット)である。
もう1つはNAT Gatewayを配置するパブリックのサブネットである。
往路と復路のルートテーブル
パケットの転送先はパケットが通過するサブネットのルートテーブルか、Transit Gatewayのルートテーブルで、宛先に一致するルートから決定される。
Transit Gatewayが参照するのは、パケットの流入元のアタッチメントの 関連付け先のルートテーブル である。
| 区間 | ルートテーブル | 必要なルート |
|---|---|---|
| 往路 1 | spokeのサブネット | 0.0.0.0/0 → Transit Gateway |
| 往路 2 | spokeのアタッチメントの関連付け先のTransit Gatewayのルートテーブル | 0.0.0.0/0 → Egress VPCのアタッチメント |
| 往路 3 | Egress VPCのTGWのサブネット | 0.0.0.0/0 → NAT Gateway |
| 往路 4 | NAT Gatewayのサブネット | 0.0.0.0/0 → Internet Gateway |
| 復路 1 | NAT Gatewayのサブネット | spokeのCIDR → Transit Gateway |
| 復路 2 | Egress VPCのアタッチメントの関連付け先のTransit Gatewayのルートテーブル | spokeのCIDR → spokeのアタッチメント(伝播) |
復路の1は往路の4と同じルートテーブルに設定する。
NAT Gateway は応答の宛先をspokeのプライベートIPアドレスに変換してから転送する。
このルートテーブルにspokeのCIDR宛てのルートがない場合、応答は0.0.0.0/0のルートに一致する。
ホワイトペーパーも復路のためにNAT Gatewayのサブネットのルートテーブルへ、spoke宛てのTransit Gatewayへのルートの追加を求めている。
往路と復路のパケットの転送
TGWのサブネット participant N as NAT Gateway participant I as Internet Gateway participant X as 外部のサービス T->>G: 0.0.0.0/0 → Transit Gateway G->>A: 0.0.0.0/0 → Egress VPCのアタッチメント A->>N: 0.0.0.0/0 → NAT Gateway N->>I: 送信元をNAT GatewayのIPアドレスに変換 I->>X: 接続の要求 X->>I: 応答 I->>N: 応答 Note over N: 宛先をspokeのIPアドレスに変換 alt NAT Gatewayのサブネットにspoke宛てのルートがある N->>G: 10.0.0.0/8 → Transit Gateway G->>T: spokeのアタッチメントへ転送 else ルートがない N->>I: 0.0.0.0/0 → Internet Gateway Note over T: 応答が到達せずタイムアウト end
spokeのVPCから外部への接続がタイムアウトした
NAT GatewayはEgress VPCの1つのAZだけに配置し、TGWのサブネットは2つのAZに配置していた。
Transit Gatewayのルートテーブルは、すべてのアタッチメントの関連付け先がデフォルトのルートテーブル1つだった。
spokeのECSのタスクから、Datadogへのログとメトリクスの送信と、Cloudflare Tunnelの接続がタイムアウトした。
適用前のルートは次のとおりだった。
| 区間 | ルートテーブル | ルート |
|---|---|---|
| 往路 1 | spokeのサブネット | 0.0.0.0/0 → Transit Gateway |
| 往路 2、復路 2 | Transit Gatewayのルートテーブル | 0.0.0.0/0 → Egress VPCのアタッチメント、spokeのCIDR(伝播) |
| 往路 3 | Egress VPCのTGWのサブネット | 0.0.0.0/0 → NAT Gateway |
| 往路 4、復路 1 | NAT Gatewayのサブネット | 0.0.0.0/0 → Internet Gatewayだけ |
往路のルートはすべて存在し、復路の1が欠落していた。
NAT Gatewayのサブネットの復路のルートの確認
最初に、NAT Gatewayのサブネットが実際に使用するルートテーブルを特定する。
association.subnet-idのフィルタ の結果は明示的な関連付けだけなので、結果が空の場合はVPCのメインのルートテーブルが使用されている。
aws ec2 describe-route-tables \
--filters Name=association.subnet-id,Values=<nat-gateway-subnet-id> \
--query 'RouteTables[].Routes[].[DestinationCidrBlock,GatewayId,TransitGatewayId]' \
--output table
# 上の結果が空の場合はメインのルートテーブル
aws ec2 describe-route-tables \
--filters Name=vpc-id,Values=<egress-vpc-id> Name=association.main,Values=true \
--query 'RouteTables[].Routes[].[DestinationCidrBlock,GatewayId,TransitGatewayId]' \
--output table
spokeのCIDRを含む宛先のルートの転送先がTransit Gatewayであれば、復路の1は存在する。
Transit Gatewayの側は、Egress VPCのアタッチメントの関連付け先のルートテーブルで、spokeのCIDRの転送先がspokeのアタッチメントであることを確認する。
aws ec2 search-transit-gateway-routes \
--transit-gateway-route-table-id <egress-attachment-route-table-id> \
--filters Name=type,Values=static,propagated \
--query 'Routes[].[DestinationCidrBlock,TransitGatewayAttachments[0].TransitGatewayAttachmentId]' \
--output table
ルートテーブルに問題がない場合は、 VPC Flow Logs で、NAT Gatewayのネットワークインターフェースに応答のパケットが到達しているかを確認する。
応答がNAT Gatewayにも到達していない場合は、ネットワークACLや外部のサービスの側が原因の候補になり、この記事の対処の対象外である。
復路のルートの追加
既存のNAT Gatewayのサブネットの関連付け先のルートテーブルに、spokeのCIDR宛てのTransit Gatewayへのルートを追加した。
対象のCIDRはすべて10.0.0.0/8の範囲内だったので、追加したルートは1つである。
resource "aws_route_table" "public" {
vpc_id = aws_vpc.egress.id
route {
cidr_block = "0.0.0.0/0"
gateway_id = aws_internet_gateway.egress.id
}
# NAT Gateway からの復路を Transit Gateway へ戻す
route {
cidr_block = "10.0.0.0/8"
transit_gateway_id = aws_ec2_transit_gateway.shared.id
}
}
resource "aws_route_table_association" "public" {
for_each = aws_subnet.public
subnet_id = each.value.id
route_table_id = aws_route_table.public.id
}
回復の確認
適用後、VPC Flow Logsで送信と応答のパケットがともに許可(ACCEPT)で記録され、Datadogへの送信とCloudflare Tunnelの接続が回復した。
同時に有効にしたアプライアンスモード
アプライアンスモード では、Transit Gatewayが1つのフローの往復で同一のAZのネットワークインターフェースを使用する。
Egress VPCのアタッチメントでは、アプライアンスモードも同時に有効にした。
AWSはNetwork FirewallとNAT GatewayをEgress VPCに配置する集約の構成について、アタッチメントの間でパケットを中継しないので アプライアンスモードは不要 としている。
今回の構成で、アプライアンスモードが回復の要因の1つだったかは不明である。
復路のルートがない状態はAZに関係なくすべての応答を返送できない。
Terraformでのルートの管理の競合
Terraformで同一のルートテーブルのルートを、aws_route_tableのインラインのrouteとaws_routeの両方で管理すると競合し、ルートが上書きされる。
今回もインラインのrouteの追加の後、別のaws_routeで管理していたルートの削除をplanが提示した。
AWS providerのドキュメント はこの併用を禁止しているので、1つのルートテーブルではどちらか一方に統一する。


