本文へスキップ
0 views

Transit Gateway経由のNAT Gatewayで接続のタイムアウトを解消する

transit-gateway-nat-gateway-return-route

サマリ

  • Transit Gatewayで複数のVPCの外向きの通信をEgress VPCのNAT Gatewayに集約した構成で、外部への接続がタイムアウトした。
    • spokeのVPC(Egress VPCを利用する側のVPC)のECSのタスクから、Datadogなどの外部のサービスへの接続が確立しなかった。
    • 往路のルートはすべて設定済みだった。
  • NAT Gatewayのサブネットのルートテーブルに、spokeのCIDR宛てのTransit Gatewayへのルートがなかった。
    • このルートがないと応答のパケットは0.0.0.0/0のルートでInternet Gatewayへ転送され、spokeに返送されない。
    • 往路と復路では参照するルートテーブルが異なるので、往路のルートの確認だけでは欠落を発見できない。
  • 復路のルートの追加と、Egress VPCのアタッチメントのアプライアンスモード(1つのフローの往復で同一のAZを使用する設定)の有効化を同時に適用し、接続は回復した。
    • 2つの変更の効果は個別に検証していない。
    • 復路のルートがない状態では、アベイラビリティゾーン(AZ)に関係なくすべての応答が返送されない。

前提となる集約型の外向き通信の構成

Egress VPCによる外向き通信の集約

AWSのホワイトペーパー は、Egress VPCのNAT Gatewayに外向きの通信をTransit Gateway経由で集約する構成を示している。
VPCごとにNAT Gatewayを配置する場合より、NAT Gatewayの数を削減する目的で採用される。
Egress VPCには2種類のサブネットがある。
1つはTransit Gatewayのアタッチメントのネットワークインターフェースを配置するサブネット(以下、TGWのサブネット)である。
もう1つはNAT Gatewayを配置するパブリックのサブネットである。

往路と復路のルートテーブル

パケットの転送先はパケットが通過するサブネットのルートテーブルか、Transit Gatewayのルートテーブルで、宛先に一致するルートから決定される。
Transit Gatewayが参照するのは、パケットの流入元のアタッチメントの 関連付け先のルートテーブル である。

区間 ルートテーブル 必要なルート
往路 1 spokeのサブネット 0.0.0.0/0 → Transit Gateway
往路 2 spokeのアタッチメントの関連付け先のTransit Gatewayのルートテーブル 0.0.0.0/0 → Egress VPCのアタッチメント
往路 3 Egress VPCのTGWのサブネット 0.0.0.0/0 → NAT Gateway
往路 4 NAT Gatewayのサブネット 0.0.0.0/0 → Internet Gateway
復路 1 NAT Gatewayのサブネット spokeのCIDR → Transit Gateway
復路 2 Egress VPCのアタッチメントの関連付け先のTransit Gatewayのルートテーブル spokeのCIDR → spokeのアタッチメント(伝播)

復路の1は往路の4と同じルートテーブルに設定する。
NAT Gateway は応答の宛先をspokeのプライベートIPアドレスに変換してから転送する。
このルートテーブルにspokeのCIDR宛てのルートがない場合、応答は0.0.0.0/0のルートに一致する。
ホワイトペーパーも復路のためにNAT Gatewayのサブネットのルートテーブルへ、spoke宛てのTransit Gatewayへのルートの追加を求めている。

往路と復路のパケットの転送

sequenceDiagram participant T as spokeのタスク participant G as Transit Gateway participant A as Egress VPCの
TGWのサブネット participant N as NAT Gateway participant I as Internet Gateway participant X as 外部のサービス T->>G: 0.0.0.0/0 → Transit Gateway G->>A: 0.0.0.0/0 → Egress VPCのアタッチメント A->>N: 0.0.0.0/0 → NAT Gateway N->>I: 送信元をNAT GatewayのIPアドレスに変換 I->>X: 接続の要求 X->>I: 応答 I->>N: 応答 Note over N: 宛先をspokeのIPアドレスに変換 alt NAT Gatewayのサブネットにspoke宛てのルートがある N->>G: 10.0.0.0/8 → Transit Gateway G->>T: spokeのアタッチメントへ転送 else ルートがない N->>I: 0.0.0.0/0 → Internet Gateway Note over T: 応答が到達せずタイムアウト end

spokeのVPCから外部への接続がタイムアウトした

NAT GatewayはEgress VPCの1つのAZだけに配置し、TGWのサブネットは2つのAZに配置していた。
Transit Gatewayのルートテーブルは、すべてのアタッチメントの関連付け先がデフォルトのルートテーブル1つだった。
spokeのECSのタスクから、Datadogへのログとメトリクスの送信と、Cloudflare Tunnelの接続がタイムアウトした。

適用前のルートは次のとおりだった。

区間 ルートテーブル ルート
往路 1 spokeのサブネット 0.0.0.0/0 → Transit Gateway
往路 2、復路 2 Transit Gatewayのルートテーブル 0.0.0.0/0 → Egress VPCのアタッチメント、spokeのCIDR(伝播)
往路 3 Egress VPCのTGWのサブネット 0.0.0.0/0 → NAT Gateway
往路 4、復路 1 NAT Gatewayのサブネット 0.0.0.0/0 → Internet Gatewayだけ

往路のルートはすべて存在し、復路の1が欠落していた。

NAT Gatewayのサブネットの復路のルートの確認

最初に、NAT Gatewayのサブネットが実際に使用するルートテーブルを特定する。
association.subnet-idのフィルタ の結果は明示的な関連付けだけなので、結果が空の場合はVPCのメインのルートテーブルが使用されている。

aws ec2 describe-route-tables \
  --filters Name=association.subnet-id,Values=<nat-gateway-subnet-id> \
  --query 'RouteTables[].Routes[].[DestinationCidrBlock,GatewayId,TransitGatewayId]' \
  --output table

# 上の結果が空の場合はメインのルートテーブル
aws ec2 describe-route-tables \
  --filters Name=vpc-id,Values=<egress-vpc-id> Name=association.main,Values=true \
  --query 'RouteTables[].Routes[].[DestinationCidrBlock,GatewayId,TransitGatewayId]' \
  --output table

spokeのCIDRを含む宛先のルートの転送先がTransit Gatewayであれば、復路の1は存在する。

Transit Gatewayの側は、Egress VPCのアタッチメントの関連付け先のルートテーブルで、spokeのCIDRの転送先がspokeのアタッチメントであることを確認する。

aws ec2 search-transit-gateway-routes \
  --transit-gateway-route-table-id <egress-attachment-route-table-id> \
  --filters Name=type,Values=static,propagated \
  --query 'Routes[].[DestinationCidrBlock,TransitGatewayAttachments[0].TransitGatewayAttachmentId]' \
  --output table

ルートテーブルに問題がない場合は、 VPC Flow Logs で、NAT Gatewayのネットワークインターフェースに応答のパケットが到達しているかを確認する。
応答がNAT Gatewayにも到達していない場合は、ネットワークACLや外部のサービスの側が原因の候補になり、この記事の対処の対象外である。

復路のルートの追加

既存のNAT Gatewayのサブネットの関連付け先のルートテーブルに、spokeのCIDR宛てのTransit Gatewayへのルートを追加した。
対象のCIDRはすべて10.0.0.0/8の範囲内だったので、追加したルートは1つである。

resource "aws_route_table" "public" {
  vpc_id = aws_vpc.egress.id

  route {
    cidr_block = "0.0.0.0/0"
    gateway_id = aws_internet_gateway.egress.id
  }

  # NAT Gateway からの復路を Transit Gateway へ戻す
  route {
    cidr_block         = "10.0.0.0/8"
    transit_gateway_id = aws_ec2_transit_gateway.shared.id
  }
}

resource "aws_route_table_association" "public" {
  for_each       = aws_subnet.public
  subnet_id      = each.value.id
  route_table_id = aws_route_table.public.id
}

回復の確認

適用後、VPC Flow Logsで送信と応答のパケットがともに許可(ACCEPT)で記録され、Datadogへの送信とCloudflare Tunnelの接続が回復した。

同時に有効にしたアプライアンスモード

アプライアンスモード では、Transit Gatewayが1つのフローの往復で同一のAZのネットワークインターフェースを使用する。
Egress VPCのアタッチメントでは、アプライアンスモードも同時に有効にした。
AWSはNetwork FirewallとNAT GatewayをEgress VPCに配置する集約の構成について、アタッチメントの間でパケットを中継しないので アプライアンスモードは不要 としている。
今回の構成で、アプライアンスモードが回復の要因の1つだったかは不明である。

復路のルートがない状態はAZに関係なくすべての応答を返送できない。

Terraformでのルートの管理の競合

Terraformで同一のルートテーブルのルートを、aws_route_tableのインラインのrouteとaws_routeの両方で管理すると競合し、ルートが上書きされる。
今回もインラインのrouteの追加の後、別のaws_routeで管理していたルートの削除をplanが提示した。
AWS providerのドキュメント はこの併用を禁止しているので、1つのルートテーブルではどちらか一方に統一する。

関連事例

  • セキュリティ診断・対策

    事例:新サービス公開前のセキュリティ診断と修正

    不動産の分野で事業を拡大する会社は、新サービスを公開する前に、悪用されうる脆弱性を解消できました。診断の結果を根拠に取引先へ安全を説明できる状態で、新サービスを公開しています。診断は開発支援会社の KDOT が担当し、修正はサイトによって KDOT と各サイトの開発会社が分担しました。

  • セキュリティ診断・対策

    事例:基盤システムのセキュリティ常時監視と対策

    人材サービスの会社は専門の人材を採用せずに、自社のシステムの安全の状態を把握できるようになりました。同社は業務の基盤システムを開発会社に発注しており、社内にエンジニアはいません。開発支援会社の KDOT はこの開発会社の下で開発に参加し、クラウドの状態を仕組みで常に自動点検する常時監視を、機能の開発と並行して導入しました。そのうえで常時監視が検出した 200件を超える指摘に対応し、件数と対応の計画を開発会社経由で同社に報告しました。監視と対応は現在も KDOT の担当です。

お問い合わせ・ご相談

システム開発、データ活用、プロダクトづくりのことならお気軽にご相談ください。要件が固まる前の整理や、お見積もりだけのご依頼も承ります。