# Transit Gateway経由のNAT Gatewayで接続のタイムアウトを解消する

## サマリ

- Transit Gatewayで複数のVPCの外向きの通信をEgress VPCのNAT Gatewayに集約した構成で、外部への接続がタイムアウトした。
  - spokeのVPC（Egress VPCを利用する側のVPC）のECSのタスクから、Datadogなどの外部のサービスへの接続が確立しなかった。
  - 往路のルートはすべて設定済みだった。
- NAT Gatewayのサブネットのルートテーブルに、spokeのCIDR宛てのTransit Gatewayへのルートがなかった。
  - このルートがないと応答のパケットは`0.0.0.0/0`のルートでInternet Gatewayへ転送され、spokeに返送されない。
  - 往路と復路では参照するルートテーブルが異なるので、往路のルートの確認だけでは欠落を発見できない。
- 復路のルートの追加と、Egress VPCのアタッチメントのアプライアンスモード（1つのフローの往復で同一のAZを使用する設定）の有効化を同時に適用し、接続は回復した。
  - 2つの変更の効果は個別に検証していない。
  - 復路のルートがない状態では、アベイラビリティゾーン（AZ）に関係なくすべての応答が返送されない。

## 前提となる集約型の外向き通信の構成

### Egress VPCによる外向き通信の集約

[AWSのホワイトペーパー](https://docs.aws.amazon.com/whitepapers/latest/building-scalable-secure-multi-vpc-network-infrastructure/using-nat-gateway-for-centralized-egress.html) は、Egress VPCのNAT Gatewayに外向きの通信をTransit Gateway経由で集約する構成を示している。
VPCごとにNAT Gatewayを配置する場合より、NAT Gatewayの数を削減する目的で採用される。
Egress VPCには2種類のサブネットがある。
1つはTransit Gatewayのアタッチメントのネットワークインターフェースを配置するサブネット（以下、TGWのサブネット）である。
もう1つはNAT Gatewayを配置するパブリックのサブネットである。

### 往路と復路のルートテーブル

パケットの転送先はパケットが通過するサブネットのルートテーブルか、Transit Gatewayのルートテーブルで、宛先に一致するルートから決定される。
Transit Gatewayが参照するのは、パケットの流入元のアタッチメントの [関連付け先のルートテーブル](https://docs.aws.amazon.com/vpc/latest/tgw/tgw-route-tables.html) である。

| 区間 | ルートテーブル | 必要なルート |
| --- | --- | --- |
| 往路 1 | spokeのサブネット | `0.0.0.0/0` → Transit Gateway |
| 往路 2 | spokeのアタッチメントの関連付け先のTransit Gatewayのルートテーブル | `0.0.0.0/0` → Egress VPCのアタッチメント |
| 往路 3 | Egress VPCのTGWのサブネット | `0.0.0.0/0` → NAT Gateway |
| 往路 4 | NAT Gatewayのサブネット | `0.0.0.0/0` → Internet Gateway |
| 復路 1 | NAT Gatewayのサブネット | spokeのCIDR → Transit Gateway |
| 復路 2 | Egress VPCのアタッチメントの関連付け先のTransit Gatewayのルートテーブル | spokeのCIDR → spokeのアタッチメント（伝播） |

復路の1は往路の4と同じルートテーブルに設定する。
[NAT Gateway](https://docs.aws.amazon.com/vpc/latest/userguide/vpc-nat-gateway.html) は応答の宛先をspokeのプライベートIPアドレスに変換してから転送する。
このルートテーブルにspokeのCIDR宛てのルートがない場合、応答は`0.0.0.0/0`のルートに一致する。
ホワイトペーパーも復路のためにNAT Gatewayのサブネットのルートテーブルへ、spoke宛てのTransit Gatewayへのルートの追加を求めている。

## 往路と復路のパケットの転送

```mermaid
sequenceDiagram
  participant T as spokeのタスク
  participant G as Transit Gateway
  participant A as Egress VPCの<br/>TGWのサブネット
  participant N as NAT Gateway
  participant I as Internet Gateway
  participant X as 外部のサービス
  T->>G: 0.0.0.0/0 → Transit Gateway
  G->>A: 0.0.0.0/0 → Egress VPCのアタッチメント
  A->>N: 0.0.0.0/0 → NAT Gateway
  N->>I: 送信元をNAT GatewayのIPアドレスに変換
  I->>X: 接続の要求
  X->>I: 応答
  I->>N: 応答
  Note over N: 宛先をspokeのIPアドレスに変換
  alt NAT Gatewayのサブネットにspoke宛てのルートがある
    N->>G: 10.0.0.0/8 → Transit Gateway
    G->>T: spokeのアタッチメントへ転送
  else ルートがない
    N->>I: 0.0.0.0/0 → Internet Gateway
    Note over T: 応答が到達せずタイムアウト
  end
```

## spokeのVPCから外部への接続がタイムアウトした

NAT GatewayはEgress VPCの1つのAZだけに配置し、TGWのサブネットは2つのAZに配置していた。
Transit Gatewayのルートテーブルは、すべてのアタッチメントの関連付け先がデフォルトのルートテーブル1つだった。
spokeのECSのタスクから、Datadogへのログとメトリクスの送信と、Cloudflare Tunnelの接続がタイムアウトした。

適用前のルートは次のとおりだった。

| 区間 | ルートテーブル | ルート |
| --- | --- | --- |
| 往路 1 | spokeのサブネット | `0.0.0.0/0` → Transit Gateway |
| 往路 2、復路 2 | Transit Gatewayのルートテーブル | `0.0.0.0/0` → Egress VPCのアタッチメント、spokeのCIDR（伝播） |
| 往路 3 | Egress VPCのTGWのサブネット | `0.0.0.0/0` → NAT Gateway |
| 往路 4、復路 1 | NAT Gatewayのサブネット | `0.0.0.0/0` → Internet Gatewayだけ |

往路のルートはすべて存在し、復路の1が欠落していた。

## NAT Gatewayのサブネットの復路のルートの確認

最初に、NAT Gatewayのサブネットが実際に使用するルートテーブルを特定する。
[`association.subnet-id`のフィルタ](https://docs.aws.amazon.com/cli/latest/reference/ec2/describe-route-tables.html) の結果は明示的な関連付けだけなので、結果が空の場合はVPCのメインのルートテーブルが使用されている。

```bash
aws ec2 describe-route-tables \
  --filters Name=association.subnet-id,Values=<nat-gateway-subnet-id> \
  --query 'RouteTables[].Routes[].[DestinationCidrBlock,GatewayId,TransitGatewayId]' \
  --output table

# 上の結果が空の場合はメインのルートテーブル
aws ec2 describe-route-tables \
  --filters Name=vpc-id,Values=<egress-vpc-id> Name=association.main,Values=true \
  --query 'RouteTables[].Routes[].[DestinationCidrBlock,GatewayId,TransitGatewayId]' \
  --output table
```

spokeのCIDRを含む宛先のルートの転送先がTransit Gatewayであれば、復路の1は存在する。

Transit Gatewayの側は、Egress VPCのアタッチメントの関連付け先のルートテーブルで、spokeのCIDRの転送先がspokeのアタッチメントであることを確認する。

```bash
aws ec2 search-transit-gateway-routes \
  --transit-gateway-route-table-id <egress-attachment-route-table-id> \
  --filters Name=type,Values=static,propagated \
  --query 'Routes[].[DestinationCidrBlock,TransitGatewayAttachments[0].TransitGatewayAttachmentId]' \
  --output table
```

ルートテーブルに問題がない場合は、 [VPC Flow Logs](https://docs.aws.amazon.com/vpc/latest/userguide/flow-logs.html) で、NAT Gatewayのネットワークインターフェースに応答のパケットが到達しているかを確認する。
応答がNAT Gatewayにも到達していない場合は、ネットワークACLや外部のサービスの側が原因の候補になり、この記事の対処の対象外である。

## 復路のルートの追加

既存のNAT Gatewayのサブネットの関連付け先のルートテーブルに、spokeのCIDR宛てのTransit Gatewayへのルートを追加した。
対象のCIDRはすべて`10.0.0.0/8`の範囲内だったので、追加したルートは1つである。

```hcl
resource "aws_route_table" "public" {
  vpc_id = aws_vpc.egress.id

  route {
    cidr_block = "0.0.0.0/0"
    gateway_id = aws_internet_gateway.egress.id
  }

  # NAT Gateway からの復路を Transit Gateway へ戻す
  route {
    cidr_block         = "10.0.0.0/8"
    transit_gateway_id = aws_ec2_transit_gateway.shared.id
  }
}

resource "aws_route_table_association" "public" {
  for_each       = aws_subnet.public
  subnet_id      = each.value.id
  route_table_id = aws_route_table.public.id
}
```

### 回復の確認

適用後、VPC Flow Logsで送信と応答のパケットがともに許可（ACCEPT）で記録され、Datadogへの送信とCloudflare Tunnelの接続が回復した。

### 同時に有効にしたアプライアンスモード

[アプライアンスモード](https://docs.aws.amazon.com/vpc/latest/tgw/how-transit-gateways-work.html) では、Transit Gatewayが1つのフローの往復で同一のAZのネットワークインターフェースを使用する。
Egress VPCのアタッチメントでは、アプライアンスモードも同時に有効にした。
AWSはNetwork FirewallとNAT GatewayをEgress VPCに配置する集約の構成について、アタッチメントの間でパケットを中継しないので [アプライアンスモードは不要](https://docs.aws.amazon.com/whitepapers/latest/building-scalable-secure-multi-vpc-network-infrastructure/using-nat-gateway-with-firewall.html) としている。
今回の構成で、アプライアンスモードが回復の要因の1つだったかは不明である。

復路のルートがない状態はAZに関係なくすべての応答を返送できない。

### Terraformでのルートの管理の競合

Terraformで同一のルートテーブルのルートを、`aws_route_table`のインラインの`route`と`aws_route`の両方で管理すると競合し、ルートが上書きされる。
今回もインラインの`route`の追加の後、別の`aws_route`で管理していたルートの削除をplanが提示した。
[AWS providerのドキュメント](https://registry.terraform.io/providers/hashicorp/aws/latest/docs/resources/route_table) はこの併用を禁止しているので、1つのルートテーブルではどちらか一方に統一する。
