# ARCのrunnerの起動待ちからDocker-in-Dockerの準備を除外する

## サマリ

- ARC（Actions Runner Controller）のDocker-in-Dockerのrunnerで、Nodeに空きがあっても、ジョブ投入から割り当てまでの最小値が17〜18秒だった。
  - Dockerを使用しないジョブのラベルでも同じだった。
  - 30秒で完了するジョブでは、実行時間の半分以上がこの待機だった。
- runnerのコンテナの起動の前に、externals（actionの実行用のファイル）の複製と、dockerdの準備の判定が直列に実行される。
  - Kubernetes 1.29以降で、dindをsidecarとして起動する構成の場合である。
  - dockerd自体の起動は1〜3秒で、残りはstartupProbe（コンテナの起動の完了の判定）の間隔による待機と推定した。
- Dockerを使用しないジョブのrunnerからDocker-in-Dockerを除去し、Dockerを使用するrunnerではstartupProbeの判定の間隔を5秒から1秒にした。

## 背景

組織で共用するself-hosted runnerを、AWS上のk3s（軽量のKubernetes）でARCにより運用していた。
PRの待ち時間の短縮のため、日中はWorker Nodeを事前に起動し、runnerのイメージもWorker NodeのAMI（EC2のインスタンスの起動元のマシンイメージ）に含めていた。
Nodeもイメージも用意済みなので、ジョブの開始はすぐの想定だった。
実際には短いジョブほど起動の待機の比率が高く、事前の起動の効果は限定的だった。
すべてのrunnerのラベルが、Dockerを使用しないジョブのものも含め、Docker-in-Dockerの構成だった。

## 前提となるPodの起動の仕組み

### scale set

scale setはARCがrunnerの群を管理する単位で、runnerのラベル1つに1つ対応する（gha-runner-scale-setのchartを1回インストールすると1つできる）。
runnerのPodの構成（コンテナ、volume、Docker-in-Dockerの有無）はscale setごとの設定で、chartのvaluesに記述する。
ラベルごとに異なる構成のrunnerを用意するためにある。

### init container

init containerは、Podのメインのコンテナより前に実行されるコンテナである（ファイルの複製、設定の生成、依存先の待機など）。
Kubernetesは通常のinit containerを [1つずつ順に実行し、完了の後に次を開始する](https://kubernetes.io/docs/concepts/workloads/pods/init-containers/) 。
メインのコンテナは通常のinit containerがすべて完了した後に起動する。
その前提となる準備をメインのコンテナのイメージとは別に実行するためにある。

### sidecar

sidecarは`restartPolicy: Always`を指定したinit containerである。
メインのコンテナと並行して動作し続ける（dockerd、ログの転送、プロキシなど）。
通常のinit containerは完了の後に次のコンテナが開始されるのに対し、sidecarは動作したまま次のコンテナが開始される。
startupProbeのあるsidecarでは、次のコンテナの開始の条件は [その判定の成功](https://kubernetes.io/docs/concepts/workloads/pods/sidecar-containers/#sidecar-containers-and-pod-lifecycle) である。
startupProbeのないsidecarでは、プロセスの起動が条件になる。
Kubernetes 1.29以降でデフォルトで有効になった。

### startupProbe

startupProbeは、コンテナの起動の完了をkubeletが判定する仕組みである（コマンドの実行、HTTPの応答、TCPの接続などで判定する）。
kubeletは [startupProbeを`periodSeconds`ごとに実行し](https://kubernetes.io/docs/tasks/configure-pod-container/configure-liveness-readiness-startup-probes/#define-startup-probes) 、成功するまで判定を反復する。
`failureThreshold`回続けて失敗すると、コンテナを終了させる。
判定は`periodSeconds`の間隔で行うので、準備が完了しても、次の判定まで成功と判定されないことがある。
起動に時間のかかるコンテナの起動の完了を判定するためにある。

## 起動を待機する工程

Nodeに空きがあり、イメージの取得もない状態で、runnerのPodの起動の各工程の所要時間は次の範囲だった。

| 工程 | 所要時間 | Dockerを使用しないジョブでの必要性 |
| --- | --- | --- |
| actionの実行用のファイル（externals、約300MB）の複製 | 3〜5秒 | 不要 |
| dockerdの起動とstartupProbeの判定 | 4〜7秒 | 不要 |
| Podの作成とrunnerの登録 | 8〜11秒 | 必要 |

上の2つは [Docker-in-Dockerの構成](https://docs.github.com/en/actions/tutorials/use-actions-runner-controller/deploy-runner-scale-sets#using-docker-in-docker-mode) のinit containerの工程で、dockerdはsidecarとして起動する。
対象はgha-runner-scale-setのchartの0.12.0以降とKubernetes 1.29以降の組み合わせである。
この組み合わせで`containerMode.type: dind`を指定すると、この構成が追加される。
1つ目の`init-dind-externals`は、runnerのイメージの`externals`のディレクトリを、dockerdと共有する一時volume（emptyDir）へ複製する。
`externals`にはactionの実行用のNode.jsなどがある。
job containerの中でactionを実行するときに、dockerdがこのディレクトリをjob containerへmountするためである。
2つ目の`dind`は、sidecarとしてdockerdを起動し、`docker info`のstartupProbeで準備の完了を判定する。
runnerのコンテナはこの2つの工程の完了の後に起動する。

```mermaid
sequenceDiagram
  participant K as kubelet
  participant I as init-dind-externals
  participant D as dind（sidecar）
  participant R as runner
  K->>I: 起動
  I->>I: externalsをemptyDirへ複製（3〜5秒）
  I-->>K: 完了
  K->>D: 起動
  par
    D->>D: dockerdを起動（1〜3秒）
  and
    loop periodSecondsごと
      K->>D: startupProbe（docker info）
    end
  end
  D-->>K: docker infoが成功
  K->>R: 起動
  R->>R: GitHubへ登録してジョブを実行
  Note over I,D: Dockerを使用しないジョブでは不要な工程
```

[ARCのchartのdindのstartupProbe](https://github.com/actions/actions-runner-controller/blob/master/charts/gha-runner-scale-set/templates/_helpers.tpl) は、判定の間隔が`periodSeconds: 5`、失敗回数の上限が`failureThreshold: 24`である。
dockerdの起動自体は1〜3秒で完了していたので、4〜7秒との差はこの判定の間隔による待機と推定した。
chartの0.11.0以前やKubernetes 1.29未満では、dindは通常のコンテナとして追加され、startupProbeもない。
その構成ではこの推定は対象外になる。

各コンテナの開始の時刻はPodの`status`で確認できる。
init-dind-externalsとdindの開始の時刻の差は、複製を含む待機を示す。
dindとrunnerの開始の時刻の差は、dockerdの起動とstartupProbeの判定を含む待機を示す。

```bash
kubectl get pod <runner-pod> -n <namespace> -o jsonpath='{range .status.initContainerStatuses[*]}{.name}{"  "}{.state.*.startedAt}{"\n"}{end}{range .status.containerStatuses[*]}{.name}{"  "}{.state.*.startedAt}{"\n"}{end}'
```

## Dockerを使用しないrunnerからDocker-in-Dockerを除去する

Dockerを使用しないジョブのラベルは、scale setを`containerMode`の指定のない構成にした。
gha-runner-scale-setのchartのvaluesで、`template`にrunnerのコンテナのみを定義すると、init-dind-externalsとdindは追加されない。

```yaml
runnerScaleSetName: <docker-free-label>
# containerMode は指定しない。init-dind-externals と dind は追加されない。
template:
  spec:
    containers:
      - name: runner
        image: ghcr.io/actions/actions-runner:latest
        # 作業ディレクトリは run.sh のあるディレクトリ
        command: ["./run.sh"]
```

このラベルでは`container:`、`services:`、Docker action、スクリプトからのdockerを使用するジョブは失敗する。
これらのジョブはDocker-in-Dockerのあるラベルで実行する。

既存のvaluesからvolumeだけを削除し、volumeMountを削除しなかった場合は、Podが存在しないvolumeを参照する。
helmのtemplateの生成は通過するが、Podの作成はAPIサーバーの検証で拒否される。

このラベルがDockerの接続先とsocketを提供していないことは、次のジョブで確認した。

```yaml
jobs:
  docker-free:
    runs-on: <docker-free-label>
    steps:
      - name: Verify Docker is not provided
        shell: bash
        run: |
          set -euo pipefail
          test -z "${DOCKER_HOST:-}"
          ! test -S /var/run/docker.sock
```

## Dockerを使用するrunnerはstartupProbeの間隔を1秒にする

Docker-in-Dockerを維持するラベルでは、startupProbeの`periodSeconds`を5から1にした。
`failureThreshold`は24から120にし、起動の待機の上限（`failureThreshold` × `periodSeconds`）の120秒を維持した。
`containerMode: dind`が追加するコンテナの定義（startupProbeの値を含む）は変更できない。
そのため`containerMode`は指定せず、[GitHubのドキュメントのKubernetes 1.29以降の`template.spec`](https://docs.github.com/en/actions/tutorials/use-actions-runner-controller/deploy-runner-scale-sets#using-docker-in-docker-mode) の全体を`template`に複製する。
変更するのは次のYAMLに示すdindのstartupProbeの2つの値だけである。

```yaml
template:
  spec:
    initContainers:
      # init-dind-externals はドキュメントの内容のまま
      - name: dind
        image: docker:dind
        # args、env、securityContext、volumeMounts はドキュメントの内容のまま
        restartPolicy: Always
        startupProbe:
          exec:
            command:
              - docker
              - info
          initialDelaySeconds: 0
          failureThreshold: 120 # デフォルトは 24
          periodSeconds: 1 # デフォルトは 5
    # containers（runner）と volumes はドキュメントの内容のまま
```

## runnerのPodの事前起動との併用

runnerのPodを事前に起動しておく方法（`minRunners`）では、待機中のrunnerで実行されるジョブについて、起動の全工程が待機から除外される。
ただし待機中のPodの分のNodeの容量を常時確保し、Nodeを0台に縮小する時間帯には常駐数を0に再設定する処理が必要になる。
営業時間中だけ1台ずつ常駐させる設定も併用したが、営業時間外のジョブと、常駐のrunnerの補充より前に到着したジョブは、ジョブごとのPodの起動を待機する。
Docker-in-Dockerの除去は、これらのジョブの起動の工程から複製とdockerdの準備を除外する。
