ARCのrunnerの起動待ちからDocker-in-Dockerの準備を除外する

サマリ
- ARC(Actions Runner Controller)のDocker-in-Dockerのrunnerで、Nodeに空きがあっても、ジョブ投入から割り当てまでの最小値が17〜18秒だった。
- Dockerを使用しないジョブのラベルでも同じだった。
- 30秒で完了するジョブでは、実行時間の半分以上がこの待機だった。
- runnerのコンテナの起動の前に、externals(actionの実行用のファイル)の複製と、dockerdの準備の判定が直列に実行される。
- Kubernetes 1.29以降で、dindをsidecarとして起動する構成の場合である。
- dockerd自体の起動は1〜3秒で、残りはstartupProbe(コンテナの起動の完了の判定)の間隔による待機と推定した。
- Dockerを使用しないジョブのrunnerからDocker-in-Dockerを除去し、Dockerを使用するrunnerではstartupProbeの判定の間隔を5秒から1秒にした。
背景
組織で共用するself-hosted runnerを、AWS上のk3s(軽量のKubernetes)でARCにより運用していた。
PRの待ち時間の短縮のため、日中はWorker Nodeを事前に起動し、runnerのイメージもWorker NodeのAMI(EC2のインスタンスの起動元のマシンイメージ)に含めていた。
Nodeもイメージも用意済みなので、ジョブの開始はすぐの想定だった。
実際には短いジョブほど起動の待機の比率が高く、事前の起動の効果は限定的だった。
すべてのrunnerのラベルが、Dockerを使用しないジョブのものも含め、Docker-in-Dockerの構成だった。
前提となるPodの起動の仕組み
scale set
scale setはARCがrunnerの群を管理する単位で、runnerのラベル1つに1つ対応する(gha-runner-scale-setのchartを1回インストールすると1つできる)。
runnerのPodの構成(コンテナ、volume、Docker-in-Dockerの有無)はscale setごとの設定で、chartのvaluesに記述する。
ラベルごとに異なる構成のrunnerを用意するためにある。
init container
init containerは、Podのメインのコンテナより前に実行されるコンテナである(ファイルの複製、設定の生成、依存先の待機など)。
Kubernetesは通常のinit containerを 1つずつ順に実行し、完了の後に次を開始する 。
メインのコンテナは通常のinit containerがすべて完了した後に起動する。
その前提となる準備をメインのコンテナのイメージとは別に実行するためにある。
sidecar
sidecarはrestartPolicy: Alwaysを指定したinit containerである。
メインのコンテナと並行して動作し続ける(dockerd、ログの転送、プロキシなど)。
通常のinit containerは完了の後に次のコンテナが開始されるのに対し、sidecarは動作したまま次のコンテナが開始される。
startupProbeのあるsidecarでは、次のコンテナの開始の条件は その判定の成功 である。
startupProbeのないsidecarでは、プロセスの起動が条件になる。
Kubernetes 1.29以降でデフォルトで有効になった。
startupProbe
startupProbeは、コンテナの起動の完了をkubeletが判定する仕組みである(コマンドの実行、HTTPの応答、TCPの接続などで判定する)。
kubeletは startupProbeをperiodSecondsごとに実行し 、成功するまで判定を反復する。
failureThreshold回続けて失敗すると、コンテナを終了させる。
判定はperiodSecondsの間隔で行うので、準備が完了しても、次の判定まで成功と判定されないことがある。
起動に時間のかかるコンテナの起動の完了を判定するためにある。
起動を待機する工程
Nodeに空きがあり、イメージの取得もない状態で、runnerのPodの起動の各工程の所要時間は次の範囲だった。
| 工程 | 所要時間 | Dockerを使用しないジョブでの必要性 |
|---|---|---|
| actionの実行用のファイル(externals、約300MB)の複製 | 3〜5秒 | 不要 |
| dockerdの起動とstartupProbeの判定 | 4〜7秒 | 不要 |
| Podの作成とrunnerの登録 | 8〜11秒 | 必要 |
上の2つは Docker-in-Dockerの構成 のinit containerの工程で、dockerdはsidecarとして起動する。
対象はgha-runner-scale-setのchartの0.12.0以降とKubernetes 1.29以降の組み合わせである。
この組み合わせでcontainerMode.type: dindを指定すると、この構成が追加される。
1つ目のinit-dind-externalsは、runnerのイメージのexternalsのディレクトリを、dockerdと共有する一時volume(emptyDir)へ複製する。
externalsにはactionの実行用のNode.jsなどがある。
job containerの中でactionを実行するときに、dockerdがこのディレクトリをjob containerへmountするためである。
2つ目のdindは、sidecarとしてdockerdを起動し、docker infoのstartupProbeで準備の完了を判定する。
runnerのコンテナはこの2つの工程の完了の後に起動する。
ARCのchartのdindのstartupProbe は、判定の間隔がperiodSeconds: 5、失敗回数の上限がfailureThreshold: 24である。
dockerdの起動自体は1〜3秒で完了していたので、4〜7秒との差はこの判定の間隔による待機と推定した。
chartの0.11.0以前やKubernetes 1.29未満では、dindは通常のコンテナとして追加され、startupProbeもない。
その構成ではこの推定は対象外になる。
各コンテナの開始の時刻はPodのstatusで確認できる。
init-dind-externalsとdindの開始の時刻の差は、複製を含む待機を示す。
dindとrunnerの開始の時刻の差は、dockerdの起動とstartupProbeの判定を含む待機を示す。
kubectl get pod <runner-pod> -n <namespace> -o jsonpath='{range .status.initContainerStatuses[*]}{.name}{" "}{.state.*.startedAt}{"\n"}{end}{range .status.containerStatuses[*]}{.name}{" "}{.state.*.startedAt}{"\n"}{end}'
Dockerを使用しないrunnerからDocker-in-Dockerを除去する
Dockerを使用しないジョブのラベルは、scale setをcontainerModeの指定のない構成にした。
gha-runner-scale-setのchartのvaluesで、templateにrunnerのコンテナのみを定義すると、init-dind-externalsとdindは追加されない。
runnerScaleSetName: <docker-free-label>
# containerMode は指定しない。init-dind-externals と dind は追加されない。
template:
spec:
containers:
- name: runner
image: ghcr.io/actions/actions-runner:latest
# 作業ディレクトリは run.sh のあるディレクトリ
command: ["./run.sh"]
このラベルではcontainer:、services:、Docker action、スクリプトからのdockerを使用するジョブは失敗する。
これらのジョブはDocker-in-Dockerのあるラベルで実行する。
既存のvaluesからvolumeだけを削除し、volumeMountを削除しなかった場合は、Podが存在しないvolumeを参照する。
helmのtemplateの生成は通過するが、Podの作成はAPIサーバーの検証で拒否される。
このラベルがDockerの接続先とsocketを提供していないことは、次のジョブで確認した。
jobs:
docker-free:
runs-on: <docker-free-label>
steps:
- name: Verify Docker is not provided
shell: bash
run: |
set -euo pipefail
test -z "${DOCKER_HOST:-}"
! test -S /var/run/docker.sock
Dockerを使用するrunnerはstartupProbeの間隔を1秒にする
Docker-in-Dockerを維持するラベルでは、startupProbeのperiodSecondsを5から1にした。
failureThresholdは24から120にし、起動の待機の上限(failureThreshold × periodSeconds)の120秒を維持した。
containerMode: dindが追加するコンテナの定義(startupProbeの値を含む)は変更できない。
そのためcontainerModeは指定せず、GitHubのドキュメントのKubernetes 1.29以降のtemplate.spec の全体をtemplateに複製する。
変更するのは次のYAMLに示すdindのstartupProbeの2つの値だけである。
template:
spec:
initContainers:
# init-dind-externals はドキュメントの内容のまま
- name: dind
image: docker:dind
# args、env、securityContext、volumeMounts はドキュメントの内容のまま
restartPolicy: Always
startupProbe:
exec:
command:
- docker
- info
initialDelaySeconds: 0
failureThreshold: 120 # デフォルトは 24
periodSeconds: 1 # デフォルトは 5
# containers(runner)と volumes はドキュメントの内容のまま
runnerのPodの事前起動との併用
runnerのPodを事前に起動しておく方法(minRunners)では、待機中のrunnerで実行されるジョブについて、起動の全工程が待機から除外される。
ただし待機中のPodの分のNodeの容量を常時確保し、Nodeを0台に縮小する時間帯には常駐数を0に再設定する処理が必要になる。
営業時間中だけ1台ずつ常駐させる設定も併用したが、営業時間外のジョブと、常駐のrunnerの補充より前に到着したジョブは、ジョブごとのPodの起動を待機する。
Docker-in-Dockerの除去は、これらのジョブの起動の工程から複製とdockerdの準備を除外する。


