本文へスキップ

ARCのrunnerの起動待ちからDocker-in-Dockerの準備を除外する

arc-runner-dind-startup-latency

サマリ

  • ARC(Actions Runner Controller)のDocker-in-Dockerのrunnerで、Nodeに空きがあっても、ジョブ投入から割り当てまでの最小値が17〜18秒だった。
    • Dockerを使用しないジョブのラベルでも同じだった。
    • 30秒で完了するジョブでは、実行時間の半分以上がこの待機だった。
  • runnerのコンテナの起動の前に、externals(actionの実行用のファイル)の複製と、dockerdの準備の判定が直列に実行される。
    • Kubernetes 1.29以降で、dindをsidecarとして起動する構成の場合である。
    • dockerd自体の起動は1〜3秒で、残りはstartupProbe(コンテナの起動の完了の判定)の間隔による待機と推定した。
  • Dockerを使用しないジョブのrunnerからDocker-in-Dockerを除去し、Dockerを使用するrunnerではstartupProbeの判定の間隔を5秒から1秒にした。

背景

組織で共用するself-hosted runnerを、AWS上のk3s(軽量のKubernetes)でARCにより運用していた。
PRの待ち時間の短縮のため、日中はWorker Nodeを事前に起動し、runnerのイメージもWorker NodeのAMI(EC2のインスタンスの起動元のマシンイメージ)に含めていた。
Nodeもイメージも用意済みなので、ジョブの開始はすぐの想定だった。
実際には短いジョブほど起動の待機の比率が高く、事前の起動の効果は限定的だった。
すべてのrunnerのラベルが、Dockerを使用しないジョブのものも含め、Docker-in-Dockerの構成だった。

前提となるPodの起動の仕組み

scale set

scale setはARCがrunnerの群を管理する単位で、runnerのラベル1つに1つ対応する(gha-runner-scale-setのchartを1回インストールすると1つできる)。
runnerのPodの構成(コンテナ、volume、Docker-in-Dockerの有無)はscale setごとの設定で、chartのvaluesに記述する。
ラベルごとに異なる構成のrunnerを用意するためにある。

init container

init containerは、Podのメインのコンテナより前に実行されるコンテナである(ファイルの複製、設定の生成、依存先の待機など)。
Kubernetesは通常のinit containerを 1つずつ順に実行し、完了の後に次を開始する 。
メインのコンテナは通常のinit containerがすべて完了した後に起動する。
その前提となる準備をメインのコンテナのイメージとは別に実行するためにある。

sidecar

sidecarはrestartPolicy: Alwaysを指定したinit containerである。
メインのコンテナと並行して動作し続ける(dockerd、ログの転送、プロキシなど)。
通常のinit containerは完了の後に次のコンテナが開始されるのに対し、sidecarは動作したまま次のコンテナが開始される。
startupProbeのあるsidecarでは、次のコンテナの開始の条件は その判定の成功 である。
startupProbeのないsidecarでは、プロセスの起動が条件になる。
Kubernetes 1.29以降でデフォルトで有効になった。

startupProbe

startupProbeは、コンテナの起動の完了をkubeletが判定する仕組みである(コマンドの実行、HTTPの応答、TCPの接続などで判定する)。
kubeletは startupProbeをperiodSecondsごとに実行し 、成功するまで判定を反復する。
failureThreshold回続けて失敗すると、コンテナを終了させる。
判定はperiodSecondsの間隔で行うので、準備が完了しても、次の判定まで成功と判定されないことがある。
起動に時間のかかるコンテナの起動の完了を判定するためにある。

起動を待機する工程

Nodeに空きがあり、イメージの取得もない状態で、runnerのPodの起動の各工程の所要時間は次の範囲だった。

工程 所要時間 Dockerを使用しないジョブでの必要性
actionの実行用のファイル(externals、約300MB)の複製 3〜5秒 不要
dockerdの起動とstartupProbeの判定 4〜7秒 不要
Podの作成とrunnerの登録 8〜11秒 必要

上の2つは Docker-in-Dockerの構成 のinit containerの工程で、dockerdはsidecarとして起動する。
対象はgha-runner-scale-setのchartの0.12.0以降とKubernetes 1.29以降の組み合わせである。
この組み合わせでcontainerMode.type: dindを指定すると、この構成が追加される。
1つ目のinit-dind-externalsは、runnerのイメージのexternalsのディレクトリを、dockerdと共有する一時volume(emptyDir)へ複製する。
externalsにはactionの実行用のNode.jsなどがある。
job containerの中でactionを実行するときに、dockerdがこのディレクトリをjob containerへmountするためである。
2つ目のdindは、sidecarとしてdockerdを起動し、docker infoのstartupProbeで準備の完了を判定する。
runnerのコンテナはこの2つの工程の完了の後に起動する。

sequenceDiagram participant K as kubelet participant I as init-dind-externals participant D as dind(sidecar) participant R as runner K->>I: 起動 I->>I: externalsをemptyDirへ複製(3〜5秒) I-->>K: 完了 K->>D: 起動 par D->>D: dockerdを起動(1〜3秒) and loop periodSecondsごと K->>D: startupProbe(docker info) end end D-->>K: docker infoが成功 K->>R: 起動 R->>R: GitHubへ登録してジョブを実行 Note over I,D: Dockerを使用しないジョブでは不要な工程

ARCのchartのdindのstartupProbe は、判定の間隔がperiodSeconds: 5、失敗回数の上限がfailureThreshold: 24である。
dockerdの起動自体は1〜3秒で完了していたので、4〜7秒との差はこの判定の間隔による待機と推定した。
chartの0.11.0以前やKubernetes 1.29未満では、dindは通常のコンテナとして追加され、startupProbeもない。
その構成ではこの推定は対象外になる。

各コンテナの開始の時刻はPodのstatusで確認できる。
init-dind-externalsとdindの開始の時刻の差は、複製を含む待機を示す。
dindとrunnerの開始の時刻の差は、dockerdの起動とstartupProbeの判定を含む待機を示す。

kubectl get pod <runner-pod> -n <namespace> -o jsonpath='{range .status.initContainerStatuses[*]}{.name}{"  "}{.state.*.startedAt}{"\n"}{end}{range .status.containerStatuses[*]}{.name}{"  "}{.state.*.startedAt}{"\n"}{end}'

Dockerを使用しないrunnerからDocker-in-Dockerを除去する

Dockerを使用しないジョブのラベルは、scale setをcontainerModeの指定のない構成にした。
gha-runner-scale-setのchartのvaluesで、templateにrunnerのコンテナのみを定義すると、init-dind-externalsとdindは追加されない。

runnerScaleSetName: <docker-free-label>
# containerMode は指定しない。init-dind-externals と dind は追加されない。
template:
  spec:
    containers:
      - name: runner
        image: ghcr.io/actions/actions-runner:latest
        # 作業ディレクトリは run.sh のあるディレクトリ
        command: ["./run.sh"]

このラベルではcontainer:、services:、Docker action、スクリプトからのdockerを使用するジョブは失敗する。
これらのジョブはDocker-in-Dockerのあるラベルで実行する。

既存のvaluesからvolumeだけを削除し、volumeMountを削除しなかった場合は、Podが存在しないvolumeを参照する。
helmのtemplateの生成は通過するが、Podの作成はAPIサーバーの検証で拒否される。

このラベルがDockerの接続先とsocketを提供していないことは、次のジョブで確認した。

jobs:
  docker-free:
    runs-on: <docker-free-label>
    steps:
      - name: Verify Docker is not provided
        shell: bash
        run: |
          set -euo pipefail
          test -z "${DOCKER_HOST:-}"
          ! test -S /var/run/docker.sock

Dockerを使用するrunnerはstartupProbeの間隔を1秒にする

Docker-in-Dockerを維持するラベルでは、startupProbeのperiodSecondsを5から1にした。
failureThresholdは24から120にし、起動の待機の上限(failureThreshold × periodSeconds)の120秒を維持した。
containerMode: dindが追加するコンテナの定義(startupProbeの値を含む)は変更できない。
そのためcontainerModeは指定せず、GitHubのドキュメントのKubernetes 1.29以降のtemplate.spec の全体をtemplateに複製する。
変更するのは次のYAMLに示すdindのstartupProbeの2つの値だけである。

template:
  spec:
    initContainers:
      # init-dind-externals はドキュメントの内容のまま
      - name: dind
        image: docker:dind
        # args、env、securityContext、volumeMounts はドキュメントの内容のまま
        restartPolicy: Always
        startupProbe:
          exec:
            command:
              - docker
              - info
          initialDelaySeconds: 0
          failureThreshold: 120 # デフォルトは 24
          periodSeconds: 1 # デフォルトは 5
    # containers(runner)と volumes はドキュメントの内容のまま

runnerのPodの事前起動との併用

runnerのPodを事前に起動しておく方法(minRunners)では、待機中のrunnerで実行されるジョブについて、起動の全工程が待機から除外される。
ただし待機中のPodの分のNodeの容量を常時確保し、Nodeを0台に縮小する時間帯には常駐数を0に再設定する処理が必要になる。
営業時間中だけ1台ずつ常駐させる設定も併用したが、営業時間外のジョブと、常駐のrunnerの補充より前に到着したジョブは、ジョブごとのPodの起動を待機する。
Docker-in-Dockerの除去は、これらのジョブの起動の工程から複製とdockerdの準備を除外する。

この記事に出てくる用語

用語集の一覧へ

関連事例

  • セキュリティ診断・対策

    事例:基盤システムのセキュリティ常時監視と対策

    人材サービスの会社は専門の人材を採用せずに、自社のシステムの安全の状態を把握できるようになりました。同社は業務の基盤システムを開発会社に発注しており、社内にエンジニアはいません。開発支援会社の KDOT はこの開発会社の下で開発に参加し、クラウドの状態を仕組みで常に自動点検する常時監視を、機能の開発と並行して導入しました。そのうえで常時監視が検出した 200件を超える指摘に対応し、件数と対応の計画を開発会社経由で同社に報告しました。監視と対応は現在も KDOT の担当です。

  • データ基盤構築 / 技術顧問(技術企業向け)

    事例:効果検証の分析処理基盤

    効果検証を提供する分析会社との取り組みです。同社は分析者の人数に比例してしか売上と利益を伸ばせない事業の形を、効果検証をプロダクトとして提供することで変革しようとしていました。手法とモデルは同社のまま、社内では開発できなかった、データと機械学習の重い推定を製品として動かす仕組みの開発を、開発支援会社の KDOT に任せました。推定を案件ごとの手作業ではなくシステムで実行できるようになったことで、同社は人数に比例しない形で売上と利益を伸ばすことを目指せるようになりました。

お問い合わせ・ご相談

システム開発、データ活用、プロダクトづくりのことならお気軽にご相談ください。要件が固まる前の整理や、お見積もりだけのご依頼も承ります。