ビルドサーバで使うdocker

2014/12/19　shin1x1

DevLove 関西

ビルドサーバで使う Docker

Agenda

(c) 2014 Masashi Shinbara @shin1x1

• 開発構成 • 旧ビルドサーバ（Docker導入前） • 現ビルドサーバ（Docker導入後） • Docker in CI • 運用してみて • まとめ

開発構成


PHPプロジェクト


• Web アプリケーション開発 • PHP / Webサーバ / DB / KVS 等々 • PHPUnit で自動テスト

ビルドサーバ


• Jenkins サーバ • PHPUnit によるテスト実行 • デプロイ [ステージング / 本番] • （カバレッジ計測、静的解析等）

旧ビルドサーバ



構成

Mac

(1) git push

(2) hook

(3) git pull

社内サーバ(4) notification

社内Jenkinsサーバ


• 2009年頃構築 • 複数プロジェクトを管理 • 1サーバに別バージョンのPHPやDBを同居 • ビルドタスクを欲張る（カバレッジ、APIドキュメント、静的解析等）

困っていたこと


• プロジェクト毎の環境構築が面倒（パスやポートを変えて同居）

• トラブルシューティングが面倒 • git push の度にサーバが唸る

現ビルドサーバ



構成

Mac

private repo

(1) git push

ビルドサーバ（さくらVPS）

(2) hook

(3) git pull

(4) docker build & docker run

(5) notification

現Jenkinサーバ


• さくらのVPS（2G）/ 月々1,580円 • Memory: 2GB • CPU: 仮想3Core • HDD: 200GB • CentOS 6.6

構成のポイント


• 外部サーバ、SaaS を利用 • Dockerでビルド環境を構築 • タスクを自動テスト実行に絞る

Docker in CI


Dockerの利用方針


• アプリケーションが動作する環境を 1 コンテナに集約

• Dockerfile を push して、 Jenkins サーバでイメージを生成

• アプリケーションは、ホストからマウントコンテナは、実行環境に徹する


構成

Mac

private repo

(1) git push

CI サーバ（さくらVPS）

(2) hook

(3) git pull

(4) docker build & docker run


Dockerfile

Mac

Dockerfile

private repo


Dockerfile


• Dockerfile とプロビジョンファイルを用意 • プロビジョンには Ansible を利用 • 開発プロジェクトと同じリポジトリで管理

FROM centos:centos6

# Ansible インストール、プロビジョンRUN …

# Supervisor インストールRUN …

# アプリケーションセットアップ、テスト実行CMD …

Dockerfile

FROM centos:centos6

# Ansible インストールRUN …



Dockerfile

CentOS Official Image

FROM centos:centos6




Dockerfile

プロビジョン

FROM centos:centos6




Dockerfile

サービス起動用

FROM centos:centos6




Dockerfile

コンテナ実行コマンド

Ansible


• コンテナにインストール • ローカルコネクションで自身にプロビジョン • playbookやroleを別環境（開発、ステージング等）と共有

• レイヤを節約

RUN rpm -ivh http://ftp.riken.jp/Linux/fedora/epel/6/i386/epel-release-6-8.noarch.rpmRUN yum -y install ansible libselinux-python sudoADD provision /opt/provisionRUN ansible-playbook /opt/provision/docker.yml --connection=local -i /opt/provision/localhost -vv

Ansible


Ansible

Ansibleインストール


Ansible

プロビジョンファイルをインポート


Ansible

ansible-playbook 実行（ローカルコネクション）

Supervisor


• デーモンプロセスを起動（死活監視込） • 1プロセスで、複数のデーモンを起動 • Webサーバ、DB を起動

RUN yum -y install python-setuptoolsRUN easy_install supervisorADD docker/supervisord.conf /etc/supervisord.conf

Supervisor

Supervisor インストール

RUN yum -y install python-setuptoolsRUN easy_install supervisorADD docker/supervisord.conf /etc/supervisord.conf

Supervisor

設定ファイルをインポート

コンテナコマンド


• Supervisor を起動 • composer install（依存解決） • DBマイグレーション • PHPUnit（自動テスト）実行


CMD /usr/bin/supervisord -c /etc/supervisord.conf && \ cd /share && \ /usr/bin/composer install && \ php artisan migrate --env=testing && \ ./vendor/bin/phpunit --log-junit \ /share/reports/junit.xml \ —coverage-html /share/reports/coverage \ —coverage-clover /share/reports/coverage.xml



Supervisor 起動



依存解決



DBマイグレーション



自動テスト実行


Jenkinsで実行

Mac

private repo


docker build && run

Jenkinsで実行


• git pull でリポジトリから Dockerfile 取得 • docker build でイメージ生成 • docker run でコンテナ実行 • 結果レポートを Jenkins で表示

Jenkinsで実行


Jenkinsで実行


sudo docker build -t ${JOB_NAME} .sudo docker run -v ${WORKSPACE}/src:/share ${JOB_NAME}

docker build


• Dockerfile からイメージをビルド • ジョブ名（${JOB_NAME}）をイメージ名に

sudo docker build -t ${JOB_NAME} .

docker run


• 生成したイメージからコンテナ実行 • -v で、アプリケーションディレクトリをマウント

sudo docker run -v ${WORKSPACE}/src:/share ${JOB_NAME}

マウントディレクトリ対応


${WORKSPACE}/src + application_code + build/

/share + application_code + build/

ホスト（Jenkins）コンテナ

アプリケーション





アプリケーションを参照

結果レポート





/share/build/ に結果ログを出力

結果レポート





build/ のログから結果レポート生成

結果レポート


8ヶ月運用してみて


Dockerコンテナの良さ


• プロジェクト毎に独立した環境 • 軽量なので、低スペック機でも利用可能 • 毎回、作って、使って、捨ててなので、管理が楽 • どこでも同じコンテナが作れるので、メンテが楽（boot2docker で検証できる）

突然のテスト失敗


• 開発環境で all green だったテストがこける • なぜか依存解決で失敗 • コンテナから外部へ通信できない＞＜ • docker デーモン再起動で解決

突然のテスト失敗２


• docker デーモン再起動でも復旧せず • yum install でエラー • EPEL の CA証明書の期限切れ • ベースイメージを更新（yum update ca-certificates でも ok）

今後


• ステージングサーバへのコンテナデプロイ • docker コンテナ実行環境はクラウドサービスに任せたい

• コンテナレポジトリも任せたい • 全部自分でやるなら、PaaS の方が楽

まとめ



まとめ

• マルチな環境を同居させるのに便利 • ビルド、ジョブワーカーなど使い捨ての環境なら、実用的

• 常に起動するサービスなら、 docker デーモン運用、デプロイ、監視等々を Dockerクラウドサービスに任せたい

@shin1x1


ビルドサーバで使うdocker

Technology