JAWS-UG コンテナ支部 #8

DockerCon 2017 報告 @toricls さん

LINUX KIT

  • Dockerエンジンをどの環境でも動作する為のLinuxサブシステムを集めたツール
  • DOCKER.YMLで定義する(ymlで定義)
  • 全てのサブシステムはコンテナ
  • ポータブルなlinuxサブシステム
  • 動作にはMobyが必要

MOBY PROJECT

  • ビルドツール(makeみたいなもの)。
  • アプリケーションエンジニア、インフラエンジニアには必要ない。
  • 将来的にはDockerバイナリをビルドできるようになる。
  • 従来のDockerはDocker社のものになった。

MULTI STAGE BUILDS

  • build用のコンテナを用意する必要なくなった。

    • Dockerfileでビルドを2つ書く

『Dockerで構成するWebサービス~EmotionTechの場合・増補版~』株式会社Emotion Tech 子安 輝さん

  • EmotionTechのDocker導入から運用までの話
  • ElasticBeanstallkを使用
  • phusionのDockerImageを使用(イメージサイズは大きい)。
  • フロント(angular.js)とバックエンド(Rails)とワーカー(SQS)の3つのコンテナ。テスト環境と本番環境は同じ構成。ローカル環境もだいたい同じ構成。
  • 構築する時に気をつけた事
    • ポリシーを持って構築。
    • 各環境(ローカル、CI)で使えるDockerバージョン
    • Dockerfileのお手本参照するべし(https://github.com/docker-library)
    • ローカル環境を本番環境に近づける
  • 使ってみたら起きたこと
    • rails cで30秒待った
    • CIで使いたいコマンドが使えなかった
    • db:migrateする仕組みがない
    • 環境変数でコンテナの挙動を変えたかった
  • 本稼働してから
    • ビルドがだんだん遅くなる
    • 監視は普通にやれた
    • 内部監視はホストのmackerelエージェント。
    • cronで監視ログをマウントしたVolumeに出力して、ホストのmackerelエージェントが監視している。これでうまくいっている。
    • インスタンスをあえて入れ替えた
  • Tips
    • ローカル環境はdocker-composeで。
    • ローカル環境の初期化/更新のスクリプトを用意。
    • ローカル環境の実行環境はDocker for xxxが主流。
    • GithubTag、Dockerイメージタグ、デプロイバージョン、全て同じ値を使用する。
    • 環境変数は設定出来る箇所は複数可能なのでどこで設定するかを整理しておく。
  • ステージング環境で検証したイメージをそのまま本番環境へデプロイする=ステージング環境から本番まで同じイメージを使用する事。
  • Railsを動作しているRails.envはProductionで動作してて、DBの接続先の変更は環境変数で切替している。

LT kenjiszk さん

  • FiNCでのコンテナの管理方法
  • マイクロサービス化しててAmazonECSで解決
  • Dockerビルド&テストはJenkins
  • ECSのクラスターはDeployTask、Web、Batchの3つで運用
  • jenkinsfileをDirectoryTopに用意しておく

LT hokkai7go さん

LT kuntaroIshiyama さん

LT gavinzhm さん

  • DockerHubの脆弱性について
  • DockerHubのイメージで80%以上は少なくても重大な脆弱性がある
    • CommunityImageが更新されていない(1800+)
    • オフィシャルイメージでも(392)
    • ScanningToolを使用するべき(Clairオススメ)
  • yum update apt-get updateする
  • AplineLinux使う
  • ScanTool使う
  • GolangならFROM scrachがある

LT wata727 さん

続きを読む

[JAWS-UG CLI] CodeBuild: #5 プロジェクトの削除

前提条件

CodeBuildへの権限

CodeBuildに対してフル権限があること。

AWS CLIのバージョン

以下のバージョンで動作確認済

  • AWS CLI 1.11.57
コマンド
aws --version

結果(例):

  aws-cli/1.11.70 Python/2.7.12 Linux/4.4.11-23.53.amzn1.x86_64 botocore/1.5.33

バージョンが古い場合は最新版に更新しましょう。

コマンド
sudo -H pip install -U awscli

0. 準備

まず変数の確認をします。

変数の確認
cat << ETX

        AWS_DEFAULT_PROFILE: (0.1) ${AWS_DEFAULT_PROFILE}
        AWS_DEFAULT_REGION:  (0.2) ${AWS_DEFAULT_REGION}

ETX

結果(例):

  AWS_DEFAULT_PROFILE: (0.1) <CodeBuildにフル権限のあるプロファイル>
  AWS_DEFAULT_REGION:  (0.2) ap-northeast-1

変数が入っていない、適切でない場合は、それぞれの手順番号について作業を
行います。

0.1. プロファイルの指定

プロファイルの一覧を確認します。

コマンド
cat ~/.aws/credentials 
       | grep '[' 
       | sed 's/[//g' | sed 's/]//g'

結果(例):

  iamFull-prjz-mbpr13
  <CodeBuildにフル権限のあるプロファイル>
変数の設定
export AWS_DEFAULT_PROFILE='<CodeBuildにフル権限のあるプロファイル>'

0.2. リージョンの指定

変数の設定
export AWS_DEFAULT_REGION='ap-northeast-1'

最終確認

変数の確認
cat << ETX

        AWS_DEFAULT_PROFILE: (0.1) ${AWS_DEFAULT_PROFILE}
        AWS_DEFAULT_REGION:  (0.2) ${AWS_DEFAULT_REGION}

ETX

結果(例):

  AWS_DEFAULT_PROFILE: (0.1) <CodeBuildにフル権限のあるプロファイル>
  AWS_DEFAULT_REGION:  (0.2) ap-northeast-1

1. 事前作業

1.1. プロジェクト名の指定

変数の設定
CODEB_PROJECT_NAME='codebuild-demo-java-20170417'
変数の設定
ARRAY_CODEB_PROJECT_NAMES="${CODEB_PROJECT_NAME}" 
        && echo ${ARRAY_CODEB_PROJECT_NAMES}
コマンド
aws codebuild batch-get-projects 
        --names "${ARRAY_CODEB_PROJECT_NAMES}"

結果(例):

  {
      "projectsNotFound": [],
      "projects": [
          {
              "name": "codebuild-demo-java-20170417",
              "serviceRole": "arn:aws:iam::XXXXXXXXXXXX:role/hoge",
              "tags": [],
              "artifacts": {
                  "namespaceType": "NONE",
                  "packaging": "NONE",
                  "type": "S3 ",
                  "location": "artifact-20170417-XXXXXXXXXXXX",
                  "name": "codebuild-demo-java-20170417"
              },
              "lastModified": 14xxxxxxxx.000,
              "timeoutInMinutes": 60,
              "created": 14xxxxxxxx.000,
              "environment": {
                  "computeType": "BUILD_GENERAL1_SMALL",
                  "image": "aws/codebuild/java:openjdk-8",
                  "type": "LINUX_CONTAINER",
                  "environmentVariables": []
              },
              "source": {
                  "type": "S3",
                  "location": "src-20170417-XXXXXXXXXXXX/MessageUtil.zip"
              },
              "encryptionKey": "arn:aws:kms:ap-northeast-1:XXXXXXXXXXXX:alias/aws/s3",
              "arn": "arn:aws:codebuild:ap-northeast-1:XXXXXXXXXXXX:project/codebuild-demo-java-20170417",
              "description": "codebuild demo (java)"
          }
      ]
  }

2. プロジェクトの削除

変数の確認
cat << ETX

        CODEB_PROJECT_NAME: ${CODEB_PROJECT_NAME}

ETX
コマンド
aws codebuild delete-project 
        --name ${CODEB_PROJECT_NAME}

結果(例):

  (戻り値なし)

3. 事後作業

同名のプロジェクトの不存在確認します。

コマンド
aws codebuild batch-get-projects 
        --names "${ARRAY_CODEB_PROJECT_NAMES}"

結果(例):

  {
    "projectsNotFound": [
      "codebuild-demo-java-20170417"
    ],
    "projects": []
  }

完了

続きを読む

[JAWS-UG CLI] CodeBuild: #4 ビルドの実行

前提条件

CodeBuildへの権限

CodeBuildに対してフル権限があること。

AWS CLIのバージョン

以下のバージョンで動作確認済

  • AWS CLI 1.11.57
コマンド
aws --version

結果(例):

  aws-cli/1.11.70 Python/2.7.12 Linux/4.4.11-23.53.amzn1.x86_64 botocore/1.5.33

バージョンが古い場合は最新版に更新しましょう。

コマンド
sudo -H pip install -U awscli

0. 準備

まず変数の確認をします。

変数の確認
cat << ETX

        AWS_DEFAULT_PROFILE: (0.1) ${AWS_DEFAULT_PROFILE}
        AWS_DEFAULT_REGION:  (0.2) ${AWS_DEFAULT_REGION}
        CODEB_PROJECT_NAME:  (0.3) ${CODEB_PROJECT_NAME}

ETX

結果(例):

  AWS_DEFAULT_PROFILE: (0.1) <CodeBuildにフル権限のあるプロファイル>
  AWS_DEFAULT_REGION:  (0.2) ap-northeast-1
  CODEB_PROJECT_NAME:  (0.3) codebuild-demo-java-20170417

変数が入っていない、適切でない場合は、それぞれの手順番号について作業を
行います。

0.1. プロファイルの指定

プロファイルの一覧を確認します。

コマンド
cat ~/.aws/credentials 
       | grep '[' 
       | sed 's/[//g' | sed 's/]//g'

結果(例):

  iamFull-prjz-mbpr13
  <CodeBuildにフル権限のあるプロファイル>
変数の設定
export AWS_DEFAULT_PROFILE='<CodeBuildにフル権限のあるプロファイル>'

0.2. リージョンの指定

変数の設定
export AWS_DEFAULT_REGION='ap-northeast-1'

0.3. プロジェクト名の指定

変数の設定
CODEB_PROJECT_NAME='codebuild-demo-java-20170417'

最終確認

変数の確認
cat << ETX

        AWS_DEFAULT_PROFILE: (0.1) ${AWS_DEFAULT_PROFILE}
        AWS_DEFAULT_REGION:  (0.2) ${AWS_DEFAULT_REGION}
        CODEB_PROJECT_NAME:  (0.3) ${CODEB_PROJECT_NAME}

ETX

結果(例):

  AWS_DEFAULT_PROFILE: (0.1) <CodeBuildにフル権限のあるプロファイル>
  AWS_DEFAULT_REGION:  (0.2) ap-northeast-1
  CODEB_PROJECT_NAME:  (0.3) codebuild-demo-java-20170417

1. 事前作業

2. Buildの実行

変数の確認
cat << ETX

        CODEB_PROJECT_NAME: ${CODEB_PROJECT_NAME}

ETX
コマンド
aws codebuild start-build 
        --project-name ${CODEB_PROJECT_NAME}

結果(例):

  {
    "build": {
      "buildComplete": false,
      "initiator": "hoge/hoge-session",
      "artifacts": {
          "location": "arn:aws:s3:::artifact-20170417-XXXXXXXXXXXX/codebuild-demo-java-20170417"
      },
      "projectName": "codebuild-demo-java-20170417",
      "timeoutInMinutes": 60,
      "buildStatus": "IN_PROGRESS",
      "environment": {
          "computeType": "BUILD_GENERAL1_SMALL",
          "image": "aws/codebuild/java:openjdk-8",
          "type": "LINUX_CONTAINER",
          "environmentVariables": []
      },
      "source": {
          "type": "S3",
          "location": "src-20170417-XXXXXXXXXXXX/MessageUtil.zip"
      },
      "currentPhase": "SUBMITTED",
      "startTime": 14xxxxxxxx.000,
      "id": "codebuild-demo-java-20170417:xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
      "arn": "arn:aws:codebuild:ap-northeast-1:XXXXXXXXXXXX:build/codebuild-demo-java-20170417:xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx"
    }
  }

3. 事後作業

3.1. ビルドIDの取得

プロジェクトに存在するビルドのIDを全て取得します。

コマンド
ARRAY_CODEB_BUILD_IDS=$( 
        aws codebuild list-builds-for-project 
          --project-name ${CODEB_PROJECT_NAME} 
          --query 'ids' 
          --output text 
) 
        && echo ${ARRAY_CODEB_BUILD_IDS}

結果(例):

  codebuild-demo-java-20170417:xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx

プロジェクト内のビルドで完了していない(つまり実行中の)もののIDを取得し
ます。

コマンド
CODEB_BUILD_ID=$( 
        aws codebuild batch-get-builds 
          --ids ${ARRAY_CODEB_BUILD_IDS} 
          --query 'builds[?currentPhase != `COMPLETED`].id' 
          --output text 
) 
        && echo ${CODEB_BUILD_ID}

結果(例):

  codebuild-demo-java-20170417:xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx

3.2. ビルドフェイズの確認

コマンド
CODEB_BUILD_PHASE=$( 
        aws codebuild batch-get-builds 
          --ids ${CODEB_BUILD_ID} 
          --query "builds[].currentPhase" 
          --output text 
) 
        && echo ${CODEB_BUILD_PHASE}

結果(例):

  PROVISIONING

3.3. ログの確認

コマンド
LOGS_GROUP_NAME=$( 
        aws codebuild batch-get-builds 
          --ids ${CODEB_BUILD_ID} 
          --query "builds[].logs.groupName" 
          --output text 
) 
        && echo ${LOGS_GROUP_NAME}

結果(例):

  /aws/codebuild/ codebuild-demo-java-20170417
コマンド
LOGS_STREAM_NAME=$( 
        aws codebuild batch-get-builds 
          --ids ${CODEB_BUILD_ID} 
          --query "builds[].logs.streamName" 
          --output text 
) 
        && echo ${LOGS_STREAM_NAME}

結果(例):

  xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
コマンド
aws logs get-log-events 
        --log-group-name ${LOGS_GROUP_NAME} 
        --log-stream-name ${LOGS_STREAM_NAME}

3.4. ビルドフェイズの確認

コマンド
CODEB_BUILD_PHASE=$( 
        aws codebuild batch-get-builds 
          --ids ${CODEB_BUILD_ID} 
          --query "builds[].currentPhase" 
          --output text 
) 
        && echo ${CODEB_BUILD_PHASE}

結果(例):

  COMPLETED

3.5. ビルドステータスの確認

コマンド
CODEB_BUILD_STATUS=$( 
        aws codebuild batch-get-builds 
          --ids ${CODEB_BUILD_ID} 
          --query "builds[].buildStatus" 
          --output text 
) 
        && echo ${CODEB_BUILD_STATUS}

結果(例):

  SUCCEEDED

3.6. View Summarized Build Information

コマンド
aws codebuild batch-get-builds 
        --ids ${CODEB_BUILD_ID}

結果(例):

  {
    "buildsNotFound": [],
    "builds": [
      {
          "buildComplete": true,
          "phases": [
              {
                  "phaseStatus": "SUCCEEDED",
                  "endTime": 14xxxxxxxx.543,
                  "phaseType": "SUBMITTED",
                  "durationInSeconds": 0,
                  "startTime": 14xxxxxxxx.977
              },
              {
                  "contexts": [],
                  "phaseType": "PROVISIONING",
                  "phaseStatus": "SUCCEEDED",
                  "durationInSeconds": 15,
                  "startTime": 14xxxxxxxx.543,
                  "endTime": 14xxxxxxxx.654
              },
              {
                  "contexts": [],
                  "phaseType": "DOWNLOAD_SOURCE",
                  "phaseStatus": "SUCCEEDED",
                  "durationInSeconds": 4,
                  "startTime": 14xxxxxxxx.654,
                  "endTime": 14xxxxxxxx.34
              },
              {
                  "contexts": [],
                  "phaseType": "INSTALL",
                  "phaseStatus": "SUCCEEDED",
                  "durationInSeconds": 0,
                  "startTime": 14xxxxxxxx.34,
                  "endTime": 14xxxxxxxx.454
              },
              {
                  "contexts": [],
                  "phaseType": "PRE_BUILD",
                  "phaseStatus": "SUCCEEDED",
                  "durationInSeconds": 0,
                  "startTime": 14xxxxxxxx.454,
                  "endTime": 14xxxxxxxx.559
              },
              {
                  "contexts": [],
                  "phaseType": "BUILD",
                  "phaseStatus": "SUCCEEDED",
                  "durationInSeconds": 59,
                  "startTime": 14xxxxxxxx.559,
                  "endTime": 14xxxxxxxx.448
              },
              {
                  "contexts": [],
                  "phaseType": "POST_BUILD",
                  "phaseStatus": "SUCCEEDED",
                  "durationInSeconds": 0,
                  "startTime": 14xxxxxxxx.448,
                  "endTime": 14xxxxxxxx.541
              },
              {
                  "contexts": [],
                  "phaseType": "UPLOAD_ARTIFACTS",
                  "phaseStatus": "SUCCEEDED",
                  "durationInSeconds": 0,
                  "startTime": 14xxxxxxxx.541,
                  "endTime": 14xxxxxxxx.329
              },
              {
                  "contexts": [],
                  "phaseType": "FINALIZING",
                  "phaseStatus": "SUCCEEDED",
                  "durationInSeconds": 5,
                  "startTime": 14xxxxxxxx.329,
                  "endTime": 14xxxxxxxx.808
              },
              {
                  "phaseType": "COMPLETED",
                  "startTime": 14xxxxxxxx.808
              }
          ],
          "logs": {
              "groupName": "/aws/codebuild/codebuild-demo-java-20170417",
              "deepLink": "https://console.aws.amazon.com/cloudwatch/home?region=ap-northeast-1#logEvent:group=/aws/codebuild/codebuild-demo-java-20170417;stream=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
              "streamName": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx"
          },
          "artifacts": {
              "location": "arn:aws:s3:::artifact-20170417-XXXXXXXXXXXX/codebuild-demo-java-20170417"
          },
          "projectName": "codebuild-demo-java-20170417",
          "timeoutInMinutes": 60,
          "initiator": "hoge/hoge-session",
          "buildStatus": "SUCCEEDED",
          "environment": {
              "computeType": "BUILD_GENERAL1_SMALL",
              "image": "aws/codebuild/java:openjdk-8",
              "type": "LINUX_CONTAINER",
              "environmentVariables": []
          },
          "source": {
              "type": "S3",
              "location": " src-20170417-XXXXXXXXXXXX /MessageUtil.zip"
          },
          "currentPhase": "COMPLETED",
          "startTime": 14xxxxxxxx.977,
          "endTime": 14xxxxxxxx.808,
          "id": "codebuild-demo-java-20170417:xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
          "arn": "arn:aws:codebuild:ap-northeast-1:XXXXXXXXXXXX:build/codebuild-demo-java-20170417:xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx"
      }
    ]
  }

3.7. Get the Build Output Artifact

コマンド
aws s3 ls s3://${S3_BUCKET_ARTIFACTS} --recursive

結果(例):

  2017-04-1700:01:14       2065 codebuild-demo-java-20170417/target/target/messageUtil-1.0.jar

完了

続きを読む

[JAWS-UG CLI] CodeBuild: #3 buildspecの作成 (Java)

前提条件

S3への権限

S3にオブジェクトを書き込む権限があること。

AWS CLIのバージョン

以下のバージョンで動作確認済

  • AWS CLI 1.11.28
コマンド
aws --version

結果(例):

  aws-cli/1.11.70 Python/2.7.12 Linux/4.4.11-23.53.amzn1.x86_64 botocore/1.5.33

バージョンが古い場合は最新版に更新しましょう。

コマンド
sudo -H pip install -U awscli

0. 準備

まず変数の確認をします。

変数の確認
cat << ETX

        AWS_DEFAULT_PROFILE: (0.1) ${AWS_DEFAULT_PROFILE}
        AWS_DEFAULT_REGION:  (0.2) ${AWS_DEFAULT_REGION}
        S3_BUCKET_NAME       (0.3) ${S3_BUCKET_NAME}
        FILE_ZIP             (0.4) ${FILE_ZIP}
        SNS_TOPIC_NAME       (0.5) ${SNS_TOPIC_NAME}
        DIR_WORK             (0.6) ${DIR_WORK}
        PWD                  (0.7) $(pwd)

ETX

結果(例):

  AWS_DEFAULT_PROFILE: (0.1) <S3にオブジェクトを書き込む権限のあるプロファイル>
  AWS_DEFAULT_REGION:  (0.2) ap-northeast-1
  S3_BUCKET_NAME       (0.3) source-ap-northeast-1-XXXXXXXXXXXX
  FILE_ZIP             (0.4) MessageUtil.zip
  SNS_TOPIC_NAME       (0.5) handson-20170417
  DIR_WORK             (0.6) ${HOME}/src-codebuild-demo-java
  PWD                  (0.7) ${HOME}/src-codebuild-demo-java

変数が入っていない、適切でない場合は、それぞれの手順番号について作業を
行います。

0.1. プロファイルの指定

プロファイルの一覧を確認します。

コマンド
cat ~/.aws/credentials 
       | grep '[' 
       | sed 's/[//g' | sed 's/]//g'

結果(例):

  iamFull-prjz-mbpr13
  <S3にオブジェクトを書き込む権限のあるプロファイル>
変数の設定
export AWS_DEFAULT_PROFILE='<S3にオブジェクトを書き込む権限のあるプロファイル>'

0.2. リージョンの指定

変数の設定
export AWS_DEFAULT_REGION='ap-northeast-1'

0.3. ソースコード用S3バケットの指定

変数の設定
S3_BUCKET_NAME=$( 
        aws s3 ls 
          | grep 'source-ap-northeast-1-' 
          | cut -d ' ' -f3 
) 
        && echo ${S3_BUCKET_NAME}

0.4. ZIPファイル名の指定

変数の設定
FILE_ZIP='MessageUtil.zip'

0.5. 通知用SNSトピックの指定

変数の設定
SNS_TOPIC_PREFIX='handson-'
変数の設定
SNS_TOPIC_ARN=$( 
        aws sns list-topics 
          --query "Topics[?contains(TopicArn, `${SNS_TOPIC_PREFIX}`)].TopicArn" 
          --output text 
) 
        && echo ${SNS_TOPIC_ARN}

結果(例):

  arn:aws:sns:ap-northeast-1:XXXXXXXXXXXX:handson-20170417

0.6. 作業用ディレクトリの指定

変数の設定
DIR_WORK='${HOME}/src-codebuild-demo-java'

0.7. 作業用ディレクトリへの移動

コマンド
cd ${DIR_WORK}/

最終確認

変数の確認
cat << ETX

        AWS_DEFAULT_PROFILE: (0.1) ${AWS_DEFAULT_PROFILE}
        AWS_DEFAULT_REGION:  (0.2) ${AWS_DEFAULT_REGION}
        S3_BUCKET_NAME       (0.3) ${S3_BUCKET_NAME}
        FILE_ZIP             (0.4) ${FILE_ZIP}
        SNS_TOPIC_NAME       (0.5) ${SNS_TOPIC_NAME}
        DIR_WORK             (0.6) ${DIR_WORK}
        PWD                  (0.7) $(pwd)

ETX

結果(例):

  AWS_DEFAULT_PROFILE: (0.1) <S3にオブジェクトを書き込む権限のあるプロファイル>
  AWS_DEFAULT_REGION:  (0.2) ap-northeast-1
  S3_BUCKET_NAME       (0.3) source-ap-northeast-1-XXXXXXXXXXXX
  FILE_ZIP             (0.4) MessageUtil.zip
  SNS_TOPIC_NAME       (0.5) handson-20170417
  DIR_WORK             (0.6) ${HOME}/src-codebuild-demo-java
  PWD                  (0.7) ${HOME}/src-codebuild-demo-java

1. 事前作業

1.1. メッセージ表題の指定

変数の設定
SNS_MSG_SUBJECT='AWS CodeBuild - Build Completed'

1.2. メッセージ本文の指定

変数の設定
SNS_MSG_BODY="${CODEB_PROJECT_NAME} build has completed." 
        && echo ${SNS_MSG_BODY}

2. Create the Build Spec

変数の設定
FILE_INPUT="${DIR_WORK}/buildspec.yml"
変数の確認
cat << ETX

        FILE_INPUT:         ${FILE_INPUT}
        AWS_DEFAULT_REGION: ${AWS_DEFAULT_REGION}
        SNS_TOPIC_ARN:      ${SNS_TOPIC_ARN}
        SNS_MSG_SUBJECT:    ${SNS_MSG_SUBJECT}
        SNS_MSG_BODY:       ${SNS_MSG_BODY}

ETX
コマンド
cat << EOF > ${FILE_INPUT}
version: 0.1

environment_variables:
  plaintext:
    AWS_DEFAULT_REGION: "${AWS_DEFAULT_REGION}"
    SNS_TOPIC_ARN: "${SNS_TOPIC_ARN}"
    SNS_MSG_SUBJECT: "${SNS_MSG_SUBJECT}"
    SNS_MSG_BODY: "${SNS_MSG_BODY}"

phases:
  install:
    commands:
      - echo Nothing to do in the install phase...
  pre_build:
    commands:
      - echo Nothing to do in the pre_build phase...
  build:
    commands:
      - echo Build started on $(date +%Y-%m-%dZ%H:%M:%S)
      - mvn install
  post_build:
    commands:
      - echo Build completed on $(date +%Y-%m-%dZ%H:%M:%S)
      - aws sns publish --topic-arn ${SNS_TOPIC_ARN} --subject "${SNS_MSG_SUBJECT}" --message "${SNS_MSG_BODY}"
artifacts:
  files:
    - target/messageUtil-1.0.jar
EOF

cat ${FILE_INPUT}

2.2. ZIPファイルの作成

コマンド
PATH_ZIP="${HOME}/${FILE_ZIP}" 
        && echo ${PATH_ZIP}
コマンド
zip -r ${PATH_ZIP} * -x '.*'

結果(例):

  adding: buildspec.yml (deflated 56%)
  adding: pom.xml (deflated 52%)
  adding: src/ (stored 0%)
  adding: src/test/ (stored 0%)
  adding: src/test/java/ (stored 0%)
  adding: src/test/java/TestMessageUtil.java (deflated 60%)
  adding: src/main/ (stored 0%)
  adding: src/main/java/ (stored 0%)
  adding: src/main/java/MessageUtil.java (deflated 58%)

作成したZIPファイルの中身を確認します。

コマンド
unzip -Z ${PATH_ZIP}

結果(例):

  Archive:  /home/taro/MessageUtil.zip
  Zip file size: 2305 bytes, number of entries: 9
  -rw-rw-r--  3.0 unx      418 tx defN 17-Apr-16 23:45 buildspec.yml
  -rw-rw-r--  3.0 unx      625 tx defN 17-Apr-16 12:37 pom.xml
  drwxrwxr-x  3.0 unx        0 bx stor 17-Apr-16 12:36 src/
  drwxrwxr-x  3.0 unx        0 bx stor 17-Apr-16 12:36 src/test/
  drwxrwxr-x  3.0 unx        0 bx stor 17-Apr-16 12:37 src/test/java/
  -rw-rw-r--  3.0 unx      568 tx defN 17-Apr-16 12:37 src/test/java/TestMessageUtil.java
  drwxrwxr-x  3.0 unx        0 bx stor 17-Apr-16 12:36 src/main/
  drwxrwxr-x  3.0 unx        0 bx stor 17-Apr-16 12:37 src/main/java/
  -rw-rw-r--  3.0 unx      345 tx defN 17-Apr-16 12:37 src/main/java/MessageUtil.java
  9 files, 1956 bytes uncompressed, 863 bytes compressed:  55.9%

2.3. S3バケットへの転送

作成したZIPファイルをソースファイル用のS3バケットに転送します。

コマンド
aws s3 cp ${PATH_ZIP} s3://${S3_BUCKET_NAME}/

結果(例):

  upload: ../MessageUtil.zip to s3://source-ap-northeast-1-XXXXXXXXXXXX/MessageUtil.zip

3. 事後作業

3.1. 転送完了の確認

コマンド
aws s3 ls s3://${S3_BUCKET_NAME}/${FILE_ZIP}

結果(例):

  2017-04-1701:23:45       3243 MessageUtil.zip

3.2. ZIPファイルの削除

コマンド
rm ${PATH_ZIP}

完了

続きを読む