Build AWS multi-environments infrastructure with Terraform

Linux & アマゾンウェブサービス Projects for €30 – €250. I looking for DeveOps , Expert in Terraform and AWS serverless (Kinesis, S3, Redshift, EC2 Instances, , Security Group, RDS ) to build AWS infrastructure script. Best regards,… 続きを読む

KinesisとSQSの比較検討のため、Amazon Kinesis Data Streams のチュートリアルをやってみた

モバイルアプリサービス部の五十嵐です。 KinesisとSQSの比較検討のため、Kinesisをより知るために公式のチュートリアルをさわってみました。 前提知識として 前提知識として、ストリームとシャード、プロデューサー […] 続きを読む

MQTTでPublishしてAWS IoTからのKinesis Streamsへ

技術3課の森です。 春の陽気が来たかと思うと雪が降ったりと難しい季節。 新社会人や入学の季節ということで、引っ越しがピークになってきたのではないでしょうか。 引っ越しと言えば、データを送り出すということで、今回は、MQTTでAWS IoTにPublishしたデータをKinesis Streamsに流してみることをしてみました。 続きを読む

AWS Code Build / Pipelineで 攻めのサービス改善

AWS Code Build / Pipelineで 攻めのサービス改善. Twitterでシェア · Facebookでシェア … AWS Black Belt Tech シリーズ 2015 – Amazon Kinesis · 11 userswww.slideshare.net · DB2をAWS上に構築する際のヒント&TIPS · 17 userswww.slideshare.net … 続きを読む

ビッグデータで輝くITスキルは、舞台がクラウドに移るとどう変わるのか? (1/2)

スーレ氏によれば、ビッグデータ開発者には「Python」「Scala」、Javaなどの言語でのプログラミング経験が求められるという。また、Amazon Web Services(AWS)のストリーミングデータをリアルタイム処理する「Amazon Kinesis」やサーバレス処理の「AWS Lambda」などの利用経験もプラスになる。こうしたサービスはマイクロ … 続きを読む

AWS re:Invent 2017 で発表された新サービスと機能 | AWS

AWS re:Invent 2017 で発表された新サービスと機能 | AWS. Amazon Kinesis Video Streams を使用すると、カメラ、RADAR、熱センサー、その他の接続されたデバイス… 続きを表示. Amazon Kinesis Video Streams を使用すると、カメラ、RADAR、熱センサー、その他の接続されたデバイスなどのソースから、機械学習 … 続きを読む

AWS 認定 Proffesional level を大体一ヶ月で取った話

はじめに

  • 去年の7~8月ぐらいにAssociate levelを3つまとめて取って、AWS 認定 Associate level を大体一ヶ月で取った話(https://qiita.com/yutaChaos/items/2b0b8d9bfe76a597953c) という記事を書きました。その記事の続編です。
    そこから続けてProfessionalも取るぞーと思ったのですが、すこしモチベーションが下がってしまい、ちょっと間が空いてしまいましたが、12月にre:Inventに行かせてもらったこともあり、モチベーションが上がったので、今年の1月に Solutions ArchitectDevOps EngineerProfessional Levelを取得しました。ふりかえりのために勉強方法や感想をまとめたいと思います。

AWS経験

  • 前職まではオンプレのみでAWS経験なし。
  • サーバサイドエンジニア(主にPHP,node,java)
  • 今の会社に入って1半年でVPC,EC2,RDS,ELB,S3を業務で使用。SNS,SQS、DynamoDBなどのサービスは触ったことがない。

勉強期間

  • 12月の終わりの正月休みなどを利用しつつ大体2週間程度
  • 通勤でdocumentを読んだり、休みの日は喫茶店で3~4時間程度勉強していました(家だとあまり集中が出来なくて・・・)

試験の難易度について

  • 個人的な印象ですが、難易度は Solutions Architect > DevOps Engineer だと感じました。
  • Proffesional Levelの問題はAssociate levelと比べると機能の暗記というよりもユースケースからベストプラクティスをどう導き出すか?という観点が多かったように思えます。

取得した資格

  • AWS Certified Solutions Architect – Professional 2017/1/9 取得
  • AWS Certified DevOps Engineer – Professional 2017/1/25 取得

学習を始める前の注意

出題範囲と配点をよく確認する。

  • 各認定のページで出題範囲とサンプル問題がダウンロードできるので、出題範囲と配点はよく確認しておく。
  • Associateでもそうでしたが、Professionalでも基本出題範囲と傾向は点数を取るために重要でした。
  • AWSのサービスは大量にあるのでむやみやたらに勉強するときりがない。出題されない部分ばかりを勉強してしまうと悲劇を起こします。(実体験)
  • 資格によって、各分野の採点配分が異なるので重点を置いて、学習する部分も出題範囲を目安にした方がより効率的に学習できると思います。
  • 公式のblack beltでもAWS認定についてのslideがあるのでこちらを確認することもオススメです。

受験メモ

  • 試験のアグリーメントで試験内容のことは細かく書けないので、各試験の受験後のメモを書いておきます。

AWS Certified Solutions Architect 受験メモ

  • Direct Connectが多いように感じた。
  • リアルタイムはとりあえずkinesis
  • STS連携の問題切り分けておいたほうが良い
  • 問題文のうちの2つぐらいは除ける、のこり2つはどちらも可能であるが、どちらのほうが良い。という問題

AWS Certified DevOps Engineer 受験メモ

  • 問題の大半はCloudFormation,Elastic Beanstalk,OpsWorks の出題傾向が多かった。
  • CloudFormationはparamterや機能名が出て来ることも多い。
  • blue-green deploymentsはもっと勉強しておけばよかった。

勉強方法

  • 今回はいくつかの学習サイトやインターネットの記事を参考に勉強することが多かったです。Associateの勉強は完全に日本語オンリーでやっていましたが、Proffesionalだとあまり日本語の情報もなく、途方にくれていた所、英語圏だと結構情報が多かったので問題傾向や学習内容は英語のものを頼る部分が多かった。
  • 基本的な内容はLinux Academy、わからない問題はdocumentとネットで検索してという形が多かったです。

Linux Academy

  • オンライン学習サービスのLinux Academy( https://linuxacademy.com/ )のAWSコースを受講してみました。(多分日本語で出てくるリナックスアカデミーという学校とは別物)
  • AWS Certified Solutions Architect – Professional Level
  • AWS Certified DevOps Engineer – Professional Level
  • Linux Academyのコースは前編英語です。結構細かい所まで解説してくれるので非常に勉強になります。Cloudの勉強としてはクオリティが高く、結構良かった。
  • 反面試験勉強という観点だけで見ると過剰な部分もある。
  • アプリもあって、videoを保存して見ることも出来るので通勤でも使えた。

A Cloud Guru Forums

  • A Cloud Guruというクラウドの普及活動などをしている団体のforumです。(serverlessconfとかでも有名)
  • 各自の試験の質問や報告などが頻繁に投稿されていて、情報を集めるのに便利。
  • https://acloud.guru/forums/home

Jayendra’s Blog

  • Solutions Architect Professionalのサンプル問題や各解説がたくさん載っているブログ、ただ微妙に正解か怪しい問題も結構ある。
  • http://jayendrapatil.com/

meyrick.net

模擬試験

  • Professinalの模擬試験は絶対受けてください!
  • 本番より難易度が高い気がします。私は模擬試験全部落ちたorz
  • 終了後に正答率が出るので自分の傾向を調べられる.

blackbelt

よくある質問

  • 各サービスのよくある質問にあるユースケースは問題に出ることもあるので確認

AWS クラウドサービス活用資料集

  • https://aws.amazon.com/jp/aws-jp-introduction/
  • AWS公式の中で一番情報がまとまっているのはクラウド活用資料集でした。ユースケースや各オンラインセミナーへのリンクがまとまっています。

公式トレーニング

  • 私は受けたことがありませんが、AWS公式のトレーニングコースがあってもし会社が出してくれたり、余裕があれば受けてみることをおすすめします。

受験

受験方法

  • 2017年の9月からAWSの試験業者がPSIに変更され、受験方法が少し変わりました。テストセンターで受験することはかわらないのですが、kiosk端末で受けてWebカメラで監視されつつ、チャットで指示を受けつつ受験する形です。
  • 今までより試験会場と試験時間が減っているので早めに予約をしたほうがよいと思います。
  • 例外で東京の場合はテンプル大学の場合はkiosk端末ではなく、今までと同じPCだけで受験出来るようになっているので、監視とかが気になる方にはおすすめです。

受験時

  • professionalは80問と問題数も多いので、制限時間170分内に全ての問題を終わらせるためには一問あたり最大2分で終わらせないといけないので、わからない問題にはチェックをつけて、後で回答するようにする心構えぐらいで受けたほうが良い。

さいごに

  • とりあえずAWSの基本の5種が制覇出来たのですごくうれしい!
  • 次はAWS specialityか、Azure or GCPの他のクラウドベンダーの知識もつけていきたい。

続きを読む

AWS S3勉強まとめ

ブロックストレージ
EBS, インスタンスストア
→EC2にマウントして活用
→Block番号で管理

オブジェクトストレージ
S3, Glacier
→安価かつ高い耐久性を持つオンラインストレージ
→オブジェクト、それに付随するメタデータ、そのオブジェクトにアクセスするためのユニークなIDで構成

ファイルストレージ
EFS
→EC2から同時マウントできる共有ストレージサービス
→ファイルシステム

・S3特徴
→容量無制限、安価なストレージ(1GB3円)、データ容量に依存しない性能(RAIDやサーバー台数を考える必要なし)

・S3用途
①コンテンツ配信、保管サーバ
②ログ&データハブストレージ
③バックアップやDR

バケット
オブジェクトの保存場所。デフォルト100個/1アカウントまで作成可能。名前はグローバルでユニークな必要あり。
オブジェクト
データ本体。URLが付与される
キー
オブジェクトの格納URL
メタデータ
オブジェクトに付随する属性情報。システム定義メタデータ、ユーザ定義メタデータあり
リージョン
バケットを配置するAWSのロケーション
アクセスコントロールリスト(ACL)
バケットやオブジェクトのアクセス管理

・ストレージクラス
スタンダード
標準低頻度アクセスストレージ:スタンダードに比べて安価だが、データの読出し容量に対して課金
Glacier:最も低コスト。データの取り出しにコストと時間
低冗長化ストレージ:Glacierから取り出したデータの置き場所として利用

結果整合性(Eventual Consistency Readモデル)
「更新はそのうち全体に反映される」
読み取り一貫性
– あるトランザクションがデータを変更中のとき、ほかのトランザクションからは変更される前のデータを参照します。
– ほかのトランザクションからは変更前の確定されたデータを参照します。
– あるユーザーAが値をUPDATEしたとき、ユーザーBがそのデータを参照すると、戻ってくる値はUPDATE前の値となります。
– あるトランザクションで変更した確定前のデータをほかのトランザクションから参照することはできません。

・パソコンのファイルシステムやデータベースと同じようにロックやトランザクション処理は行われない
参考URL:https://dev.classmethod.jp/cloud/amazon-s3-eventually-consistent-and-consistent-read/

・アクセス管理
①ユーザポリシー
→IAMuserに対して権限設定
②バケットポリシー
→バケットごとに権限設定。クロスアカウントで使用する際など
③ACL
→バケット、オブジェクトごとに指定可能(オブジェクトACLが優先)

署名付きURL
AWS SDKで作成。S3のプライベートなオブジェクトに対して一定時間アクセスを許可

・Webサイトホスティング機能
静的なWebサイトをS3のみでホスティング可能
– バケット単位で指定
– 独自ドメインの設定→ドメイン名をバケット名として指定
– リダイレクト機能→任意のドメインにリダイレクト設定が可能
CloudFrontとの経由で配信することを推奨。バケットポリシーでHTTP/HTTPSリクエストのみを許可可能

VPCエンドポイント
プライベートサブネットからNATゲートウェイなどを経由せずに直接S3とセキュアに通信可能
同一リージョンのみ

S3 support for IPv6
追加費用なし
静的ウェブホスティングは使用不可

・暗号化
– サーバーサイド暗号化(サーバリソースを利用して格納データの暗号化)
– クライアントサイド暗号化(クライアント側で暗号化したデータをS3にアップロード)

クロスリージョンレプリケーション
異なるリージョン間のS3バケットオブジェクトのレプリケーションを実施
→オブジェクトに対する動作を非同期でレプリケーション
→対象元バケットはバージョニングの機能を有効にする必要あり
※リージョン間データ転送費用が発生

バージョン管理機能
誤操作による削除対策に有効
バケットに対して設定
任意のオブジェクトを参照可能
バージョニングのオブジェクト分も課金。保存期間も指定可能

ライプサイクル管理
バケット内のオブジェクトに対して、ストレージクラスの変更や、削除処理の自動化
データ登録→Standard保存(一定期間過ぎたら削除)→Standard-IA移動(一定期間過ぎたら削除)→Glacierにアーカイブ(一定期間過ぎたら削除)

・アーカイブ
S3上のデータを削除でGlacier側のデータも削除
S3には8KBのオブジェクト名とメタデータのみ保管

・復元
オブジェクトごと
一時的にS3の低冗長化ストレージに指定日数複製(Glacierと低冗長化ストレージ両方課金)
復元にかかる時間の選択肢は3つ
①Expedited:緊急のアクセス
②Standard:3-5時間。標準的
③Bulk:大量のデータ。5-12時間
それぞれによってコストが異なる

・オブジェクト移動
Standard⇔Standard-IA→Glacier
→Glacier

S3分析
Standard-IAとGlacierどちらにいつ移動すればいいだろうかという疑問に答える可視化ツール
→ライフサイクルポリシーの設定値の参考になる

S3インベントリ
S3のオブジェクトのリストを一気にcsvファイルで取得
スケジュールかも可能

・イベント通知
SNS:メール送信
SQS:キューメッセージの登録
Lambda:ファンクションの実行

・CloudWatchによる監視
ストレージメトリクス:バケット単位。1日単位でのレポート。追加費用なし
リクエストメトリクス:オブジェクト単位。通常のCloudWatch料金

CloudTrailによるAPI(操作ログ。Get, Delete, Putなど)管理
S3への操作ログを収集
監査対象とは別のS3バケットの用意推奨

Logging
バケットに対するアクセスログの出力設定可能

Tag管理
バケット/オブジェクトに対してタグの指定可能

・パフォーマンスの最適化
大きなサイズのファイルをアップロード、ダウンロード
RANGE GETを活用。マルチパートアップロード機能
大量のGETリクエストが発生する場合はCloudFrontを併用することを推奨

Transfer Acceleration(高速ファイル転送サービス)
AWSのエッジネットワークから最適化されたAWSのネットワークを経由する。
S3のデータ転送コストとは別に加算
※通常の転送より高速でない場合は、課金されない

コンテンツ配信サーバ
データをS3に配置、CloudFrontでキャッシュさせる
CloudFrontで静的コンテンツ配信。CloudFrontの料金はかからない
Webサーバーで動的コンテンツは処理

ログ&データハブストレージ
オンプレ:Direct Connectでログデータ収集
外部データソース;Kinesisで収集
AWS;S3に保管。Glacierにアーカイブ
分析:Redshift, EMR, Atenaなど

バックアップ、DR
クロスリージョンでデータの複製を保持
リージョン内でもDR設定

参考URL:https://www.slideshare.net/AmazonWebServicesJapan/aws-black-belt-online-seminar-2017-amazon-s3

続きを読む

Optimize Delivery of Trending, Personalized News Using Amazon Kinesis and Related Services

この記事に対して4件のコメントがあります。コメントは「小出さんだ!」、「グノシーさんの事例がグローバル!」、「AWSのマネージドサービス超活用事例」、「小出スペシャルの解説がAWS公式ブログに!」です。 続きを読む