[AWS ]CloudTrailの証跡ログをAthenaを使ってサクッと解析する[このリソース誰が作ったの?]

コンニチハ、千葉です。 CloudTrailの証跡ログは、マネージメントコンソールから過去90日間のものを検索できますが、90日以前のものは別途S3に保存したファイルを見る必要があります。で、少し前にCloudTrail […] 続きを読む

S3にフラットに配置してしまったログも大丈夫!シンボリックリンクを利用してスキャン範囲を絞ってAthenaからクエリする

西澤です。私のようにHadoop等の利用経験の無い人間が、Athenaを始めて利用する際に敷居が高いのが、パーティションの取り扱いです。先日、下記ブログを書いたところ、新しい学びがあり、他のケースでも活用できないかという […] 続きを読む

S3バケット内のファイル一覧(S3 Inventory)をAthenaを利用して分析する

西澤です。お客様よりお問い合わせをいただき、数千万単位のオブジェクトを配置したS3バケット内に、特定の拡張子のオブジェクトが何点存在するかを簡単に調査する方法について調査する機会がありました。aws s3 lsの結果をg […] 続きを読む

CloudFrontのログをAthenaで読むためにリネームするLambda用Pythonスクリプト書いてみた

こんにちは、臼田です。 皆さんLambdaしていますか? さて、Amazon AthenaでS3に格納されているデータを分析できるようになってから久しいですが、CloudFrontのログを直接参照しようとすると少し問題に […] 続きを読む