• Amazon Kinesis Firehoseを使うと、手軽にストリーミングデータをロードが出来ます
  • AWS Lambdaを使ってシステムを構築すると、Kinesisを効果的に利用出来ます

 

Amazon Kinesis Firehoseを用いたシステム構成

Kinesis使ったシステムのデザインパターンは複数ありますが、最も手軽にストリーミングデータをロード出来るのがAmazon Kinesis Firehoseを利用する方法です。

Amazon Kinesis Firehoseを使えば、AWS マネジメントコンソールを使って簡単に

・Amazon S3
・Amazon Redshift
・Amazon Elasticsearch Service

にストリームを配信する事が出来ます

ストリームの送信先に、

・Amazon S3 バケット
・Amazon Redshift テーブル
・Amazon Elasticsearch ドメイン

を設定する事が出来ます。

 

 

 

 

AWS Lambdaを用いたシステム構成

AWS Lambdaを使ってシステムを構築すると、Kinesisを効果的に利用出来ます。

AWS Lambda は定期的にストリームをポーリングして、新しいレコードを検出し、Lambd関数によってAmazon Kinesisストリームからレコード読み取込み、データの処理を行います。

具体的な処理の流れは、次のようになります。
・Kinesisのストリームにレコードが書き込まれます
・ストリームをポーリングしているAWS Lambdaが、新しレコードを検出するとLambda 関数が呼び出されます
・Lambda 関数が実行されて、レコードを読み込んで処理します

 

 

 

 

Amazon Kinesisアプリケーションを構築する

既存のAWSを利用する事でKinesisを使ったシステムを構築出来ますが、

・Amazon Kinesis API
・Amazon Kinesis Client Library (KCL)

などを使用して、Amazon Kinesisアプリケーションを構築する事も可能です。

独自のAmazon Kinesisアプリケーションを構築すれば、より複雑なストリーム処理が行えます。

 

本サイト上に掲載されているまとめ記事が、毎週ステップメールで受け取ることもできます。

 

 

参考文献