• Amazon Kinesis とは、AWSにおけるストリーミングデータ用プラットフォーム
  • Amazon Kinesis Streamsを使えば、ストリーミングデータの処理が行える独自のアプリケーションを構築出来ます
  • Amazon Kinesis Firehoseを使えば、簡単にストリーミングデータのキャプチャとロードが実現

 

Amazon Kinesis:とは

Amazon Kinesis とは、AWSにおけるストリーミングデータ用プラットフォームで、
・クリックストリーム
・アプリケーションログ
・ソーシャルメディア
などのさまざまなデータを処理する事が出来ます。

Amazon Kinesisには次のような特徴があります。

迅速なデータを取得
データが生成された時点でAmazon Kinesisストリームにデータを書き込めるので、データの生成元に障害が発生した場合でも、データが失われる事はありません

リアルタイムのストリーミングデータの分析が可能
Amazon Kinesis Streamsは、リアルタイムでストリーミングデータの分析を行えます

複雑なストリーム処理が行える
Amazon KinesisアプリケーションやデータストリームのDirected Acyclic Graph (DAG) を作成する事で、Amazon Kinesisストリームにデータを追加したり、継続的にストリームの処理が出来ます

トラフィックの増加にも対応可能
一時的にトラフィックが増加しても、データのバッファリングで対応します

 

 

 

 

Amazon Kinesis Streams

Amazon Kinesis Streamsを使うと、

・ウェブサイトのクリックストリーム
・金融に関する取引情報
・ソーシャルメディアなどのフィード
・IT関連のログ

など数多く分野で、独自のストリーミングデータ処理が行えるアプリケーションを構築出来ます。

Amazon Kinesis Streamsには、

・1 時間何テラバイトに及ぶ何十万件ものデータを、連続的に取得して保存出来る
・Amazon Kinesis Producer Library (KPL) や Amazon Kinesis Client Library (KCL)を使って、容易にアプリケーションが構築可能
・複数のAmazon Kinesis Streamsアプリケーションで、同じストリームを同時に処理出来る

などのメリットもあります。

 

 

 

 

Amazon Kinesis Firehose

Amazon Kinesis Firehoseを使えば、AWSマネジメントコンソールを数回操作するだけで、ストリーミングデータのキャプチャとロードが簡単に出来ます。

Amazon Kinesis Firehoseは、

・Amazon S3
・Amazon Redshift
・Amazon Elasticsearch Service

と統合されていますので、分析用アプリケーションやツールを用いてストリーミングデータの分析をする事も可能です。

 

 

本サイト上に掲載されているまとめ記事が、毎週ステップメールで受け取ることもできます。

 

 

参考文献