• Kinesisストリームは、Amazon Kinesis Management ConsoleやAmazon Kinesis CreateStream オペレーションを使って作成出来ます
  • PutRecordオペレーション、PutRecordsオペレーション、Amazon Kinesis Producer Library (KPL)、Amazon Kinesis Agentなどを使って、Kinesisストリームにデータが追加出来ます
  • Amazon Kinesis APIやAmazon Kinesis クライアントライブラリ(KCL)を使って開発したAmazon Kinesisアプリケーションで、Kinesisストリームのデータを読み取る事が出来ます

 

Kinesisストリームに対する操作

Kinesisストリームに対して、

・ストリームの作成
・ストリームへのデータの追加
・ストリームからのデータの読み取りと処理

などの操作を行う事が出来ます。

 

Kinesisストリームの作成手順

AWSにサインアップしてから、
・Amazon Kinesis Management Console
・Amazon Kinesis CreateStream オペレーション
などを使って、Amazon Kinesisストリームを作成出来ます。

Amazon Kinesisストリームのスループットについて、ストリーム内のシャードの数によって決定します。

シャードの数は、以下の式で計算します。

・A=ストリームに書き込むレコードの平均的サイズ(キロバイト単位で計算して、最も近いKB値に切り上げたもの)
・B=1秒間にストリームに書き込むレコード数
・C=ストリームからのデータを同時に使用するKinesisのアプリケーション数
・D=A×B(入力を書き込む時の帯域幅のKB数)
・E=C×D(出力を読み取る時の帯域幅のKB 数)

ストリームで必要なシャード数=max (D/1000, E/2000)

 

ストリームへのデータの追加

Amazon Kinesisストリームにデータを追加するには、

・PutRecordオペレーション
・PutRecordsオペレーション
・Amazon Kinesis Producer Library (KPL)
・Amazon Kinesis Agent

などを使います。

PutRecordオペレーション
1つのデータレコードの操作をします

PutRecordsオペレーション
複数のデータレコードの操作をします

Amazon Kinesis Producer Library (KPL)
Amazon Kinesisのストリームに詳細な設定が出来るライブラリ

Amazon Kinesis Agent
Kinesisストリームの操作を行うJava アプリケーション

 

 

 

 

Kinesisストリームのデータの読み取り

Kinesisストリームのデータは、

・Amazon Kinesis API
・Amazon Kinesis クライアントライブラリ(KCL)

を使って開発したAmazon Kinesisアプリケーションで読み取る事が出来ます。

 

 

 

 

本サイト上に掲載されているまとめ記事が、毎週ステップメールで受け取ることもできます。

 

 

参考文献