• Amazon Kinesisストリームにおけるスループットの基本単位がシャードです
  • Amazon Kinesisストリームに格納されるデータの単位がレコードとなります
  • Amazon Kinesisストリーム内のシャードの数を調整して、スループットを変更します

 

Kinesisストリームにおけるスループットの基本単位

シャードはAmazon Kinesisストリームにおけるスループットの基本単位で、シャードの数を指定してKinesisストリームを作成します。

1シャードで、
・1MB/秒のデータ入力
・2MB/秒のデータ出力
が可能で、1 秒で最大1000件までのPUTレコードの処理が出来ます。

 

 

 

Kinesisストリームに格納されるデータの単位

Amazon Kinesisストリームに格納されるデータの単位が、レコードです。

レコードは、
・シーケンス番号
・パーティションキー
・データ BLOB
から構成されます。

データ BLOBが処理対象のデータで、最大1メガバイトまでストリームに組み込む事が可能です。

パーティションキーはストリームにデータを組み込む時に設定されて、レコードを分離してストリームの異なるシャードにルーティングされる際に使われます。

 

 

 

リシャーディング: ストリーム内のシャードの数の調整

Amazon Kinesisストリーム内のシャードの数を調整する事を、リシャーディングと呼びます。

リシャーディングでは、
・シャードの分割
・シャードの結合
の2種類の操作が行われます。

シャードの分割
1つのシャードを2つのシャードに分割して、ストリームのスループットを向上させます

シャードの結合
2つのシャードを1つのシャードに結合して、ストリームのスループットを低下させます

 

 

 

 

本サイト上に掲載されているまとめ記事が、毎週ステップメールで受け取ることもできます。

 

 

参考文献