• ノードやステップなどの新しい技術が使われているAmazon EMR は、AWS でHadoopクラスターを使用する時に利用出来るサービス
  • Amazon EMR (Elastic Map Reduce) のメリット:
    ・AWSがスムーズに使える、
    ・複数のクラスターへの同時アクセス
    ・Hadoop用アプリケーションの使用
    ・一般的なBIツールの使用
    ・Amazon EMR コンソールでの管理
    ・セキュリティの強化

 

Amazon EMRを使用する事のメリット

Amazon EMR は、HadoopクラスターをAWSで実行する時に利用出来るサービスです。
Hadoopクラスターが起動すると、Amazon EC2の仮想サーバーで処理が実行されますが、Amazon EMRによってAWSが円滑に利用出来るようになっています。

その他にもAmazon EMRを利用する事で、
・複数のクラスターへの同時アクセス
・Hadoop用アプリケーションの使用
・一般的なBIツールの使用
・Amazon EMR コンソールでの管理
・セキュリティの強化
などのメリットを享受出来ます。

 

 

 

ノードやステップなどの新しい技術が使われている

Amazon EMRは、単にHadoopとAWSを統合するだけではなく、ノードやステップなどの新しい技術を使って分散処理が行われます。

ノードに関しては、ノードタイプとして参照される3種類のロールが定義されています。

マスターノード
クラスターを管理するノードで、各クラスターに一つしか存在しません。
各タスクのステータスやインスタンスグループの状態を監視し、正しい状態を維持するように管理を行います。

コアノード
Hadoopスレーブノードにマップされるノードで、Hadoop Distributed File System(HDFS)を使ってタスクの実行とデータの格納を行います。

タスクノード
Hadoop スレーブノードにマップされるノードで、タスクを実行します。

ステップはデータを操作する指示の事で、一つ以上のHadoop ジョブが指定出来ます。
・データの復号化
・データの処理
・データの暗号化
・データの保存
などの内容がステップで指示されます。

 

 

 

Amazon EMR以外のAWSを統合する事も可能

Amazon EMR はHDFSを利用出来るだけでなく、
・Amazon EC2
・Amazon S3
・DynamoDB
・Amazon RDS AWS
などのAWSと統合する事も可能です。

そのため、AWSに保存されているデータにクラスターからアクセスしたり、AWSの機能を利用してクラスターの管理や出力を行う事も出来ます。

 

 

 

本サイト上に掲載されているまとめ記事が、毎週ステップメールで受け取ることもできます。

 

参考文献