• マネージド型のHadoopフレームワークを提供するAmazon EMRを使う事で、短時間でのクラスターの立ち上げが可能となり、Hadoopの設定・クラスター設定や調整・ノードのプロビジョニング
    などの煩わしい作業が不要となります。
  • Amazon EMRでは各種Hadoop用のツールだけでなく、・Apache Spark・Prestoなどのフレームワークも使用可能です。

 

短時間でHadoopクラスターが立ち上げられるEMR

Amazon EMRは、マネージド型のHadoopフレームワークを提供するAWSです。

Amazon EMRクラスターは数分間で起動させる事が可能で、
・Hadoopの設定
・クラスター設定や調整
・ノードのプロビジョニング
などの作業を行う必要はありません。

使ったコンピューティングインスタンスに対する料金が請求される従量料金金制なので、無駄な費用を支払わなくても済みます。
料金は1時間単位で計算されますから、インスタンスコストを削減する事も可能です。

 

 

Hadoop用の各種ツールや他のフレームワークも実行可能

・Hive
・Pig
・Hbase
・DistCp
・Ganglia
などHadoop用のツールは数多く存在しますが、Amazon EMRではそれらのツールも使用可能となっています。

さらに、
・インメモリ処理を行うApache Spark
・インタラクティブSQL用の Presto
などのフレームワークもAmazon EMRで使う事が出来ます。

 

 

 

本サイト上に掲載されているまとめ記事が、毎週ステップメールで受け取ることもできます。

 

参考文献