• クラウド環境を用いてビッグデータ分析を行う仕組み:
  • サーバ上にデータが作成される
  • データ収集ツールがサーバからデータを集めて来る
  • 分析サーバにあるデータを、ツールを使って分析する

 

ビッグデータ分析基盤を低コストで構築出来る分析エンジン

ビッグデータを分析する基盤を構築するには、コストの掛かるDWHなどを用意する必要があるため、なかなか導入出来ない企業も少なくありませんでした。
しかし、Amazon Redshift、Amazon Elastic Mapreduce、Google BigQueryなどのビッグデータ分析エンジンが普及するようになって、比較的容易に導入出来る環境が整って来ています。

手軽に利用出来るクラウド型ビッグデータ分析エンジンと、ウェブサーバ・データベースサーバ・ワークフロー管理ツール・分析サーバなどを組み合わせる事で、短期間で低コストのビッグデータ分析基盤を構築する事が出来ます。

 

 

ビッグデータ分析エンジンを使って分散処理する仕組み

Hadoopなどのクラウド型ビッグデータ分析エンジンを使って大量のデータを分析する場合は、複数のサーバを使用する分散処理が行われます。

具体的な分散処理の仕組みは、ウェブサーバやアプリケーションサーバ上のデータを分析エンジンに蓄積して行き、ツールを使って分析をするというものです。

さまざまな場所にあるデータが収集なくてはなりませんが、用途に応じた専用のデータ収集ツールを使い分ける事で、適切なタイミングでデータを分析エンジンに集める事が出来ます。
専用の収集ツールを使えば大量のトランザクションデータも、計画的に収集する事が可能です。

但し、分析サーバ上のデータが数億件以上になった時には、データマートを作るなどして、処理時間の短縮化を図る必要があります。

 

 

 

本サイト上に掲載されているまとめ記事が、毎週ステップメールで受け取ることもできます。

 

参考文献