技術的な課題を解決できるオープンなプラットフォーム
AWS上での大規模なデータ処理

【ビッグデータ】Hadoop

Hadoopとは

プラットフォームであるHadoopは、HDFSとMapReduceにより分散処理を実現 HDFS    複数の …

分散アプリケーション処理モデル “MapReduce”

分散アプリケーション処理モデルMapReduceの3つのフェーズ: KeyとValueを組わせてデータを表現す …

Hadoop上で動作するオープンソースHive

オープンソースHiveは、Hadoop上で使用するソフトウェアです。 Hadoopと親和性の高いインターフェー …

Hadoopの分散ファイルシステム

HDFS(Hadoop Distributed File System)は、Hadoopでファイルの管理を行っ …

分散処理でインタラクティブ分析を可能にするSpark

Sparkは、HadoopのMapReduceよりも高速処理できる分散処理フレームワーク SparkではHDF …

AWS上のマネージド型のHadoopフレームワーク

マネージド型のHadoopフレームワークを提供するAmazon EMRを使う事で、短時間でのクラスターの立ち上 …

AWS上でのHadoop環境の仕組み

ノードやステップなどの新しい技術が使われているAmazon EMR は、AWS でHadoopクラスターを使用 …

各種BIツールが使えるAmazon EMR

Amazon EMRは、オープンソース型フレームワーク Hadoopが手軽に利用出来る環境を提供 新たにサーバ …

Amazon EMRの基本的な利用手順

Amazon EMRの基本的な利用手順: ・入出力データ・データ格納領域をS3等に用意 ・クラスターの起動 ・ …

Amazon EMRを使用する際のベストプラクティス

Amazon EMRをより効率的に使うためには: ・出来るだけ小さなファイルをまとめて、データを集約する ・圧 …

1 2 »
PAGETOP
Copyright © TechCrowd All Rights Reserved.