Hadoop/MapReduce 簡単なまとめ

大規模データの分散処理を支えるJavaソフトウェアフレームワークであるHadoop、コンピューター機器のクラスター上での巨大なデータセットに対する分散コンピューティングを支援する目的で、Googleによって2004年に導入されたソフトウェアフレームワークであるMapReduce、これらは巨大データベース、最近ではビッグデータを扱うことになりますが、以前から注目されてきました。

その簡単なまとめを作成しましたのでどうぞ。基本的にはDBの基礎的な知識、Linuxベース、Javaのコレクションの知識等があれば動かすことができます。なかなかそのような巨大なデータベースを動かすことはないかと思いますが、試してみたい方は是非ともトライしてみてください。各所端折ったところもあるので舌っ足らずなところがあったらご指摘ください。修正します。

最初は概論的なスライドです。

 

この辺りも図説が有り、わかりやすいと思います。

GoogleのMapReduceアルゴリズムをJavaで理解する (1/2) –  http://www.atmarkit.co.jp/fjava/special/distributed01/distributed01_1.html

 

インストール方法、実際の操作方法、Eclipseプラグインなど。

MapReduceのJava実装Apache Hadoopを使ってみた (1/3) http://www.atmarkit.co.jp/fjava/special/distributed03/distributed03_1.html

Hadoop MapReduceプログラムを解剖する:CodeZine http://codezine.jp/article/detail/5582

hadoopnews.com: 第4回 MapReduce フレームワークプログラミング http://blog.hadoopnews.com/2011/01/4mapreduce.html


コメントを残す