MapReduceの100倍高速な”Spark”本格リリース、他

機能はCloud Dataflow: MapReduce後継の機能が続々と、などと紹介しましたが、Sparkも負けてはいません。Hadoopにおける処理方式の一つである「MapReduce」を用いた場合と比べて最大で100倍以上、分析処理を高速化できる…という謳い文句、まさに鳴り物入りでのリリースという群雄割拠状態であります。本日はSpark関連の記事を2本。

Java 8 & 機械学習の視点でみる Spark 1.0 リリース – ALBERT Engineering Blog http://tech.albert2005.co.jp/blog/2014/06/06/spark-1.0

News & Trend – 次世代Hadoop最有力候補の「Spark」、動き始めたエコシステム:ITpro http://itpro.nikkeibp.co.jp/article/COLUMN/20140623/565972/

 

その他Hadoop関連記事など3本でトータル5本の記事を紹介します。

ビッグデータはビッグブラザーにはならない〜超管理社会のゆくえ(上) http://blogos.com/article/89164/

記者の眼 – 進化するHadoop、戸惑うユーザー:ITpro http://itpro.nikkeibp.co.jp/article/Watcher/20140623/565942/

逆変換法 – 人工知能に関する断創録 http://aidiary.hatenablog.com/entry/20140622/1403403301

 

 

Cloud Dataflow: MapReduce後継の機能が続々と、など

MapReduceの後継、大容量一括処理だけではなくて、ストリーム処理やリアルタイム処理も実装されているとのことです。最近はJubatusやSparkなどの新技術も続々と開発されているので本家Googleも、、、といったかんじなのでしょう。エクサバイト級とのことですが、個人で遊ぶ分にはそこまでのデータはないでしょう。でもとりあえず注目の”Cloud Dataflow”と言えるかと思います。 ニュース – グーグル、MapReduce後継のビッグデータ処理サービス「Cloud Dataflow」を発表:ITpro http://itpro.nikkeibp.co.jp/article/NEWS/20140626/566922/

本日ほか、Rstudioを使ったPDF文書作成、時系列入門などトータルで6件の記事があります。お手すきの時にでもどうぞ。

 

マス/デジタル別々に分析している場合じゃない! 全体最適を可能にする分析手法とは? (1/3):MarkeZine(マーケジン) http://markezine.jp/article/detail/20293

データサイエンティストって名乗るのが恥ずかしくない人は要注意!! – チャランポランナーの独白 http://copiz.hatenablog.com/entry/2014/06/25/135058

ビッグデータ処理性能のスパコンランキングで日本勢が二冠 – PC Watch http://pc.watch.impress.co.jp/docs/news/20140625_654944.html

ITエンジニアのためのデータサイエンティスト養成講座(9):時系列分析I ――ARMAモデルと時系列分析 (1/4) – @IT http://www.atmarkit.co.jp/ait/articles/1406/30/news005.html

RStudioを使ったPDF文書の作成(for RStudio 0.98.932+) – Qiita http://qiita.com/uri/items/d9e50e8e5a37217a3f5d