べにやまぶろぐ

技術寄りの話を書くつもり

Apache Spark

『GMO プライベート DMP で ビッグデータ解析をするために アプリクラウドで Apache Spark の検証をしてみた』の資料を公開しました

Apache Spark を今後活用していくに当たって行ったプレ検証の結果について slideshare にアップロードしました。 もう少し詳細な内部の実装や挙動を見ていかないとと思いつつ、いい加減ワードカウントも飽きてきたのでデータ分析にトライしていきたいと考え…

Docker Hub と GitHub を連携させて、SparkR を RStudio から呼び出せるコンテナイメージを公開してみた

バージョン : Spark 1.1.0 長ったらしい題名ですがそのまんまです。以前書いた お手軽に Spark と SparkR を触るための Dockerfile 書いてみました。 - べにやまぶろぐ で Apache Spark と SparkR をセットアップして RStudio とつなげてみたもののそれから…

『Hadoopソースコードリーディング 第16回』で Apache Spark の勉強をしてきました #hadoopreading

今熱い視線を向けつつもそれだけで終わってしまっている Apache Spark の勉強会があるということで Hadoopソースコードリーディング 第16回 Tickets, Tokyo - Eventbrite に参加してきました。Hadoop じゃなかった気もするけど奇しくも初の Hadoop ソースコ…

お手軽に Spark と SparkR を触るための Dockerfile 書いてみました。

バージョン : Spark 0.9.1 表題の通りですが、こちら。 https://github.com/beniyama/sparkr-dockerbeniyama/sparkr-docker · GitHub centos のイメージの上にスタンドアローンな Apache Spark を載せ、更に R 用フロントエンドの SparkR を入れています。 R…