DMM.comラボエンジニアブログ

DMM.comラボのエンジニアブログです。DMM.comを支える技術について書いています。

Kafka・HBaseによるビッグデータ収集

こんにちは!DMM.comラボの技術広報です!

9/14(月)にDevelopers Summit 2015 FUKUOKAにて弊社田中が登壇してきましたので、
登壇資料を公開致します。
立ち見がでるほど多くの方にお越しいただき、ありがとうございました。

Kafka・HBaseによるビッグデータ収集

prezi.com



DMMではより高精度なサービス提供の為にHadoopの基盤上に大量データの収集を行っています。これまではSparkを使った並列分散処理基盤の構築を行ってきましたが、大規模なデータ分析を実現するためにストリームデータの収集にも課題を持って取り組んでいます!

今回の登壇ではデータ収集部分に着目し、Kafka/HBaseを使ったデータ収集部のシステムの構築手順や取り組みについて説明しました。



次回予告

次回は10/14(水)にSparkをテーマに勉強会を開催致します!
今回福岡で発表した内容をベースに田中が登壇します。
さらにIBMの土屋様にも登壇いただき、講演いただきます
是非ご参加ください。
【DMM.Study Night】Spark勉強会 : ATND