分散型データストアApache Kuduで大量のIoTデータを処理してみた

ツイート

講師：伊藤 雅博
担当：株式会社日立製作所
レベル：入門編
対象者：大量のデータを扱うためのデータストアに興味がある人。
前提知識：Hadoopなどのビッグデータ処理基盤やデータストアに関する知識がある方。

近年、ネットワークに接続されたデバイスの普及により、様々な機器が膨大な量のデータを生成しています。また、このような膨大な量のデータを活用した統計分析や機械学習技術が注目を集めています。

Apache Kuduは高いスケーラビリティを持つ分散型のデータストアであり、高頻度のデータ格納と大量データの参照を両立させる事ができます。そのため、Kuduはセンサデータのような高頻度に発生するデータを格納しつつ、蓄積した大量のデータを分析用に参照するようなシステムで活用されています。また、KuduはHadoopを中心としたビッグデータ処理基盤と組み合わせて使用されることが多いOSSです。

本セミナーの前半では、Kuduの概要とアーキテクチャを紹介します。後半では、大量の電力消費量データをKuduで処理した際の性能検証結果を紹介します。

【カテゴリ】ビッグデータ/IoT/データベース