KeepData Hub TM技術基盤

コンポーネント

収集する        ・・・   KeepData Apps/REST API
  • KeepDataがデータを収集するためのアプリケーションを提供
  • 他のシステムが生み出すデータを収集するためのREST APIを提供
  • 分析・見える化するためのデータはファイル(例えばCSV)
  • 蓄積する        ・・・   KeepData Lake™ / KeepData CSS™
  • ファイル/フォルダにして蓄積
  • リレーショナルデータベース不要
  • HDFS/HBase/Windowsファイルシステム/分散処理を組み合わせてスケール対応
  • 分析・見える化する   ・・・   KeepData Lake Indexer™ / KeepData Cockpit™
  • 蓄積したデータを高速に分析・見える化するための機能を提供
    蓄積したデータを取り出す機能、高速に分析するための機能への接続、分析結果を取り出すための機能、分析結果を見える化するための機能、これらをすべてREST APIで接続
  • 編集する        ・・・   KeepData Composer™
  • 分析する機能と見える化する機能をWeb画面上に構成するための仕組みを提供
    豊富な見える化用パーツ(例えば円グラフ)のレイアウトと分析機能との結合をWebブラウザ上で簡単に操作
  • 収集する  ・・・  KeepData Apps/REST API

    KeepData Appsを利用してデータを収集
    作成したOffice文書をみんなで共有する、写真を撮ってみんなで共有する、などの決まった業務については、KeepDataが提供するアプリケーション(KeepDataApps)を利用するだけですぐに収集することができます。

    汎用REST APIを利用してデータを収集
    機器が出力するログファイル、RDBに蓄積されているデータをCSV形式で抽出したファイルなど、他のシステムが吐き出すさまざまなデータを自動的に収集する場合には、KeepDataが提供するREST APIを利用することで自動的に収集することができます。
    この方式のメリットは、既存システムに手を入れることなく、蓄積・分析・見える化することが可能です。

    専用REST APIを利用してデータをリアルタイムに収集
    リアルタイムなデータを見える化したい場合には、KeepDataが提供する専用REST APIを利用することで収集できます。
    この方法で、既存システムに少し手を加えるだけで、リアルタイムに蓄積・分析・見える化ができます。

    蓄積する  ・・・  KeepData Lake™ / KeepData CSS™

    ファイルはCSSに蓄積
    KeepData Apps/汎用REST APIで収集したファイルはKeepData CSS™に蓄積します。KeepData CSS™を支える技術基盤は、Hadoopの分散ファイルシステム(HDFS)+NoSQLデータベース(HBase)上に構築したKeepData独自ファイルシステム(KDFS)です。


    インデックスはKeepData Lake™に蓄積
    専用REST APIで収集したデータ・CSSに蓄積したデータのインデックスはKeepData Lake™に蓄積します。KeepData Lake™を支える技術基盤は、Windowsファイルシステム上に構築したKeepData独自インデックス(KDI)です。

    分析・見える化する  ・・・  KeepData Lake Indexer™ / KeepData Cockpit™

    KeepData Lake Indexer™を使って分析し、KeepData Cockpit™を使って見える化
    蓄積したデータをKeepData Lake Indexer™を使って分析した結果をビューパーツ(KeepData Cockpit™)に渡して見える化します。
    KeepData Lake Indexer™を支える技術基盤は、 Windowsファイルシステム上に構築したKeepData独自インデックス(KDI)を生成するためのKeepData独自の形態素解析処理・形式類推処理、匿名化処理・クロール処理、機械学習機能などです。
    形態素解析処理はKeepData独自技術により構築した処理です。辞書の形式自体も完全独自の処理により構築しています。
    形式類推処理とは、例えば日付形式であれば年だけ残して集計する、住所であれば都道府県だけ残して集計する、といった類推処理もKeepData独自処理です。
    匿名化処理は、形態素解析処理、形式類推処理などを組み合わせた匿名化処理を高速に行います。

    編集する  ・・・  KeepData Composer™

    KeepData CSS™に蓄積したデータを編集
    KeepData Apps/汎用REST APIで収集したデータをWebブラウザで表現する画面を編集します。
    ・カスタマイズ可能なビューパーツ: ファイルブラウザ、テキスト、テキストファイル、画像、 画像リストPDFビュー、ファイルリンク
    ・その他ビューパーツ:Google Map

    KeepData Lake™に蓄積したデータを編集
    専用REST APIで収集したデータをWebブラウザで表現する画面を編集します。
    ・カスタマイズ可能なビューパーツ:円グラフ、棒グラフ、相関図、人物相関図、ドリルダウン
    ・その他のパーツ:入力フォーム
    ・分析ツール:上記ビューパーツの入力となる分析結果を返すREST APIを関連付け

    KeepData Hub TMのソリューションは?   次のページへ

    Page top icon