”温故知新”　なことなど

Hw09 Hadoop Based Data Mining Platform For The Telecom Industry
感嘆のため息が漏れました・・・
中国語で読めないところがあったので院生に聞いてみたい。

大規模データストリームとは

データストリームを対象とするデータストリームマイニングは、
（１）属性値に関する平均やかたより、値の総和と言った簡単な統計量をきわめて小さなメモリと処理時間だけを使って計算する。
（２）結合規則や、決定木、クラスタリング、データマイニングにおける規則やパターンの発見アルゴリズムを連続したデータストリームへの拡張。

データストリーム・アルゴリズムの目標
・非常に少ない計算資源を用いて
・長期間安定して動き続け
・利用者の要求に即応して
・近似的な解を返す

マイニングアルゴリズムの基本的な技法
・確率的計算
・データの粗視化
・適応的計算

DataSource from 情報処理46巻1号

BIといわれるまでの経緯と、経営者がとらえているBI。

年代　　　　　　キーワード　　　　　　　　　特徴　　　　　　　　　　　　　　　　　　　　　　。
１９７０年代　意思決定支援システム　　EUCの実現、管理者の意思決定を支援。
１９８０年代　　　　　　　〃
１９９０年代　データウエアハウス　　　　膨大な企業データを蓄積するデータ格納庫の実現。
１９９０年代中頃　多次元分析処理　　　データ→情報。検索→分析。データをダイナミックに操作して意味のある情報を見つける。
１９９０年代後半　データマイニング　　　情報→ルール。分析→発見。統計学に基づいてパターンを発見。
２０００年代　ビジネス・インテリジェンス　情報→知識。分析→意思決定。迅速に意思決定。

一般的に、”正確な情報を適切な人に適時に提供することで、企業がより適切な判断を迅速に行うことを可能にするための考え方と、それを実現するためのシステム”と定義されている。　Data source from　http://solution.unisys.co.jp/webseminar/10/

そのデータ分析の使用用途がInsightな分析だったり、Competitiveな分析だったりするわけです。
ビジネス・インテリジェンスとは、競合的なインテリジェンスの場合、ファルドは”判断を可能とするまでに分析されたインフォメーション”と定義されている。英語だと「intelligence is “analyzed information.”」。いうなればブドウ　＋　熟成技術　→　ワインということなそうな。だからInformation ＋ 分析＆集約 → Intelligence となるそうで、最終的にはこの分野にまで行き着くのだろうけど、今わたくしがやりたいのはInsightな分析のほうなのだろう。どのようなアルゴリズムなの？というほうに興味が向いているわけです。ということで何年先になるかわかりませんがCompetitive Intelligenceのほうはもう少し先になりそう。
Data source from　http://www.cio-cyber.com/pj/ec2/link/km2.html　http://www.fuld.com/Tindex/CIbook/chap01.html

やはり分析をしたからにはバックデータになる資料添付が必須なので、PDF,Excel,CSV,HTML出力ができるというのはとてもよい。ACCESSからExcelへ落としてグラフ作成の流れを一元できれば良い。プレゼン用にPPT作成時にグラフィカルは懲りたいところ（？）ボタン一つで出力するところまで仕込んでおけば良いのだから。実績分析レベルだとロールが決まっているから良いのだけれどランダムではないシュミレーションとなると季節変動要因を実績値に反映させるのがミソになりうる。反映させる意志をどのように判定するのかはランダムではいけないからなぁ。