Software Developer's Think IT

データ統合/ETLを使う - オープンソースBI「Pentaho」徹底解説

Pentahoデータ統合/ETLとは　第1回（http://thinkit.jp/article/1153/1/）では、オープンソースBI「Pentaho」の全体像、Pentaho BIスイートの特徴や入手方法、BIサーバーのインストール手順を解説しました。第2回の今回は、個々の情報システムのデータを分析できるようにするミドルウエア「Pentahoデータ統合/ETL」を解説します。

　データ・ウエアハウス（DWH）を構築してデータを分析するためには、業務システムのデータをデータベースに収納する必要があります。このために利用するのがETLツールです。ETLのEはExtract（データの抽出）、TはTransform（データの変換）、LはLoading（データの格納）のことで、DWHが必要とするデータをさまざまなデータ・ソースから抽出し、利用しやすいように適切な形式に変換して対象のデータベースに格納します。

　Pentahoデータ統合/ETLは、Transformation（データ変換）、Job（ジョブ）という2つの基本コンセプトがあります。Transformationとは、複数のソースからデータを入力し、変換処理を実行して複数の出力にデータを格納するタスクです。一方、Jobとは、1つもしくは複数のTransformationやほかのJobを順に実行するタスクです。通常、Jobはスケジューリングし、定期的に実行します。

　Pentahoデータ統合/ETLは、以下のコンポーネントで構成します。

（1）Spoon（スプーン）
　TransformationとJobを設計するGUI（グラフィカル・ユーザー・インタフェース）やエディタを搭載する、デスクトップ・アプリケーションです。ソース・コードを書くことなく、複雑なETL処理を作成できます。

（2）Pan（パン）
　Transformationを実行するための、スタンドアロンで動作するコマンド・ライン・プロセスです。“Transformationエンジン”であり、さまざまなデータソースからデータを読み、さまざまなデータソースに書き込みます。

（3）Kitchen（キッチン）
　Transformationを実行するための、スタンドアロンで動作するコマンド・ライン・プロセスです。Spoonを用いて設計したJobの、XMLファイルやデータベース・リポジトリを実行するプログラムです。

（4）Carte（カルテ）
　ETLサーバーのコンポーネントです。HTTPリスナー（Webサーバー）として動作し、リモート（サーバー側）でTransformationやJobを実行します。
Pentahoデータ統合/ETLの特徴と機能　Pentahoデータ統合/ETLの特徴と機能は、以下の通りです。

・設計したETL処理は、ファイルとして保存できるほか、共同開発用のリポジトリ・データベースに格納して管理できる。
・入力・出力、変換を含む100以上のコンポーネント部品を組み立てるだけで、簡単にTransformationやJobを作成できる。
・データベース接続処理をGUIで簡単に作成でき、Transformationで複数のDB接続を定義できる。
・データベース・スキーマをGUIで簡単に定義できる。
・ステップをホップで接続してデータの流れを定義する。また、データを複数のステップにコピー、分配できる。
・ファイル・サイズに制限はない（ただし、システム・メモリの制限を受ける）。
・「どのようにしたいか」ではなく、「何をしたいか」を設定するだけでよい。
・余分なコードを生成しないため、メンテナンスが容易。
・セットアップが単純で、プラグインで機能を拡張できる。
・Javaで実装されているため、クロス・プラットフォーム環境で動作する。
・クラスタリング構成により、ほぼ無制限のスケーラビリティ（拡張性）を備える。
・Carteを用いてTransformationやJobをリモートで実行できる。
・エンタープライズ・エディション（EE）では、エンタープライズ・コンソールを用いてWebブラウザで実行状況をモニタリングできる。

　次ページからは、Pentahoデータ統合/ETLの使い方を解説します。

はてな Livedoor Yahoo Google Delicius

]]>

優勝決定！怒濤のインストールの果てに - INSTALL MANIAX 3 決勝大会・表彰式

ネットワークに問題あり！？　前回に引き続き、インストールマニアックス Hyper-V祭り　決勝大会の模様をお伝えします。

　第1回（http://thinkit.jp/article/1160/1/）では、jkudoさんが決勝初のインストールを終えたところまでお伝えしました。無事に確認を終え、これからはいよいよインストールのラッシュが始まりそうです。

　jkudoさんの最初のインストールから十数秒後の13時54分、たかさんがBlogEngineのインストールを終えて挙手。動作確認が行われ加点が認められます。両方ともDBを使用していないアプリケーションのため早かったようです。13時57分、jkudoさんが2つ目のインストール。

　ここまでは一見順調に進行しており、観客席からも静かな立ち上がりのように見えました。しかし、実はネットワーク帯域が非常に遅く、ダウンロード速度が50kbps程度しか出ないという、選手からすれば大問題が発生していたのです。遅々として進まぬダウンロードに、選手全員が苛立っていました。

　13時58分、ここで大会事務局より特別救済策として、大学のネットワークを利用してダウンロードが速くできるようになりました。プロキシ設定を行う手順書が選手に配布されます。

　大会終了後に伺った話によると、こまちむさんは「変更して速くなった」、jkudoさんは「はまるのが嫌で設定しなかった」、他にも「設定したが変化が無かった」など反応も様々でした。抜きつ抜かれつのデッドヒート　立て続けにインストールが完了し、審査員が駆け回ります。

　14時にjkudoさんが3つ目を申告。間髪おかず、たかさんが2つ目をインストール。
　14時2分、Kazumixさんが1つ目のphpmyadminを申告。
　14時3分、たかさん3つ目を申告。
　14時3分　jkudoさん4つ目を申告。

　14時4分、ここで前回チャンピオンのTakashiさんがyy-boadを申告し、ようやく1つ目が完了しました。掲示板記事投稿のエラーで会場がざわめく一幕もありましたが、SPAM対策による連続投稿機能によるエラーと判明し、問題なく認定されました。

　決勝戦が始まって50分が経過した段階では、前回チャンピオンのTakashiさん、jkudoさん、たかさんの3人が抜きつ抜かれつのデッドヒートを繰り広げる展開となりました。

　55分が経過した14時15分、今までの沈黙を破り予選1位の64さんの手が上がりました。一気に7点が加点され、単独トップに躍り出ます！

　最初に10点を超えたのは、管理系ツールで一気に3つ申告した、たかさんでした。勝ち馬投票締切まであと30分、試合時間残り50分の状況でトップはたかさん。僅差の為、まだまだ誰がトップになるか予断を許さない状況です。インストール状況は、掲示板系→DB系→マイナー系→WPI系と遷移しているようにも見受けられます。

はてな Livedoor Yahoo Google Delicius

]]>

DWHの大規模化における解決策 - 大規模化するDWHに挑む

進化するDWHソリューション　第1回では、近年のビジネス環境の変化から企業が最適な戦略を実践するために、より大量のデータを扱うことができるDWHシステムが求められている一方で、これを実現する際の課題として、データ増加によって発生するDWHのチューニング作業や、データマート等の外部システムが点在することで発生する管理コストから悪化する「コストパフォーマンス」および、爆発的に増え続けるデータに対応するためDWHで実現しなければいけない「拡張性」という課題が持ち上がっている背景が紹介されました。

　では、現在世に出ているDWHソリューションにはいったいどのようなものがあるのでしょうか。また、それらは「コストパフォーマンス」や「拡張性」といった課題に対してどのように応えてきているのでしょうか。

　今回は、主要なDWHを紹介し、それぞれのDWHソリューションとしての特徴を考察していきます。

　図1に90年代以降活躍を続けている主なDWH製品を、それぞれ世に出てきた時系列で並べました。はじめに、それぞれがDWHで利用され始めた背景と特徴を述べます。カラムストア型DBでDWHの性能問題を解決する　Oracle DatabaseやDB2といったデータベース（DB）黎明（れいめい）期から業務系のシステムで活躍を続けてきたDBは、90年代に入りDWHにも用いられるようになります。しかしながら、数百GB（ギガバイト）クラス以上のデータを扱うあたりから、次第に性能劣化が問題になるケースが多くなってきました。

　この性能劣化問題の裏には単純に扱うデータ量が多くなったことだけではなく、DBの利用目的が変わり、データ処理内容が変わったことが大きな要因として存在します。

　業務系システムでは主に表に索引を張るなどしてスキャンすべき範囲を絞り、可能な限り速く“格納されているデータを活用する”目的で利用されていました。これに対し、DWHでは主に、特定範囲のデータをすべてスキャン（フルスキャン）してユーザーが知らなかった情報を得ること―すなわち、“格納されているデータから学習する”ことが目的となります。

　数百GB以上のデータを対象としてDWHのデータ処理を行う場合、（数百GBのメモリを持ったハードウエアを用意するのは現実的ではないため）大量のデータをディスクから読みだすデータ処理が前提になります。ここで性能劣化が避け得ない問題として発生していました。

　そんな中、SybaseIQはカラムストア型DBというアプローチでこの性能問題を解決します。

　上述のOracle DatabaseやDB2のような、リレーションを持つことを前提にディスクへデータ格納を行う従来のDBとは異なり、カラムストア型DBは、ディスクへのデータ格納をカラム単位で行います。また、このときカラム内で重複する値の書き込みを排除してデータを圧縮して格納します。

　特に特定のカラムのフルスキャンを行うような場合、カラムごとにディスクへ格納していること、さらにそれが圧縮格納されていることから、ディスクIOを劇的に削減でき、従来のDBに比べ10倍から100倍の処理性能を実現できます。また、大容量のデータを格納した場合にも圧縮が効きますので、ストレージコストも削減できます。

はてな Livedoor Yahoo Google Delicius

]]>

超並列DWHとユーザー定義関数 - 失敗事例に学ぶDWH/BI導入ノウハウ

大量データでも手間要らずのNetezza DWHアプライアンス　近年のデータ増加で、データ・ウエアハウスのサイズが想定以上になってしまったという企業は少なくありません。データが増えるということは、その企業の活動が活発であるということですから喜ばしいことです。しかし、データ・ウエアハウスは悲鳴を上げています。

　その悲鳴とは、主に以下の3つです。
　１．検索パフォーマンスが悪くなった
　２．データ取り込みの夜間処理が、朝までに終わらない
　３．結果としてパフォーマンスチューニングや運用管理の手間がかかる

　データ量の多さが原因ですが、大規模ならではのチューニングや管理の複雑さが原因でもあります。ノウハウがない、もしくは面倒だから手をかけない、だから、パフォーマンスが悪化していく…という悪循環です。

　近年、このような問題への解決策としてさまざまなデータ・ウエアハウス専用にハードウエアを一体化した製品が増えてきています。ここでは「DWHアプライアンス」という言葉を最初に使いはじめたベンダーNetezza（ネティーザ）社の製品をご紹介しましょう。

　もっとカンタンに運用できて、チューニングしなくても速いデータベースが作れないか、という発想のもとで開発されたのがNetezzaの「DWHアプライアンス」です（以下Netezza）。アプライアンスとは特定の機能に特化したコンピュータのことで、汎用性には欠けますがそのぶん設置や設定などの操作が簡単で性能を追求したものとなっています。データ・ウエアハウス用途に特化しているから、検索処理が速い、データローディングが速い、そして、アプライアンスだからカンタン、というのが特徴です。

　それでは、Netezzaの速さの秘密を2つご紹介します。速さの秘訣（ひけつ）その1：ハードウエアでSQL処理を行う　Netezzaには、SQL処理を行うハードウエア部品が搭載されています。

　“SQL処理をするハードウエア”だなんてまったく想像がつかないかもしれませんが、『FPGA』というものを知っていただくと実態が理解できると思います。FPGA（Field Programmable Gate Array）は任意の論理回路の書き込み／書き換えができるLSIであり、近年ではDVDプレーヤーや画像処理ボードなど、少し複雑な処理が必要でかつ高速に動作する必要がある機器に多く採用されています。

　一般的なデータベースの検索処理は、ディスクから共有メモリにデータを読み込み、メモリ上でクエリを実行します。メモリに読み込まれるデータはクエリ（SELECTやWHERE）でカラムとレコードを絞り込む前のデータブロックですので、サイズが大きいままです。データ・ウエアハウスではシステム内部で大量の「データの移動」が発生し、処理時間が遅い原因の1つとなります。

　Netezzaは、このデータ自体を極力移動させないことでCPUが処理すべきデータ量を最小限に抑えています。ディスクI/Oコントローラのところで、レコードの可視化制御やSELECT句のカラム、WHERE句など条件の絞り込みを行ってしまい、メモリ上にデータブロックすべてを読み込まなくても良い仕組みとなっています。ここに使用されているのが『FPGA』です。

　Netezza社はディスクからデータを読み込みながら不要なデータをフィルタリングする機能をFPGAに実装しました。さらに、圧縮してディスクに格納されているデータの解凍もこのFPGAで行われます。普通の解凍はOSの上のソフトウエアがサーバのCPUを使って処理しますが、Netezzaのデータの解凍はFPGAで行うため非常に高速なのです。

　通常のシステムではCPUが処理するSQL処理の大半をFPGAが行う、まさに「ハードウエアでSQL処理」だから高速なのです。

はてな Livedoor Yahoo Google Delicius

]]>

現在のBIアーキテクチャ - 歴史で読み解くBIのすべて

はじめに　第1回（http://thinkit.jp/article/1147/1/）の最後で、C/S型のBIアーキテクチャの限界に簡単に触れましたが、今回の始まりとして、このことについてもう少し詳しく説明します。

　C/S型のBIアーキテクチャの時代には、エンド・ユーザーにも、初歩的なシステム開発者としてのリテラシーが求められました。前回でも触れたEUDと呼ばれるトレンドがそれです。このEUDの名のもとに、「SQL Windows」や「PowerBuilder」といったエンド・ユーザー向けの業務アプリケーション開発ツールが一世を風靡（ふうび）したのが、この時代です。

　しかし、当時既にBIに携わっていた筆者には、このようなトレンドの陰に隠れてはいましたが、EUDやEUCに対する一部エンド・ユーザーからの反発の声が聞こえていたことも事実です。

　このような声をあげていたのは、主に、経営・マネジメント層と一般ユーザー層の2つでした。これらのユーザー層は、基本的なITリテラシーを持っていないことや、データ処理に時間を割くことで本来の業務の生産性を落としてしまうことなどが理由となり、システム開発者としてのリテラシーを部分的ではあれ身につけることは困難でした。

　結果的に、これらのユーザーにとっては、レポート作成業務をそれまでIT部門に依存していたのが、依存する先が一部のパワー・ユーザーに変わっただけで、当時のBIシステムからの恩恵を直接受けることはできませんでした。

　これらのユーザー層を取り込めないことは、当時のBIベンダーにとって、ビジネス的にも大きな問題でした。それを克服するためには、C/S型アーキテクチャにとって代わる、新しいアーキテクチャの登場を待たなければなりませんでした。
3層型アーキテクチャの登場　C/S型アーキテクチャは、1990年代後半に全盛期を迎えます。しかし、このころから、ITアーキテクチャはインターネットの普及という大きな変革の時期を迎えていました。

　企業内システムにおいても、Webブラウザやアプリケーション・サーバーといったインターネット技術を取り入れたイントラネットの導入が始まり、「すべての企業内ユーザーにすべてのアプリケーションを利用可能にする」というビジネス的な課題の解決が、企業内システムのITアーキテクチャに求められるようになりました。

　また、C/S型アーキテクチャで構築されたシステムのメンテナンスが企業内システムにおける大きな問題となったのも、この時期でした。

　C/S型アーキテクチャのもとで導入された多数のクライアントPCは、ハードウエアのリプレースやソフトウエアのバージョン・アップに直面し、メンテナンスに要する金銭的・人的なコストの増大が、C/S型アーキテクチャの優位性を大きくゆるがせました。

　このような時代を背景に登場したのが、3層型アーキテクチャでした。

　C/S型アーキテクチャにおいてクライアントPCが担っていた、アプリケーションの実行とユーザー・インタフェースの制御の役割は、3層型アーキテクチャにおいては、Webブラウザとアプリケーション・サーバーが担うことになりました。

　具体的には、アプリケーションの実行がアプリケーション・サーバー、ユーザー・インタフェースの制御がWebブラウザという分担です（図1）。これにより、クライアントPC上でメンテナンスが必要なソフトウエアは、理論上、OS以外ではブラウザのみとなり、メンテナンス・コストを飛躍的に圧縮することが可能になりました。

はてな Livedoor Yahoo Google Delicius

]]>

選択肢が広がるBI製品 - BI（ビジネス・インテリジェンス）最前線

統計解析からエクセル代替までルーツは多様　前回（http://thinkit.jp/article/1156/1/）に見た日本IBM、日本オラクル、SAPジャパンのスイート製品以外で、国内市場で手に入る主要なBI関連製品をまとめたのが図1-1だ。その中から特徴的な製品をピックアップして見ていこう。

■BSCベースに業務を見える化

　企業システムの分野において地歩を強化したいマイクロソフトが2007年11月に市場投入したのが「Microsoft Office PerformancePoint Server 2007」である。

　予算編成や予測などの業務を担う「プランニング」、活動の成果をリアルタイムに把握する「モニタリング」、原因分析する「分析/レポーティング」を主な機能とし、ExcelやWebブラウザを通じたワークフロー/情報共有で効率的なPDCAサイクルを支援することを狙った製品だ（図1-2）。財務的な指標だけでなく顧客や業務プロセスの視点も交えて戦略策定と業績評価を支援する手法「バランススコアカード（BSC）」をベースに、業務全体の「見える化」を図ることがフレームワークになっている。「実際にマイクロソフトが自社内で使いながら機能をブラッシュアップしてきた製品だ」と、インフォメーションワーカービジネス本部の米野宏明 IWソリューションマーケティンググループエグゼクティブプロダクトマネージャは説明する。必ずしもBSCに準拠する必要はないが、まずは管理指標を明確にしなければならない。

　Webブラウザをベースとした分析画面では、対話形式のウィザード機能によって望むデータを抽出できるほか、その時の検索条件などを保存して他のメンバーと共有したり、ダッシュボードに表示するパーツに流用できる。

　プランニングはエクセルをインタフェースとし、シートに書き込んだデータは直接サーバー上の多次元DBに格納される。例えば予算編成などの場合、各部門の担当者がデータを入力した時点でサーバー上で直ちに再集計されるほか、予算達成に必要な差分額を所定のルールで配賦処理するといった機能を備えている。
統計解析から業務密着型へ　高度な統計解析やデータマイニングの分野から発展してきたのがSAS InstituteやSPSSの製品だ。例えば携帯電話のキャリアが顧客ごとの通話時間や利用時間帯、データ通信/通話の種別といった膨大なデータから、数カ月以内に解約しそうな顧客を選び出す予測モデルを作ってシミュレーションするといった分野で、分析の専門家が駆使してきた領域である。

　近年は2社ともに業務密着型を標榜しており、マーケティングにおけるキャンペーンの計画/評価や流通業における顧客行動分析、金融機関向けの予測分析システムなど、ターゲットを特定したソリューションの展開に注力している。「単にダッシュボードで現状を把握するのにとどまらず、将来を予測する分野で強みを出していく」（SAS Institute Japanの池本洋信ビジネス開発部長）という。

はてな Livedoor Yahoo Google Delicius

]]>

オープンソースBI「Pentaho」とは - オープンソースBI「Pentaho」徹底解説

Pentahoとは　Pentahoは、プロフェッショナル向けに作られたオープンソースのBI（Business Intelligence）ツールです。オープンソースでありながらベンダーによるサポートを受けられるのが大きな特徴です（サポート費用は安価です）。

　PentahoはBIスイートであり、レポーティング、インタラクティブ（対話型）分析、ダッシュボード、データ統合/ETL（Extract/Transform/Load）、データ・マイニング、その他、BIプラットフォームとBIに必要なすべての機能が用意されています。

　Pentahoはまた、オープンソース・コミュニティによる度重なる開発・再配布によって、先進技術と柔軟性を備えています。大規模なエンタープライズでの利用はもちろん、現場レベルでの簡易分析といった中小規模の導入にも向いています。BIスイートに含まれるすべての機能を利用する使い方のほか、ビジネス条件に合わせて必要な機能のみを利用する使い方も可能です。

　エディションとしては、無償版の「コミュニティ・エディション」（CE）、有償版の「エンタープライズ・エディション」（EE）があり、EEではソフトウエアが保証され、ベンダーによるプロフェッショナル・サポートを受けることができます。また、ダッシュボード・デザイナやアナライズ・レポートなど、EE独自の機能を備えています（図1）。

　本連載では、オープンソースBIであるPentahoの紹介するとともに、コミュニティ・エディションをベースとした導入方法から実際の使い方までを解説します。
なぜオープンソースなのか　Pentaho BIプロジェクトでは、オープンソース・コミュニティの中から生まれた各種のBIソフト群を提供しています。商用BIツールと違い、世界中の何百人単位にもなるオープンソース・コミュニティから生まれているため、素早く先進技術を取り入れることができます。

　また、個々の機能ごとにプロジェクトが独立しているため、システムを一括して導入する必要はなく、既存システムの状況や予算に応じて段階的にBIシステムを導入することが容易です。これにより、「導入しても使い切れない」というリスクを大幅に減らすことができます。

　もちろん、オープンソースであるため、高額なライセンス料もかかりません。特に、初めてBIを導入する場合、オープンソースを利用するメリットは大きいと言えます。

　次ページからは、Pentaho BIスイートの特徴を紹介するとともに、Pentahoソフトウエアのダウンロードからインストールまでを解説します。

はてな Livedoor Yahoo Google Delicius

]]>

決勝スタート！最初にインストールするのは誰？ - INSTALL MANIAX 3 決勝大会・表彰式

インストールマニアックスとは　インストールマニアックスは、2008年に開催された「インストールマニアックス2008」に端を発する大会です。すでに「インストールマニアックス2008」、「インストールマニアックス2009 TETSUJIN」、そして今回の「インストールマニアックス3 Hyper-V祭り」と3回の歴史があります。

　第1回大会（http://tedia.jp/installmaniax/2008/）は、2008年12月29日から2009年1月13日までの16日間にわたって「公募された100名の参加者がWindows Web Server 2008上のIIS7にOSSをいくつインストールできるか」という、他に例を見ない企画内容で開催されました。「IIS７に対応するOSSがそもそもどれだけあるのか分からない」、「IIS7で動作が保証されていないOSSもある」、「動作が確認されていても設定次第ではインストールに失敗する」。こんな難題に、挑戦しようという試みです。

　もともとは「洒落でサーバ100台提供して競い合わせる企画っておもしろくない？」という他愛ない一言から始まったそうです。実際に参加者を募り、サーバーを配布し、インストール本数を競うのは日本のみならず、世界でも注目されました（参考：Japanese LAMP Engineers Visit Redmond：http://port25.technet.com/archive/2009/03/10/japanese-lamp-engineers-visit-redmond.aspx）。誉ある初代優勝者は、本大会でもリアルタイムツイートを担当する田中主夫さんでした。

　第2回大会（http://www.thinkit.co.jp/maniax/2009/）は、2009年5月1日から2009年5月14日までの14日間にわたって「公募された500名の参加者が、Windows Web Server 2008の64ビット版上のIIS7にOSSをいくつインストールできるか」というテーマで開催されました。

　第2回から予選・決勝方式が導入されました。インストール数が100を超えるという厳しい予選を勝ち抜いた上位5名による決勝戦は、マイクロソフト新宿本社にて、予選上位5名と第1回大会優勝者の6名によるタイムトライアル方式で行われました。優勝者は、今回ディフェンディングチャンピオンとして参加する三浦剛史さんです（参考：第2回決勝大会・表彰式レポート：http://thinkit.jp/article/975/1/）。仮想化の海を制覇せよ！第3回大会　2010年2月27日、明星大学にて行われたオープンソースカンファレンス2010内のイベントとして「インストールマニアックス3 Hyper-V祭り」の決勝戦が盛大に開催されました。当日は朝から天気がすぐれず、決勝戦での波乱を予感させました。

　3回目の開催となる今大会の予選では、2009年12月26日から2010年1月12日までの18日間にわたって「Hyper-V Server上の仮想環境にWindows Web Server 2008 R2をインストールし、仮想環境上のIIS7.5にOSSをいくつインストールできるか」というテーマで開催されました。

　アジア各国で選抜された代表が一堂に会し、頂点を決めるというアジア大会の計画もありましたが、残念ながら諸般の事情によりアジア大会は中止となりました。しかし、それでも第3回大会は過去の記録が大幅に塗り替えられる大会となったのです。

　準備の進む会場では、ライブ中継用のカメラやプロジェクター、オリンピックで使われるようなスポーツタイマーが設置され、本格的な雰囲気にが漂ってきました。また祭りにちなんで運営側のスタッフにはハッピが配られ、よりお祭りらしいムードを演出します。

　そして迎えた13時。いよいよ選手の入場が始まりました。

はてな Livedoor Yahoo Google Delicius

]]>

大規模化していくデータ・ウエアハウス - 大規模化するDWHに挑む

はじめに～大規模化するDWH　今回から4回にわたり、「大規模化するDWHに挑む」と題して、年約20％の勢いで成長しているデータ・ウエアハウス（以下、DWH）分野の「光と影」を執筆します。少しでも読者の皆さまの役に立てれば幸いです。

　4回分のアジェンダは、以下の通りです。

第1回 - 大規模化していくDWH
第2回 - DWHの大規模化における解決策
第3回 - 大規模化するDWHのチューニング
第4回 - DWHのクラウド化サービスと事例

　第1回では、大規模化していくDWHの背景と、各企業が抱える課題について考察します。

　第2回では、各企業が抱える課題に対して、各種の解決策（ソリューション）をセグメントし、それぞれの特長を考察します。

　第3回では、DWH向けの個々の解決策について、SEの視点に立ったチューニング・ポイントを解説します。

　第4回では、パブリック・クラウド事業者がネットワーク・サービスとして提供するDWHサービスを、事例を含めて紹介します。
DWHが大規模化する背景　それではまず、DWHが大規模化していく背景を考察します。

　DWHの規模は、3つの軸で決まり、扱うデータ量は、これらの積として表現できます（図1）。図では、3つの軸のうち、どれかが2倍になると、体積も2倍になります。3つの軸のうちの2つの軸が同時に2倍になれば、体積は4倍に、3つとも2倍になれば8倍になります。DWHのデータ量は、施策によってすぐに数倍に増えてしまうものであることが理解できます。

　さまざまな統計がありますが、現在、世界全体で年率約65％、日本でも約20％（ともにCAGR＝年平均成長率）の勢いで年々データが増え続けています。世界全体のデータ量は、2007年時点で約281EB（エクサ・バイト）であり、2011年には約1.8ZB（ゼタ・バイト）という途方もない数字になると言われています。

　DWHで扱うデータ量が増大している背景には、現在のビジネス環境が大きく変化していることがベースにあります。

　リーマン・ショック（Lehman Shock）以降、ビジネス環境はますます厳しくなり、さまざまなビジネス市場でシュリンク（縮小）と寡占化が進んでいます。各企業は、今まで以上に有効なビジネス戦略を立案して実践しなくては生き残れなくなったのです。

　現在の企業が実践すべき戦略は、以下の4つにセグメンテーションできます。

（1）経営の高度化
（2）グローバル化
（3）企業統合、提携の増加
（4）法規制などによる対応

　次ページ以降では、ビジネス環境の変化を受けた、これらの戦略について解説します。

はてな Livedoor Yahoo Google Delicius

]]>