Hadoop によるエンタープライズ アプリケーションのデータ階層化

世界中の企業でデジタル変革が急速に進む中、すべてのCIOは、自社のインフラストラクチャがデータ量の増加に対応できるかどうかを知りたいと考えています。実際、ガートナーの調査によると、回答者の47%がデータ量の増加をデータセンターにおけるインフラストラクチャの最大の課題として挙げています。

データセットが大きくなりすぎると、アプリケーションのパフォーマンスが低下し、インフラストラクチャが追いつかなくなります。データ量の増加は、データセンター、パフォーマンス、可用性、メンテナンス、さらにはコンプライアンスなど、あらゆる面でコスト、コンプライアンス、複雑さの増大につながります。

バッチ プロセスが予定された完了時間に間に合わなくなるため、システムの可用性に影響が出ます。ERP アップグレード サイクル中にデータを変換するために必要な「停止期間」は、数時間から数日に及ぶ可能性があります。データの移動やコピーに非常に時間がかかるようになるため、レプリケーションや災害復旧などの他の重要なプロセスにも影響が出ます。

放置すれば、データの増加はガバナンス、リスク、コンプライアンス上の課題を生み出す可能性があります。GDPR 、 CCPA、HIPAA、PCI DSS、FISMA、SAS 70といった規制はすべて、組織がデータセキュリティとコンプライアンスのためのコンプライアンスフレームワークを確立することを求めています。日々膨大なデータが生成され、企業全体で定期的に共有されるようになると、企業が規制を遵守し続けることは非常に困難になります。

また、ガートナーは、一般的な本番環境のポートフォリオでは、最大 80% のデータが非アクティブである可能性があり、その結果、アプリケーションのパフォーマンスが不必要に低下し、コストが増加し、停止やコンプライアンスの問題が発生すると述べています。では、非アクティブなデータがインフラストラクチャを詰まらせたり、重要な処理に影響を与えたりしないように、データを管理するにはどうすればよいでしょうか。

私たちが導き出せる相関関係の 1 つは、データの価値はデータの古さに反比例するということです。つまり、履歴データや非アクティブなデータはアクセスや処理が少ないため、新しいデータに比べて価値が低くなります。では、なぜこのような非アクティブなデータが本番環境を圧迫し続けるのでしょうか。

効果的なILM戦略の導入は、

情報ライフサイクル管理（ILM）とは、データの作成から削除、廃棄までのライフサイクルを管理するためのデータ管理におけるベストプラクティスです。

ILM の目標は次のとおりです。

• アプリケーションのパフォーマンスを最適化する
• データのセキュリティ、リスク、コンプライアンスを管理する
• インフラコストを削減
• メンテナンスの時間とコストを削減
• データコンプライアンスの管理 (GDPR)
• 重要なデータ分析レポートを分析して生成する
• ストリーミングデータ（リアルタイムまたはTwitter）を管理する
• データの準備
• 抽出、変換、ロード

ILM は、データの古さなどの保持ポリシーに基づいて、データを最も適切なインフラストラクチャ層に移動することで、これらの目標を達成します。古いデータはアクセス頻度が低いため、価値が低く、限られた Tier 1 のパフォーマンスと容量に値しません。ILM は、データベース、SharePoint、NFS、CIFS、電子メールなどのさまざまなソースから構造化データ、ドキュメント、ファイル、画像、ドキュメントを移動することで、これらの目標を達成します。

ティア 1 インフラストラクチャはコストが高く、大容量のフラッシュ メモリ アレイと高速ストレージ エリア ネットワークを備えたマルチプロセッサ サーバーが含まれる場合があります。ティア 1 インフラストラクチャに配置されるデータは、理想的には 3 年以内のものであるべきです。ティア 1 のパフォーマンス レベルではないにしても、データへの適切なアクセスを提供しながら全体的なコストを削減するには、古い、あまり使用されていないデータを低コストのインフラストラクチャ ティアに割り当てる必要があります。

非アクティブなデータのための新しい時代のストレージの選択肢

Apache Hadoop は、強力な新しい低コストのインフラストラクチャを低階層で運用しながら、大規模なスケーラビリティとパフォーマンスを実現するように設計された、無料のオープンソース コンピューティング フレームワークです。拡張性に優れたワークロード パフォーマンスと、非常に低コストの大量データ ストレージを提供します。Hadoop は、コモディティ インフラストラクチャと分散コンピューティング モデルを活用して、Hadoop ファイル システム (HDFS) で大規模なデータ セットを並列処理します。つまり、Hadoop は従来のティア 1 インフラストラクチャに比べて大幅なコスト削減を実現します。

一方、オブジェクト ストアは、ペタバイト ストレージ範囲への拡張に役立ち、従来のファイル システム ストレージ アーキテクチャの制限をわずかなコストで克服できます。オブジェクト ストアを使用すると、組織はクラウドまたはオンプレミスに大量のデータを保存でき、データの高可用性を確保することでパフォーマンスが向上します。オブジェクトに保存されたオブジェクトは、ビッグ データ分析ツールを使用して、コンテキスト/テキストに基づいて取得、視覚化、検索できます。

次の比較を考えてみましょう。

モナッシュ大学の研究によると、ティア1データベースインフラストラクチャのコストは1TBあたり6万ドル以上です。一方、Amazon Web Services（米国西部 - 北カリフォルニア）のS3バケットストレージ1TBは、最新の料金表によると月額26ドルです。つまり、Hadoopはティア1インフラストラクチャよりも実質的に64倍も安価です。

データ階層化の説明

ERP、CRM、HCM などのエンタープライズ アプリケーションは、アプリケーション データの階層化を通じてパフォーマンスを向上させ、コストを削減する絶好の機会を提供します。

エンタープライズアーカイブは、 ILM（情報ライフサイクル管理）のアプローチを採用し、3つの処理階層をサポートすることでパフォーマンスの向上とコスト削減を実現します。

エンタープライズ アプリケーション データの階層化には、インフラストラクチャのパフォーマンスの向上、コストの削減、可用性の向上という点で大きなメリットがあります。ビジネス価値に基づいてデータを配置することで、適切なアクセスを提供しながらインフラストラクチャの使用効率が向上します。

Solix Common Data Platform – 現代のデータ駆動型組織向けの次世代データ階層化および管理プラットフォーム

Solix共通データプラットフォームは、構造化データと非構造化データの両方に対応する、統一されたデータ収集、保持管理、データ階層化、および大量データストレージソリューションです。Solix CDPは、エンタープライズアーカイブ、データレイク、データガバナンス、および高度な分析アプリケーションを備え、組織がデータ主導型のビジネス成果を達成できるよう支援します。

Solix CDP は、情報ライフサイクル管理 (ILM) フレームワークを実現します。ILM フレームワークは、ビジネス ルール、データの経過時間、およびデータの価値に基づいて、適切な層にデータをアーカイブ/移行するのに役立ちます。また、リスクとコンプライアンスの目的を満たすためのデータ ガバナンスを提供し、データの保持と分類に関するベスト プラクティスが確実に導入されるようにします。ILM ポリシーとビジネス ルールは、業界標準のコンプライアンス目的を満たすように事前構成することも、より具体的な要件を満たすようにカスタム設計することもできます。データ セキュリティを確保するために、Solix Common Data Platform (CDP) は機密データを検出して分類し、ビジネス ルールに基づいてマスキングまたは暗号化します。レコード レベルでのデータ アクセスでは、ロールベースのアクセスもサポートされています。