AI対応のCephストレージ
by Canonical on 7 May 2024
オープンソースのCephストレージでAIビジョンを強化
今やあらゆる企業がAIの活用に関心を持っています。既存のデータから業務の分析情報や利益を引き出し、コストを削減できることから、AI技術は変化に消極的な企業にさえ驚くほどの速度で広がっています。
しかしこのような情報、節約、利益をもたらすAIシステムは大量のデータへのアクセスに依存します。性能と信頼性の高いストレージシステムがなければ、たとえ最先端のAIソリューションでも速やかに結果は出せません。しかも新しいAI関連のワークロードが既存のビジネスアプリケーションに影響を与えてはなりません。どちらも協調して動作する必要があります。
このブログ記事では、AIソリューションが必要とするストレージシステムおよび使用するデータの種類について検討します。また、AI関連のデータと標準的なビジネスデータの両方を保存する選択肢の1つとしてCephをご紹介します。
AIが必要とするストレージ
新しいAIアプリケーションは、ストレージシステムにさまざまな負担をかけ、要件を課します。ここでは新しいAIワークロードに対応するためにストレージシステムに何が必要かを説明します。
高いスループット
AIワークロードは多くのデータに高速でアクセスする必要があります。まず未処理のデータを読み、次に処理した出力を書き込みます。 数百GBps、果ては1TBps以上が求められることも少なくありません。
Cephなどのストレージソリューションは、キャッシュ機能の追加によって大量の書き込み処理に対応し、スケールアウトによってシステムスループット全体を引き上げます。
拡張性
未来のAIインフラストラクチャが現在のAIインフラストラクチャと同じとは限りません。ストレージシステムは、容量やスループットの拡張ニーズだけでなく、ハードウェアを組織のインフラストラクチャの他の場所で再利用する場合にはスケールダウンにも対応する必要があります。
柔軟性
拡張性に続き、ストレージシステムにはさまざまなAIワークロードに対応する柔軟性も必要です。すべてのデータが同等ではありません。他より重要なデータもありますし、時が経って価値が変化する場合もあります。たとえば銀行の取引データについて言えば、利用者は最初の30~60日に残高の確認や月末の明細表示を利用することが多く、3年後はそれほどでもありません。それでもデータを保管し、必要なときにアクセスできるようにすることは重要です。
したがってストレージシステムは複数のストレージ層を提供してこのニーズに対応する必要があります。Cephのようなストレージシステムではユーザーが異種のハードウェアを組み合わせ、システムニーズに応じて混用することができます。
信頼性
ストレージシステムの最も重要な役割はデータの保存です。性能が高くてもデータ保存の信頼性が低いストレージシステムは役立たずです。データを生成あるいは処理しても後で取得できないなら意味がありません。Cephのようなソリューションではユーザーが保護方針に応じて複製やイレイジャーコーディングを選択できます。ビジネス価値と保存コストのバランスを取るシステム構成が必要だからです。
AIデータの種類
質の高いストレージシステムに必要な特性を理解したところで、AIアプリケーションの一般的なデータの種類を考えてみましょう。AIデータは1種類ではありません。AIモデルの開発、トレーニング、デプロイのさまざまな段階で複数の種類のデータが使用されます。
未処理および前処理済みのデータ
これは、チャットツール、メールアーカイブ、CCTVの録画、サポートコールの録音、自動運転車のテレメトリなど、あらゆるアプリケーションやシステムから抽出/取得されたソースデータです。データには、データベースのテーブル、テキスト、画像、音声、動画などあらゆる形態があります。
システムから抽出されたこのようなデータは一般に、トレーニングに利用しやすいよう前処理されます。前処理によって後で重複する処理を省くこともでき、時間とコンピューティングリソースが節約されます。規制コンプライアンスの目的でデータを匿名化するデータセット前処理もあります。
トレーニング用のデータセット
トレーニング用のデータセットとは一般に、AIモデルのトレーニングに使用される前処理済みのデータです。このデータセットの優れた点は、期待されるモデル出力がすでに定義されていることです。これらのデータセットを保存すれば、モデルの改良やパフォーマンスの評価に使用できます。
モデル
AIモデルの構造(階層やノード)は、モデルを将来的に再デプロイできるよう確実に保存する必要があります。また、AIモデルにはモデルのトレーニング中に調整可能なパラメータや重みが含まれます。将来的にこれらの変数を調整すれば、モデルの微調整や推論ロールでのデプロイが可能となります。
結果
これは、インポート、前処理、トレーニング、デプロイの全段階で最も重要です。出力、つまり推論データは一般に最もビジネスに有用なデータであり、いつでも使えるよう保存する必要があります。監査や将来の改良のために長く保持する場合もあります。
AIストレージのオープンソースオプション
求めるものすべて(コスト、速度、柔軟性、拡張性、多種多様なデータセットや種類のサポート)を備えたストレージソリューションはなかなかありません。プロプライエタリのストレージは柔軟性に欠け、パブリッククラウドサービスは事業の成長とともにコストがかさみます。この2つの分野ではインハウスのオープンソースソリューションが最適解となるでしょう。
CanonicalのCephは、エッジから大規模なAIモデリングまであらゆる規模とワークロード、そしてあらゆるストレージプロトコルに対応するストレージソリューションです。パフォーマンス、容量、アクセスニーズの異なる混合ワークロードもすべて1つのクラスターで対応できます。Cephのスケールアウト性を生かし、ハードウェアを段階的に追加してパフォーマンスや容量のニーズを満たすことも可能です。
ブロック
ブロックストレージが必要な場合は、拡張性の高いマルチパスネイティブのブロックトランスポートであるRADOS Block Device(RBD)プロトコルを使用できます。レガシー環境をサポートするため、ゲートウェイ経由でiSCSIにも対応します。将来のリリースではNVMeoFもサポートされる予定です。
ファイル
共有ファイルのストレージには、CephFS(CephのネイティブPOSIX互換プロトコル)またはNFSプロトコル(ゲートウェイ経由)のいずれかを使用します。
オブジェクト
Cephクラスターでは、S3 APIとSwift APIの両方と互換性のあるオブジェクトストレージAPIも完全にサポートされています。
その他のリソース
- Cephとは
- ホワイトペーパー – 企業向けのソフトウェア定義ストレージに関するガイド
- ブログ – Cephのセキュリティ機能でデータを保護
- ブログ – CentOSのサポート終了(EOL)– Cephストレージへの影響は?
- ブログ – MicroCephを使用したエッジストレージ
その他の情報
Canonicalのオープンソースインフラストラクチャソリューションについてお読みください。
ニュースレターのサインアップ
関連記事
CentOSのサポート終了(EOL)– Cephストレージへの影響は?
暗闇から光の中へ、新たな前進 2020年に、CentOS ProjectはCentOS Streamのみに注力することを発表しました。つまりCentOS 7がRed Hat Enterprise Linuxと共通性を持つ最後のリリースです。2024年6月30日のCentOS 7のサポート終了(EOL)により、OSのセキュリティ更新、パッチ、新機能のリリースがなくなります。 このバージョンのCentOSにCephをデプロイすると、将来の困難は見えています。EOLの課題を切り抜ける方法はいくつかありますが、それぞれに短所があります。 リスク 何もしなければ、デプロイメントが古くなるにつれてCephの新しいバージョンにアップグレードする道がなくなり、新しい機能を得られなくなりま […]
クラウドストレージのセキュリティに関するベストプラクティス
Cephのセキュリティ機能でデータを保護 クラウドストレージシステムにデータを安全に保存するには データはあらゆる組織にとって貴重な資産であり、紛失や漏洩は大惨事になりかねません。システム障害を防げなければ、業務データを失い、営業不能に陥って経営破綻に至る可能性もあります。機密データが漏洩すれば、企業は評判を落とすだけでなく巨額の罰金を科されます。 今回のブログ記事では、こうしたリスクに注目するとともにCephのセキュリティ機能でリスクを軽減する方法を説明します。まず、最も一般的なデータ侵害の例を挙げましょう。 物理的な盗難/輸送 ストレージ関連のハードウェア、ディスク、またはストレージシステム全体が失われると、機密情報が漏洩する可能性があります。たとえば従来の盗難です。 […]
UbuntuとNVIDIA AI WorkbenchでAI開発を加速
CanonicalはNVIDIA AI Workbenchを通じてNVIDIAとのコラボレーションを拡大します。NVIDIA AI Workbenchはワークステーション、データセンター、クラウドデプロイメントすべてでサポートされます。 NVIDIA AI Workbenchという使いやすいツールキットにより、開発者は各自のPCまたはワークステーションでAIや機械学習のモデルを作成、テスト、カスタマイズした後、データセンターやパブリッククラウドに展開できます。インタラクティブな開発ワークフローが簡素化され、初心者にも専門家にも厄介な技術的作業が自動化されます。AIとMLの共同開発が、あらゆるプラットフォームでスキルレベルを問わず可能になりました。 データサイエンス、人工知 […]