この記事のポイント
本記事は、AIワークフローの民主化を目指し、NVIDIAとUnion.aiが協力している内容を紹介しています。- NVIDIA DGX Cloudを用いることで、高度なコンピューティングリソースへのアクセスが容易になることを示しています。
- GPUリソースの制約なしに革新的な計算能力を利用可能にするUnionのNVIDIA DGX Agentの利便性に触れています。
監修者プロフィール
坂本 将磨
Microsoft AIパートナー、LinkX Japan代表。東京工業大学大学院で技術経営修士取得、研究領域：自然言語処理、金融工学。NHK放送技術研究所でAI、ブロックチェーン研究に従事。学会発表、国際ジャーナル投稿、経営情報学会全国研究発表大会にて優秀賞受賞。シンガポールでのIT、Web3事業の創業と経営を経て、LinkX Japan株式会社を創業。
AIの世界における革新的な進化が見逃せない現代において、GPUの能力は重要性を増しており、特に人工知能トレーニング分野でその力を大いに発揮しています。
本記事では、AIワークフローを民主化するためにNVIDIAとUnion.aiが行なっているコラボレーションに焦点を当て、GPU技術とクラウドソリューションの組み合わせが新たなワークフロー管理をどのように刷新するかを掘り下げていきます。
NVIDIA DGX Cloudによる最先端のコンピューティングリソースの提供から、オープンソースプロジェクトFlyteを活用した効率化の具体例、さらにはUnionのNVIDIA DGX AgentによるGPUリソース利用の容易さに至るまで、AI開発の効率向上を図る最新の動向をお伝えします。
Union.ai と NVIDIA DGX Cloud のコラボレーションで AI ワークフローを民主化
Union.ai とNVIDIA は、AIワークフローの民主化を目指してコラボレーションを開始しました。
NVIDIA DGX Cloudは、最先端のコンピューティングリソースを提供し、ユーザーはインフラストラクチャの調達、セットアップ、構成の手間をかけずにアクセスできるようになります。
GPUはAI革命の重要な要素の1つになっており、大規模で複雑な半構造化データセットの処理やディープラーニングのワークロードの処理に利用されています。
NVIDIA DGX Cloudは、ユーザーがこれらのリソースに簡単にアクセスできるようにすることで、AI開発チームがディープラーニングの限界を押し広げることを可能にします。
*参考:NVIDEA)
Flyte を使った AI ワークフローの効率化
Flyte は、データと機械学習のパイプラインを再現性と拡張性を持たせることを目的としたオープンソース プロジェクトです。
タスク、ワークフロー、宣言型リソース管理、エージェントなどの機能を活用することで、AI ワークフローの効率化を実現します。
LLMの微調整とデプロイのための概略図 (参考:replit)
例えば、Databricks タスク構成を使用して Databricks クラスターでタスクを実行したり、Flyte のネイティブ アクセラレータ宣言構文を使用して GPU を活用したりできます。
また、Flyte を使用することで、データのダウンロード、前処理、トークナイザーのトレーニング、GPU トレーニング、モデルをデプロイするための手動承認などの微調整手順を効率的に管理できます。
Union の NVIDIA DGX Agent で最先端の GPU リソースを簡単に利用
Unionの NVIDIA DGX Agent を使うと、コード内の 1 行の構成変更で、DGX Cloud の機能を簡単に活用できます。
これにより、GPU リソースの制約を受けることなく、最先端のアクセラレーテッド・コンピューティングを利用することができます。
また、クラウドネイティブの BLOB ストアのデータを DGX CloudのBLOB ストレージシステムに移動するためのユーティリティも用意されています。
Union のマルチクラウドファブリックを活用することで、AI開発に集中でき、ハードウェアやクラウドサービスの管理と保守のロジスティクスに煩わされることがなくなります。
