Googleの新APIでエッジデバイス上の大規模言語モデルを効率的に展開

Googleがエッジデバイス上での大規模言語モデル展開を容易にする新たなAPI「AI Edge Torch Generative API」を発表しました。
このAPIは、CPU上でも高性能なカスタムトランスフォーマーモデルを構築する手助けをし、将来的にはGPUやNPUにも対応を予定しています。

GoogleのTensorFlow Liteとの互換性も備え、モバイルやウェブへの拡張も可能に。
開発者は、最適化されたモデル構築や推論機能、ウェイトマッピングが簡単に実現でき、APIを通じてPyTorchモデルをTFLiteフォーマットへ変換し、パフォーマンスの最適化を図れます。

Googleは今後のアップデートに向けて開発者コミュニティの貢献を募り、AIアプリケーション開発のさらなる進化を支援します。

AI Edge Torch Generative APIの立ち上げ

Googleが新たに発表したAI Edge Torch Generative APIは、開発者がエッジデバイス上で大規模言語モデルを作成し、展開する手助けをするツールです。
このAPIは、特にトランスフォーマーモデルのカスタマイズを簡単にし、CPU上でも高いパフォーマンスを発揮するよう設計されています。

将来的にはGPUやNPUにも対応する予定で、開発者が広範なデバイスに対応したアプリケーションを作れるようになります。

各モデルのデバイス別ベンチマーク

このAPIはGoogleのTensorFlow Lite（TFLite）とも互換性があり、AndroidやiOS、Webアプリケーションにも対応しています。
このおかげで、開発者はモバイルやウェブといった多様なプラットフォームでの言語モデルの利用が容易になります。

開発者向けの新機能とサポート

開発者は、AI Edge Torch Generative APIを利用することで、最適化されたトランスフォーマーブロックを使用し、ウェイトリマッピングを簡単に行うことができます。
これにより、手作業で最適化されたバージョンのトランスフォーマーモデルに近い90％以上のパフォーマンスを保つことが可能です。

また、Pythonを用いて、モデルの構造や推論機能、ウェイトマッピングを簡単に定義できるため、TinyLlamaのようなモデルの再ソーシングが容易に行えます。
APIは、PyTorchモデルをTFLiteフォーマットに変換し、量子化を含むパフォーマンスの最適化を支援します。

さらに、推論効率を向上させるマルチシグネチャエクスポートやパフォーマンスチューニングツールなど、開発者が使える多くの便利な機能を提供しています。

今後のアップデートと開発者コミュニティへの貢献

Googleのブログ投稿では、AI Edge Torch Generative APIの機能やTinyLlamaモデルの変換例、パフォーマンス最適化の戦略などが紹介されています。

GoogleはGitHubを通じて、APIの開発への貢献を募っており、開発者コミュニティによる協力を推奨しています。
今後のアップデートでは、Webサポートの向上、より良い量子化、そして拡張されたコンピューティングオプションが示唆されており、APIの機能がさらに拡張されることが期待されます。

開発者は、このAPIを使ってエッジデバイス上でのAIアプリケーション開発を進めることができ、将来的にはより多様なデバイスでのパフォーマンス向上が見込まれます。

Googleからのその他のアップデート

AI Edge Torch Generative APIのリリースだけでなく、GoogleはGoogle Payのアップデート、"Build with Google AI"ビデオシリーズの新シーズン、KotlinConf 2024でのKotlinによるマルチプラットフォーム開発に関する洞察など、様々な新しい情報を発表しました。

これにより、開発者はGoogleのサービスをより深く理解し、活用することが可能になります。
また、開発者向けのサポートプログラムも強調され、複数の言語で利用可能な開発者コンソールに関する情報が提供されています。

出典:Google