秘密厳守WEBからお問い合わせまずは資料請求
AI総合研究所

Googleの新APIでエッジデバイス上の大規模言語モデルを効率的に展開

この記事のポイント

  • この記事はGoogleの新API「AI Edge Torch Generative API」について説明しています。
  • 開発者はこのAPIを使用してエッジデバイス上で大規模言語モデルを簡単に展開できます。
  • APIはCPUに最適化されており、将来的にはGPUやNPUにも対応予定です。
  • 推論効率の向上をサポートする複数の便利な機能が提供されています。
  • Googleは開発者コミュニティの協力を通じてAPIの機能拡張を進めています。

監修者プロフィール

坂本 将磨

Microsoft AIパートナー、LinkX Japan代表。東京工業大学大学院で技術経営修士取得、研究領域:自然言語処理、金融工学。NHK放送技術研究所でAI、ブロックチェーン研究に従事。学会発表、国際ジャーナル投稿、経営情報学会全国研究発表大会にて優秀賞受賞。シンガポールでのIT、Web3事業の創業と経営を経て、LinkX Japan株式会社を創業。

Googleがエッジデバイス上での大規模言語モデル展開を容易にする新たなAPI「AI Edge Torch Generative API」を発表しました。
このAPIは、CPU上でも高性能なカスタムトランスフォーマーモデルを構築する手助けをし、将来的にはGPUやNPUにも対応を予定しています。

GoogleのTensorFlow Liteとの互換性も備え、モバイルやウェブへの拡張も可能に。
開発者は、最適化されたモデル構築や推論機能、ウェイトマッピングが簡単に実現でき、APIを通じてPyTorchモデルをTFLiteフォーマットへ変換し、パフォーマンスの最適化を図れます。

Googleは今後のアップデートに向けて開発者コミュニティの貢献を募り、AIアプリケーション開発のさらなる進化を支援します。

thumbnail

AI Edge Torch Generative APIの立ち上げ

Googleが新たに発表したAI Edge Torch Generative APIは、開発者がエッジデバイス上で大規模言語モデルを作成し、展開する手助けをするツールです。
このAPIは、特にトランスフォーマーモデルのカスタマイズを簡単にし、CPU上でも高いパフォーマンスを発揮するよう設計されています。

将来的にはGPUやNPUにも対応する予定で、開発者が広範なデバイスに対応したアプリケーションを作れるようになります。

AI Edge Torch Generative APIのベンチマーク
各モデルのデバイス別ベンチマーク


このAPIはGoogleのTensorFlow Lite(TFLite)とも互換性があり、AndroidやiOS、Webアプリケーションにも対応しています。
このおかげで、開発者はモバイルやウェブといった多様なプラットフォームでの言語モデルの利用が容易になります。

開発者向けの新機能とサポート

開発者は、AI Edge Torch Generative APIを利用することで、最適化されたトランスフォーマーブロックを使用し、ウェイトリマッピングを簡単に行うことができます。
これにより、手作業で最適化されたバージョンのトランスフォーマーモデルに近い90%以上のパフォーマンスを保つことが可能です。

また、Pythonを用いて、モデルの構造や推論機能、ウェイトマッピングを簡単に定義できるため、TinyLlamaのようなモデルの再ソーシングが容易に行えます。
APIは、PyTorchモデルをTFLiteフォーマットに変換し、量子化を含むパフォーマンスの最適化を支援します。

さらに、推論効率を向上させるマルチシグネチャエクスポートやパフォーマンスチューニングツールなど、開発者が使える多くの便利な機能を提供しています。

今後のアップデートと開発者コミュニティへの貢献

Googleのブログ投稿では、AI Edge Torch Generative APIの機能やTinyLlamaモデルの変換例、パフォーマンス最適化の戦略などが紹介されています。

GoogleはGitHubを通じて、APIの開発への貢献を募っており、開発者コミュニティによる協力を推奨しています。
今後のアップデートでは、Webサポートの向上、より良い量子化、そして拡張されたコンピューティングオプションが示唆されており、APIの機能がさらに拡張されることが期待されます。

開発者は、このAPIを使ってエッジデバイス上でのAIアプリケーション開発を進めることができ、将来的にはより多様なデバイスでのパフォーマンス向上が見込まれます。

Googleからのその他のアップデート

AI Edge Torch Generative APIのリリースだけでなく、GoogleはGoogle Payのアップデート、"Build with Google AI"ビデオシリーズの新シーズン、KotlinConf 2024でのKotlinによるマルチプラットフォーム開発に関する洞察など、様々な新しい情報を発表しました。

これにより、開発者はGoogleのサービスをより深く理解し、活用することが可能になります。
また、開発者向けのサポートプログラムも強調され、複数の言語で利用可能な開発者コンソールに関する情報が提供されています。

出典:Google

AI活用のノウハウ集「AI総合研究所」サービスご紹介資料

「AI総合研究所 サービス紹介資料」は、AI導入のノウハウがないというお客様にも使いやすい最先端のAI導入ノウハウを知れる資料です。

資料ダウンロード
監修者

坂本 将磨

Microsoft AIパートナー、LinkX Japan代表。東京工業大学大学院で技術経営修士取得、研究領域:自然言語処理、金融工学。NHK放送技術研究所でAI、ブロックチェーン研究に従事。学会発表、国際ジャーナル投稿、経営情報学会全国研究発表大会にて優秀賞受賞。シンガポールでのIT、Web3事業の創業と経営を経て、LinkX Japan株式会社を創業。

関連記事

AI導入の最初の窓口。

お悩み・課題に合わせて活用方法をご案内いたします。
お気軽にお問合せください。

ご相談
お問い合わせは
こちら!