秘密厳守WEBからお問い合わせまずは資料請求
AI総合研究所

Metaの新オープンLLMLlama 3の全貌とHugging Faceでの活用法

この記事のポイント

  • Llama 3は高性能でセキュリティに配慮した特徴があり、異なるサイズで提供されます。
  • Hugging Faceエコシステムに完全に統合され、様々なプラットフォームでの利用が可能です。
  • 新しいトークナイザーの採用により、多言語性と効率的なテキストエンコーディングが向上しています。
  • Google CloudやAmazon SageMakerとも統合され、開発者は容易にAI機能をアプリケーションに組み込むことができます。

監修者プロフィール

坂本 将磨

Microsoft AIパートナー、LinkX Japan代表。東京工業大学大学院で技術経営修士取得、研究領域:自然言語処理、金融工学。NHK放送技術研究所でAI、ブロックチェーン研究に従事。学会発表、国際ジャーナル投稿、経営情報学会全国研究発表大会にて優秀賞受賞。シンガポールでのIT、Web3事業の創業と経営を経て、LinkX Japan株式会社を創業。

Metaは言語モデル・Llamaファミリーの最新作「Llama 3」を発表し、さらなる技術革新を示唆しています。
この記事では、Llama 3が備える新機能や、それがもたらすインパクト、そしてHugging Faceでの応用可能性について分かりやすく解説していきます。

新しいトークナイザーやLlama Guardなどの機能向上はもちろんのこと、Hugging Faceエコシステムとの統合により、幅広いプラットフォームでの利用が可能です。
AI技術の最先端を行くLlama 3の全貌に迫る内容を、ぜひご一読ください。

thumbnail

Metaの新世代AI「Llama 3」公開について

2024年4月18日にMetaは、Llamaファミリーの新しいメンバー「Llama 3」を公開しました。この新しいオープンアクセスの言語モデルは、消費者向けハードウェアに最適化された8Bと70Bの2つのサイズで展開されます。

Llama 3は、以前のバージョンであるLlama 2のアーキテクチャをベースにしていますが、いくつかの新しい特徴が追加されています。

たとえば、新しいトークナイザーを使用して語彙サイズが拡大され、より効率的なテキストのエンコードが可能になりました。また、安全性を考慮した新バージョンの「Llama Guard」もリリースされ、リスクのあるコンテンツを検出することができます。

Llama 3は、Hugging Faceエコシステムに完全に統合されており、さまざまなプラットフォームで利用可能です。

llama3ベンチマーク
Llama3のベンチマークスコア (参考:Meta)

Llama 3の新機能とその利点

Llama 3は、4つのモデルバリアントを提供します。それぞれのサイズ(8Bと70B)にはベースとインストラクションチューニングされたバージョンがあります。新しいトークナイザーの採用により、語彙サイズが128,256まで増加しました。

これにより、多言語性が向上し、テキストをより効率的にエンコードすることが可能になります。さらに、8BバージョンはGrouped-Query Attentionを使用しており、より長いコンテキストでの作業に役立ちます。

Llama Guard2は、製品ユースケースに特化した安全ファインチューニングされたモデルであり、不適切なコンテンツの検出に役立ちます。

Llama 3のトレーニングと評価

Llama 3は、15トリリオン以上のトークンでトレーニングされた大規模なモデルで、24,000のGPUを搭載したクラスタでトレーニングされました。データキュレーションが改善された結果、パフォーマンスが向上しています。

特に注目すべきは、Llama 3 Instructモデルで、これは対話アプリケーションに最適化されており、人間による注釈付きデータサンプルを用いてトレーニングされています。

Llama 3のリリースには、再配布、ファインチューニング、派生作品の許可を含む寛容なライセンスが付いており、新たに帰属の要件が追加されています。

Llama 3のプロンプト方法とデモ

Llama 3モデルは、プロンプトを用いて自然言語を生成することができます。ベースモデルは、ゼロショットやフューショット推論に使用することができる一方で、インストラクトバージョンは特定の会話構造を使用します。

これにより、効果的なコミュニケーションが可能になります。Hugging Chatを通じてLlama 3 70B instructを使用したチャットデモも公開されており、実際にAIとの対話を体験することができます。

Llama 3の統合と活用法

Llama 3はHugging Faceエコシステムで広範囲に活用できます。Transformersリリース4.40を使用することで、さまざまなトレーニングや推論スクリプト、安全なファイルフォーマット、ツールとの統合が可能になります。

また、torch.compile()やCUDAグラフとの互換性により、推論時の高速化にも寄与します。Llama 3モデルは、Inference Endpointsを通じてHugging Face上にデプロイすることができ、Google CloudやAmazon SageMakerとの統合もサポートされています。

これにより、開発者は簡単にAI機能をアプリケーションに組み込むことができます。

出典:Hugging Face

AI活用のノウハウ集「AI総合研究所」サービスご紹介資料

「AI総合研究所 サービス紹介資料」は、AI導入のノウハウがないというお客様にも使いやすい最先端のAI導入ノウハウを知れる資料です。

資料ダウンロード
監修者

坂本 将磨

Microsoft AIパートナー、LinkX Japan代表。東京工業大学大学院で技術経営修士取得、研究領域:自然言語処理、金融工学。NHK放送技術研究所でAI、ブロックチェーン研究に従事。学会発表、国際ジャーナル投稿、経営情報学会全国研究発表大会にて優秀賞受賞。シンガポールでのIT、Web3事業の創業と経営を経て、LinkX Japan株式会社を創業。

関連記事

AI導入の最初の窓口。

お悩み・課題に合わせて活用方法をご案内いたします。
お気軽にお問合せください。

ご相談
お問い合わせは
こちら!