Metaの新オープンLLMLlama 3の全貌とHugging Faceでの活用法

Metaは言語モデル・Llamaファミリーの最新作「Llama 3」を発表し、さらなる技術革新を示唆しています。
この記事では、Llama 3が備える新機能や、それがもたらすインパクト、そしてHugging Faceでの応用可能性について分かりやすく解説していきます。

新しいトークナイザーやLlama Guardなどの機能向上はもちろんのこと、Hugging Faceエコシステムとの統合により、幅広いプラットフォームでの利用が可能です。
AI技術の最先端を行くLlama 3の全貌に迫る内容を、ぜひご一読ください。

Metaの新世代AI「Llama 3」公開について

2024年4月18日にMetaは、Llamaファミリーの新しいメンバー「Llama 3」を公開しました。この新しいオープンアクセスの言語モデルは、消費者向けハードウェアに最適化された8Bと70Bの2つのサイズで展開されます。

Llama 3は、以前のバージョンであるLlama 2のアーキテクチャをベースにしていますが、いくつかの新しい特徴が追加されています。

たとえば、新しいトークナイザーを使用して語彙サイズが拡大され、より効率的なテキストのエンコードが可能になりました。また、安全性を考慮した新バージョンの「Llama Guard」もリリースされ、リスクのあるコンテンツを検出することができます。

Llama 3は、Hugging Faceエコシステムに完全に統合されており、さまざまなプラットフォームで利用可能です。

Llama3のベンチマークスコア (参考:Meta)

Llama 3の新機能とその利点

Llama 3は、4つのモデルバリアントを提供します。それぞれのサイズ（8Bと70B）にはベースとインストラクションチューニングされたバージョンがあります。新しいトークナイザーの採用により、語彙サイズが128,256まで増加しました。

これにより、多言語性が向上し、テキストをより効率的にエンコードすることが可能になります。さらに、8BバージョンはGrouped-Query Attentionを使用しており、より長いコンテキストでの作業に役立ちます。

Llama Guard2は、製品ユースケースに特化した安全ファインチューニングされたモデルであり、不適切なコンテンツの検出に役立ちます。

Llama 3のトレーニングと評価

Llama 3は、15トリリオン以上のトークンでトレーニングされた大規模なモデルで、24,000のGPUを搭載したクラスタでトレーニングされました。データキュレーションが改善された結果、パフォーマンスが向上しています。

特に注目すべきは、Llama 3 Instructモデルで、これは対話アプリケーションに最適化されており、人間による注釈付きデータサンプルを用いてトレーニングされています。

Llama 3のリリースには、再配布、ファインチューニング、派生作品の許可を含む寛容なライセンスが付いており、新たに帰属の要件が追加されています。

Llama 3のプロンプト方法とデモ

Llama 3モデルは、プロンプトを用いて自然言語を生成することができます。ベースモデルは、ゼロショットやフューショット推論に使用することができる一方で、インストラクトバージョンは特定の会話構造を使用します。

これにより、効果的なコミュニケーションが可能になります。Hugging Chatを通じてLlama 3 70B instructを使用したチャットデモも公開されており、実際にAIとの対話を体験することができます。

Llama 3の統合と活用法

Llama 3はHugging Faceエコシステムで広範囲に活用できます。Transformersリリース4.40を使用することで、さまざまなトレーニングや推論スクリプト、安全なファイルフォーマット、ツールとの統合が可能になります。

また、torch.compile()やCUDAグラフとの互換性により、推論時の高速化にも寄与します。Llama 3モデルは、Inference Endpointsを通じてHugging Face上にデプロイすることができ、Google CloudやAmazon SageMakerとの統合もサポートされています。

これにより、開発者は簡単にAI機能をアプリケーションに組み込むことができます。

出典:Hugging Face