【Luma AI】Dream Machineとは？使い方や料金、プロンプトのコツを解説

昨今、映像や3Dモデルを生成するAI技術が注目を浴びる中、特に目が離せない存在として浮上しているのが、Luma AIです。

本記事では、Luma AIが提供する3つの画期的なサービス「Dream Machine」、「GENIE」、「Interactive scene」について、その特徴と使い方に迫ります。
一体どのような機能があり、どれほどのクオリティが期待できるのでしょうか。また、利用料金や商用利用の可否についても詳しく解説。

映像制作の現場をはじめ、さまざまな分野で役立てられるこれらのサービスの潜在能力を探ります。興味を持たれた方はぜひ、Luma AIの世界に足を踏み入れてみてください。

「AIをマーケティングに活用したいけど、具体的な方法がわからない」とお悩みではありませんか？
AI Marketerなら、効率的なコンテンツ制作と多チャネル展開が簡単に実現できます。
⇒AI Marketerの資料を見てみる

LumaAIとは

LumaAIは、高クオリティな映像や3Dモデルを生成するAIが利用できるサービスです。

アメリカ・サンフランシスコ発のサービスで、スマートフォンで撮影した動画や写真、あるいはテキストを基に3Dモデルを生成するサービスから始まり、最近では高品質な動画生成が可能なAIサービス「Dream Machine」のリリースで話題を集めています。

また、米国を代表するベンチャーキャピタルである、「a16z(Andreessen Horowitz)」が巨額の出資をしていることもあり、今後の成長に目が離せない企業の一つです。

LumaAIの対応機種

IOS/Android
App StoreおよびGoogle Storeから無料でダウンロードできます。

Web版
ブラウザ上でLuma AIを利用できるWeb版が提供されています。

Dream Machineとは

Luma AIがリリースした最新サービス「Dream Machine」

Dream Machineは、日本語プロンプトで簡単にアニメや映画で見るようなレベルのクオリティの動画を生成することができる動画生成AIです。

生成される動画は、120フレーム（24fps x 5秒）の動画になり、無料登録の場合は毎月30本作成できます。

「Dream Machine」は2024年6月12日（現地時間）にリリースされていますが、日本でも多くの話題を集めています。以下のツイートはその一部です。

【世界初：Sora並の動画生成AIが誰でも無料で使える】

3Dモデル生成で有名だったLuma AIが超クオリティの動画生成AIを一般公開

しかも、月間30枚は無料で生成可能。

実際にSoraで公開されたプロンプトを入力してもそこそこのクオリティを出せる。

やはり3Dモデル発なので、クオリティが高い。… pic.twitter.com/rwWkSxwefE

— チャエン | 重要AIニュースを毎日発信⚡️ (@masahirochaen) June 13, 2024

一体何がここまでの話題を集めているのでしょうか？
より具体的な内実に迫っていきましょう。

Dream Machineの特徴

「Dream Machine」は類似サービスと比べて、その使いやすさ・利用までのハードルに利点があります。

類似サービスとしては、OpenAIのSoraや、中国発祥の動画生成AI「可灵（Kling）」などが挙げられます。
これらのサービスは、以前から、クオリティの高い動画生成AIとして話題を集めていました。

しかし、「Sora」の利用許可は一部のユーザーにしか下りておらず、「可灵（Kling）」は中国の電話番号がないと利用することができません。
このように、今までの動画生成AIは、話題こそ大きかったものの、まだまだ身近な存在とは言えませんでした。

一方、Luma AIが発表した「Dream Machine」は、誰でも無料で、しかもスマホから利用可能です。

今までの動画生成AIに引けを取らないクオリティと、利用ハードルの低さにDream Machineの衝撃があったのではないでしょうか。

Dream Machineの使い方

「Dream Machine」のサービスページは以下のURLになります。
Dream Machine

URLから遷移後の画面では、Dream Machineによって生成された動画たちがラインナップされています。
ラインナップの右上にある「Try Now」ボタンを選択しましょう。

ボタンを選択すれば、動画生成画面に映ります。

ここまでわずか2クリック。紛らわしい要素が極力無くされた形で、スムーズに動画生成にたどり着けます。
画面中央には画像をアップロードしたり、テキストを入力するための項目があります。

上記で紹介したものは基本的な機能で、他にも、「Idea」や、「Enhance prompt」などの機能があります。

Dream Machineの新機能「キーフレーム」

キーフレーム機能は、動画の始点と終点の2枚の画像をアップロードすると、その間をAIが補完して動画を生成するという機能です。

Keyframes have arrived within Dream Machine! Start and end keyframes give you narrative control, while text instructions guide the journey. Change lighting and seasons, control perspectives, morph subjects, and create impossible transitions! All in #LumaDreamMachine 🧵1/9 pic.twitter.com/fbOXcxUTuJ

— Luma AI (@LumaLabsAI) June 27, 2024

始点と終点の画像を指定できるようになったことで、「途中で画像が予期せず変化する」「意図しない要素が挿入される」といった問題が大きく改善されました。

使用例としては、「人物の表情や姿勢の変化」「風景や環境の変化（季節、時間帯など）」「オブジェクトの形状や位置の変化」といった様々なシーンで活用できます。

これにより、自然な動きや変化を持つ、より高品質で魅力的な動画コンテンツの制作が実現しています。

Dream Machineで実際に動画を作成してみた

「Idea」は、プロンプトをランダムに生成してくれる機能です。
これを使うことで自分でプロンプトを考えることなく、とりあえず動画生成をしてみることが可能になります。

試しにいくつかのプロンプトをランダム生成し、動画を生成してみました。どれも面白い内容になっています。

https://youtu.be/PpPROIJuixk

上記動画のプロンプト

「A teddy bear in sunglasses playing electric guitar, dancing and headbanging in the jungle in front of a large beautiful waterfall,4K」

https://youtu.be/o_nmOc-N_z4

上記動画のプロンプト

「Low-angle shot of a majestic tiger prowling through a snowy landscape, leaving paw prints on the white blanket」

また、Dream Machineは画像をアップロードし、プロンプトと掛け合わせることで動画生成をすることが可能です。
「Enhance prompt」にチェックを入れることで、プロンプトの情報に重みをつけて動画生成できます。

Dream Machineの料金

「Dream Machine」は無料でもつかえますが、有料プランへと移行することで、動画の生成可能数が変わります。

また、冒頭で紹介した通り、1回の生成で作成できる動画は5秒間まで(120フレーム)です。
それ以上の長さの動画を作成したい場合は、動画を生成した後に、動画編集ソフト上でつなぎ合わせる必要があります。

そのため、「長尺の動画を作成したい」「凝った動画を作成したい」という方は、有料プランへと登録することをお勧めします。

また、現在のプラン内容および、動画の残り生成回数は、画面右上の「Account」ボタンを選択した先で確認することができます。

Dream Machineの商用利用について

Dream Machineの利用規約によると、商用利用するためには有料プランに登録しておく必要があります。
「クリエイターとして作品発表を行う方」や、「ビジネス上で利用する場合」有料プランに登録することをおすすめします。

また、商用利用以外にも、ディープフェイクやポルノなど、「Dream Machine」の利用にあたっては禁止事項がいくつか設けられています。

以下のURLより利用規約を確認することができます。
Luma AI - Terms of Service

【3D生成AI】GENIE(GENIE AI)とは

次に「GENIE」についてご紹介致します。

「GENIE」は、テキストから3Dモデルを生成することができるサービスです。一般に、3Dモデルを作成するには、専門スキルを必要とします。

洗練されたスキルを持つ制作者（クリエイター）やゲーム開発者でも一つの3Dモデルを制作するには、かなり多くの時間が必要とされています。
そんな専門性を、テキストプロンプトだけでシミュレーションしてくれるのが「GENIE」です。

GENIEの使い方

以下のURLにアクセスし、アカウント登録を行うことで「GENIE」を利用できます
GENIE

「GENIE」のトップページ

画面下部にプロンプトを入力する項目欄があり、その背後には3Dモデルの画像が並べられています。

カーソルを移動させることで、これら数種類の3Dモデルを選択することもできます。

カーソルを動かすことで事例としての3Dモデルを選択できます

クロワッサンの3Dモデルを選択すると、「realistic croissant」という文字が表示されました。

クロワッサンの3Dモデルについての詳細

これは、このクロワッサンの3Dモデルが、「realistic croissant」というプロンプトで生成されていることを意味します。

「realistic croissant」の右下に「Use Prompt」というボタンがあるように、このプロンプトはコピーして利用できます。
言わば、ここに例として表示されている3Dモデルは見本のようなものですね。

見本の3Dモデルで使用されているプロンプトを転用することができます

もちろん見本に頼らずに自分でプロンプトを入力していくことで独創的な3Dモデルの生成が可能です。

GENIEのプロンプトのコツ

プロンプトは、「対象」+（「性質」+「スタイル」…etc）の順で入力する

例えば、以下の3Dモデルのプロンプトは「astronaut, floating-pose, photorealistic, 4K, HD」です。

宙に浮いている宇宙飛行士の3Dモデル

ここでは、「astronaut（宇宙飛行士）」が対象であり、それ以下の「floating-pose（浮遊しているような姿勢）, photorealistic（写実的）, 4K, HD」はその対象についての性質になります。

対象をまず定義してあげて、そこから具体性を追求していく形で細部の情報を与えていくことをイメージしてください。
そうすることで思い描いた3Dモデルに近い物を作れるようになるでしょう。

Interactive sceneとは

最後に、「Interactive scene」の紹介をします。
「Interactive scene」は、動画から3Dモデルを生成することができるサービスです。

Web版とアプリ版があるので、それぞれ説明していきます。

Interactive sceneの使い方

以下のURLからアクセスできます。これまでと同様アカウント登録をすることで利用可能になります。
Interactive scene

URLを選択した先の画面（アカウント登録が必要になります）

遷移先の画面でさっそく「Drop a file in this area or click to select」という表記が現れました。
手元のパソコンに保存されている動画ファイルをドラッグしたり、この画面を選択することで、動画をアップロードすることができます。

また、アップロード画面をスクロールしていくと「Featured Captures」という項目があります。
ここでは、世界中のユーザーが「Interactive scene」を使って生成した3Dモデルが、一覧で表示されています。

これらの3Dモデルは、生成時に「Public」の設定で行われているため、一般ユーザーに向けて公開されています。

例えば以下は、東京都調布市にある「鬼太郎広場」という公園で撮影された動画から作られた3Dモデルです。

3Dモデルの素材となる動画

動画上では、撮影者がカメラを持って対象や公園全体を見渡すように撮影しているようです。

動画が3Dモデル化され、動画内の空間がビジュアライズされました

この動画が3Dモデル化されることで、動画内に含まれる景色が全て3Dモデル化されています。
3Dなので、あたかも動画で映されている空間の中に入り込んだかのような体験をすることができます。

下の画像の真ん中に表示されている水色の丸は、カーソルを動かしてクリックすることで出てきます。
(この地点にまで移動するという記号です。)

3D空間内の移動

<br<>あちこちに移動することができるので、動画内の世界をいろいろな角度から探検することができます。

河童の後ろ側からの視点

上空から俯瞰した視点

アプリ版の使い方

現在内容を調整しております。

まとめ

冒頭で紹介したように、Luma AIの今後の動には目が離せません。テキストや動画から3Dモデルを生成するという斬新な機能で注目を集めたかと思えば、Open AIのSoraなどを超えた？などという噂話を発生させるほどのクオリティを持つ「Dream Machine」をリリースしてきています。
誰でも使えるように無料版でもある程度操作が可能で、今後リリースされてくるサービスも私たちにとって身近な存在になっていくのではないでしょうか。

商用利用など、利用規則には注意が必要ですが、使い方次第では、大きなビジネスチャンスが生まれるかもしれません。