Luma AI ist gerade in aller Munde. Noch vor dem Release von Sora erobert es die KI-Welt und strahlt mit faszinierenden Beispiel Videos. Hält das KI Video Tool, was es verspricht? Wir haben den Luma AI Test gemacht und zeigen unsere Ergebnisse (Stand: Juli 2024).
Kleiner Spoiler: Wir schrauben unsere Begeisterung ein wenig zurück. Die Ergebnisse können was – das auf jeden Fall! Wie aus einem kurzen Prompt ein Video entsteht ist atemberaubend. Aber: In den meisten Fällen taugt es aktuell noch nicht zu mehr als Spielerei. Überall tauchen kleinere und größere Bildfehler auf. Daher ist es bis auf wenige Ausnahmen für Werbe- und E-Learning-Videos (noch) nicht wirklich brauchbar.
Natürlich will aber auch das „prompten“ gelernt sein: Mit welchen Text-Anweisungen man der KI erklärt, was man von ihr haben möchte, kann das Ergebnis enorm variieren. Doch nach verschiedenen Ansätzen – dem Formulieren eigener Prompts, dem Nachahmen von vorgeschlagenen Prompts aus der Bild-KI Leonardo, der Beauftragung von ChatGPT und dem Verwenden von bekannten Sora-Prompts – bleiben wir dabei: Spannende Ergebnisse, aber noch zu fehlerhaft, um professionell damit arbeiten zu können.
Luma AI Beispiel Videos: Natur- und Stadtszenen funktionieren gut
Zunächst das Positive vorweg: Wenn man Luma AI nicht mit Menschen oder Tieren behelligt, sondern lediglich Natur- oder Stadtszenen braucht, dann bekommt man die besten Ergebnisse. Wenn man allerdings eine klare Vorstellung hat, wie das Video aussehen sollte, ist es auch hier nicht ganz einfach, das zu bekommen, was man will. ChatGPT kann hier beim Prompten durchaus eine Hilfe sein.
Prompt: A South Sea beach in the Maldives with white sand and turquoise blue water.
Prompt: Capture a realistic close-up of a red maple leaf slowly gliding from a tree adorned in a colorful fall foliage. The camera closely tracks the leaf as it descends. The scene is set on a sunny autumn day.
Prompt: Create a video with a professional camera movement showcasing a snowy forest in Canada. The camera moves slowly and gracefully through the landscape, capturing the peaceful and serene atmosphere. The forest is dense with tall, snow-covered trees that glisten in the gentle light of the low winter sun. The ground is covered with a thick blanket of snow, and occasionally, animal tracks can be seen in the snow. The entire video should convey a peaceful and calming mood.
Prompt: Create a futuristic metropolis with tall skyscrapers from an aerial viewpoint. Many of the skyscrapers feature greenery, trees, and small gardens on their rooftops, fostering a pleasant climate. The camera smoothly glides over the cityscape.
Der herbstliche Baum beispielsweise sieht zwar super aus, aber unsere Anweisung war eigentlich, dass ein rotes Blatt langsam vom Baum segelt und die Kamera ihm folgt. Das wollte Luma AI uns nicht kreieren.
Die Bildfehler im Luma AI Test halten sich bei Naturaufnahmen noch in Grenzen, wobei dem Malediven-Strand die Brandung fehlt und es somit beim genauen Hinsehen nicht ganz realistisch wirkt.
Bei der Stadtszene haben wir zwar eine schöne futuristische Wolkenkratzerstadt, allerdings wurde unser Wunsch, dass es Gärten und Bäume auf den Dächern gibt trotz mehrmaligem Nachbessern immer wieder ignoriert. Die Fahrzeuge in der Stadt sind schwer identfizierbar: Ein so futuristisches Gefährt, dass wir es nur noch nicht kennen? Oder einfach ein Bildfehler?
Luma AI Beispiel Videos: Tiere sind eine Herausforderung
Nun wollten wir mal sehen, was Luma AI so mit Tieren kann und möchten gerne ein Ball spielendes Kätzchen generieren. Den Prompt haben wir bewusst simpel gehalten: A kitten playing with a red ball.
Das Ergebnis ist nah an dem, was wir uns vorgestellt haben und tatsächlich erstaunlich gut.
Von dem 5-Sekuden-Clip wären allerdings wohl nur 1-2 Sekunden verwendbar, da das restliche Video von unrealistischen Morph-Effekten gekennzeichnet ist.
Trotzdem sind wir fasziniert, wie realitätsnah das Tier in seinem katzenhaften Wesen und den typischen Bewegungsmustern erfasst ist.
Fantasy Szene mit Luma – klappt das?
Nun dachten wir, muten wir der Künstlichen Intelligenz mal ein wenig mehr zu: Ein bisschen Game of Thrones in unserer Heimatstadt München. Schließlich besteht ja der Reiz von Video KI eigentlich darin, Szenen kreieren zu können, die man nicht so mal eben drehen kann.
Wir möchten einen Feuer speienden Drachen über München fliegen lassen.
Prompt: A fire spitting dragon flying over Munich city centre (Bavaria, Germany).
Nun gut, sagen wir, die Atmosphäre geht in die richtige Richtung. Aber ist das da der Kopf oder der Schwanz vom Drachen? Wo genau stehen in München solche Bauwerke? Welchem Illuminaten-Thriller ist die Schrift unter dem Video entsprungen? Und überhaupt, warum ist alles verschwommen?
Luma AI Video vs. Leonardo AI Bild Generator
Fair enough, Luma, das war aber auch eine anspruchsvolle Anweisung! Wir wollen mal sehen, was der etablierte Bild KI Generator Leonardo AI aus unserem Prompt macht.
Aha! Das sieht zumindest nach einem richtigen, Feuer speienden Drachen aus. Zwar nicht 100% fotorealisitisch, aber nah dran.
Nur die Stadt sieht aus wie eine Mischung aus München, Salzburg und Wien. Irgendwie scheint Leonardo zu wissen, dass die Alpen in der Nähe sind und ein paar Münchner Gebäude kennt es wohl auch, aber wie die zusammenhängen und was drumherum ist – nun das bastelt sich die KI eben selbst. Aber gar nicht so schlecht. Ein Nicht-Münchner könnte darauf reinfallen.
Das spannende an Leonardo AI ist, dass die KI immer automatisch einen optimierten Prompt vorschlägt, auf Basis dessen sie arbeitet. Wir beschließen exakt diesen Prompt einfach mal zurück zu Luma zu kopieren und zu sehen, ob Luma AI damit mehr anfangen kann.
Prompt (optimiert von Leonardo AI): A majestic dragon, rendered in photorealistic high definition, breathes vibrant flames as it soars over the historic city centre of Munich, Bavaria, Germany, its scales glistening like polished copper and gold in the warm afternoon light, casting a dramatic shadow on the Neoclassical façades of the Hofbräuhaus and City Hall, amidst the bustling crowds and ornate fountains, with the snow-capped Alps rising in the distant background, as if summoned from a fantastical world, blending medieval myth with modern urban reality, in a rich color palette of fiery oranges, blues, and emerald greens.
Einen Versuch war es wert, aber: Nein. Sowohl die Interpretation eines Drachens als goldene Kuppel (?) als auch die von München ist spannend, aber weit von dem weg, was wir wollten.
KI generierte Bilder mit Luma zum Leben erwecken
Letzter Versuch, Luma AI, wir geben nicht auf!
Diesmal geben wir Luma das Drachen-Bild, das wir in Leonardo AI erzeugt haben und schauen einfach mal, ob Luma AI es cool zum Leben erweckt.
Und, nope! Sorry, Luma, auch diesmal kriegst du keinen Punkt von uns.
Das einzige was du hättest tun müssen, wäre gewesen, das Feuer in die richtige Richtung zu animieren. So sieht es ein bisschen aus, wie wenn außerhalb des Bilds jemand versucht den Drachen mit Feuer zu „löschen“. Und ein paar Flügelschläge wären natürlich auch nett gewesen.
Wir halten fest: Drachen sind nicht Lumas Stärke. Und mit ein paar München-Bildern sollte die AI auch mal gefüttert werden.
Luma AI Beispiel Videos: Menschen in Videos überzeugen noch nicht
Kommen wir wieder zu einer Szene, die vielleicht etwas einfacher ist, aber doch komplexer als das Ball spielende Kätzchen. In Erinnerung an ein Beispielvideo, dass wir mal von Sora gesehen haben, wünschen wir uns eine Frau, die durch Tokyo läuft und schreiben die folgende Anweisung.
Prompt: A young Asian woman, black short hair, sun glasses, high heels, skirt, skyskrapers around her, walking through the city of Tokyo, foto realistic, high rendered, high definition
Das Ergebnis ist definitiv faszinierend. Die Füße der Frau sind nicht perfekt und die Figuren um sie herum morphen immer wieder in zombiehafte Fratzen. Aber für einen kurzen Ausschnitt könnte man das Video glatt verwenden – je nach dem wie hohe Ansprüche man stellt und wie schnelle Schnitte man setzt.
Inwiefern die dargestellte Szene tatsächlich in Tokyo spielt können wir nicht beurteilen, da wir noch niemals dort waren. Wir tippen aber, dass es ähnlich wie bei unserem vorherigen München-Versuch wohl eher eine tokyo-ähnliche Szene ist.
Menschen animieren? Luma AI mit Prompt von Leonardo AI
Wir spielen wieder das gleiche Spiel wie mit dem Drachen: Wir kopieren den Prompt in Leonardo AI und schauen, welches Bild die KI dazu generiert und welchen optimierten Prompt sie uns vorschlägt.
Diesen Prompt kopieren wir zurück in Luma und schauen, was das Video KI Tool diesmal daraus macht.
Prompt (optimiert von Leonardo AI): A young Asian woman with sleek black short hair, trendy sunglasses, and confident stride in high heels, commands attention amidst the neon-lit skyscrapers of Tokyo, with vibrant billboards and bustling streets blurring behind her. The photographically realistic image exudes a futuristic, cyberpunk feel with sharp, high-contrast lighting and reflections. The color palette is a fusion of urban blues, deep purples, and radiant neon hues, punctuated by her bold red dress. Intricate textures, like the subtle shine on her sunglasses, add to the stunning, high-definition realism.
Bis auf die erste Sekunde, die wieder dem typischen Morph-Effekt unterliegt, ein durchaus brauchbares Video! Die Gesichtszüge der Frau sind verblüffend.
Allerdings zeigt uns die KI ihr Gesicht auch nur hinter der komplett schwarzen Sonnenbrille und hat sich diesmal für eine Nahaufnahme entschieden, in der sie sich aufwendige Beinbewegungen und die Darstellung des Körpers sparen kann.
Wie vorhin, versuchen wir nun auch noch, was Luma daraus macht, wenn wir ihr das in Leonardo AI generierte Bild zur Animation anbieten.
Aha. Nun ja, spannend… aber nicht verwendbar.
Sora vs. Luma Vergleich
Machen wir nun doch mal den direkten Vergleich Sora vs. Luma. Wir suchen auf Youtube nach dem Sora-Video mit der Frau, die durch Tokyo läuft, welches wir im Kopf hatten und kopieren uns diesen Prompt in Luma AI.
Prompt: A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.
Virales Beispiel Video von Sora.
Der gleiche Prompt verwendet mit Luma.
Und das Ergebnis? Ganz anders als das von Sora. Ebenfalls beeindruckend, aber im Vergleich zu dem Sora-Video deutlich schlechter: Die Gehbewegung wirkt ein bisschen als müsse die Frau auf Toilette oder als seien ihr die Beine zusammengewachsen, die Mimik ist starr und der Hintergrund weniger detailliert.
Natürlich können wir, da Sora noch nicht released ist, nicht verifizieren, ob Sora wirklich das virale Video 1:1 so produzieren würde, wenn wir die KI mit diesem Prompt anweisen. Natürlich wirbt Sora auch mit den Top-Ergebnissen. Wir müssen aktuell das glauben, was kommuniziert wird – sind aber gespannt, es nach dem Release selbst zu testen.
Stock-Fotos animieren mit Luma
Das Ergebnis kann sich definitiv sehen lassen. Auch wenn die Bewegung der Personen noch nicht 100% natürlich ist, könnte man eine kurze Sequenz davon durchaus in einem Werbefilm verwenden.
Ob das so viel günstiger wird, wenn man Stock-Fotos einkauft und sie dann animieren lässt? Minimal. Ob das bei allen Fotos gleichermaßen funktioniert? Nein, wir haben es getestet und mal waren die Ergebnisse fast einwandfrei, mal unbrauchbar.
Es ist aber ein Versuch, mit dem es sich zu experimentieren lohnt.
Luma AI Test – Unser Fazit
Wir können jedem nahelegen, ein bisschen mit Luma AI zu experimentieren. Selbst in der kostenfreien Version kann man sich bis zu 20 Kurzvideos (5 Sek.) ausspielen lassen, herunterladen und frei verwenden. Wer teure Naturaufnahmen von Stock-Anbietern umgehen will, dem kann hier schon geholfen sein.
Ansonsten macht die Spielerei allenfalls Spaß.
Wer hofft, sich mit Luma AI das komplette Footage für seinen nächsten Werbespot kreieren lassen zu können, der wird wahrscheinlich (noch) enttäuscht.
Wir gehen aber davon aus, dass der Fortschritt in den nächsten Monaten hier rasant sein wird und daten gerne immer wieder ab.