23. April 2024

KI-Tools: Musikvideos gestalten mit RunwayML

Vier Männer mit Instrumenten
Foto: Christian Freitag

Wir haben GEMA Mitglieder gefragt, welche KI-Tools sie bereits im Kreativprozess nutzen. Thorsden Marschner von der Band LASTRY berichtet von seinen Erfahrungen mit dem Video-Tool RunwayML.

Wir haben für das Musikvideo zu unserem Song „Ethereal“ mit einem KI-Tool namens RunwayML gearbeitet. RunwayML ist ein kostenpflichtiger KI-Generator, mit dem es unter anderem möglich ist, Szenarien zu erstellen, die dem Programm als Beschreibung in Form eines Textes vorgegeben werden. Außerdem kann das Tool vorhandene Bilddateien verändern oder diese Dateien bei Bedarf verlängern.

RunwayML liefert hochqualitative Bilder und Animationen

Uns hat besonders gefallen, dass das Tool die eigenen Vorstellungen über das gewünschte Ergebnis erweitert: Teilweise liefert es Ergebnisse, die ganz anders waren, als wir uns das eigentlich vorgestellt haben, aber sie waren dennoch immer gut und interessant und haben uns auf ganz neue Ideen gebracht. Das Tool hat uns viele Vorschläge durch Bilder und Animationen oder sogar durch beschriebene Sequenzen geliefert und ist ideal, wenn man selbst keine RAW-Bilder hat, mit denen man arbeiten kann. Die Bilder haben sich dank der Animationen auch stark verbessern: Das RAW-Material ist intensiver und hochauflösender geworden und hat durch den 3D-Effekt an Tiefe gewonnen. 

Bei Gesichtern stößt das Tool an seine Grenzen

In manchen Bereichen ist die Arbeit mit dem Tool allerdings noch etwas holprig. Die allgemeine Gesichtsbearbeitung steckt unserer Meinung nach noch im Anfangsstadium. Teilweise verändert das Tool Gesichter so stark, dass man die Bilder in dieser Form gar nicht mehr nutzen kann. So etwas kann für bestimmte Zwecke, wie beispielsweise Gruseleffekte, bestimmt ein spannender Ansatz sein, in unserem Fall war das aber nicht das, was wir uns vorgestellt haben.

Außerdem war es bei unserer Videoerstellung oftmals problematisch, dass man im Tool nicht in animierten Bildern schneiden, bearbeiten oder in die Bilder hereinzoomen konnte. Solche Fälle mussten wir über Umwege lösen, indem wir die jeweiligen Animationen gespeichert und in anderen Softwarelösungen bearbeitet haben. Das hat natürlich sehr viel Zeit gekostet. Was für viele bestimmt auch ein Ausschlusskriterium ist, ist der Kostenfaktor: Um das Tool nutzen zu können muss man sich Coins kaufen, die einem wiederrum als Guthaben in Sekunden angerechnet werden. Je nach Länge und Aufwand des Videos kann es also sein, dass man mehrmals Geld investieren muss.

Fazit: Als Hilfsmittel zu empfehlen, aber zeitintensiv und kostenpflichtig

Wir alle haben das Tool für unser Musikvideo zu „Ethereal“ zum ersten Mal ausprobiert und fanden die Bedienung des Tools grundsätzlich ziemlich einfach zu erlernen. Insbesondere für unkomplizierte und gröbere Animationen kann RunwayML auf jeden Fall auch von Anfängerinnen und Anfängern genutzt werden. Der Teufel liegt, wie bei so vielen Dingen, aber im Detail. Will man sehr genaue Ergebnisse, muss man einiges an Zeit und Geld investieren. 

Hinter unserem Video stehen trotz - oder gerade wegen KI 110 Stunden Arbeit, aber wir würden es jederzeit wieder so machen. Mit dem Ergebnis sind wir auf jeden Fall mehr als zufrieden, es ist echt toll geworden! Wir können es deshalb nur empfehlen, sich mit solchen Tools auszuprobieren.

Hier geht’s zum Musikvideo: Ethereal

Steckbrief RunwayML:

  • Anwendungszweck: Video-Animationen und Bildbearbeitung
  • Kosten: Kostenpflichtig, Preis variiert je nach Videolänge und Aufwand
  • Komplexität: Kann auch ohne viel Vorwissen genutzt werden
  • Anbieter: Seit 2018 von Runway angeboten

Haben Sie im Kreativprozess mit anderen KI-Tools gearbeitet und möchten von Ihrer Erfahrung berichten? Schreiben Sie uns an redaktion@gema.de.

Biografie LASTRY: 

LASTRY ist eine seit 2019 in dieser Besetzung bestehende Band aus Düsseldorf. Ihr Debüt-Album „Time & Space“ ist im Dezember 2022 erschienen und beinhaltet 12 einzigartige Rocksongs. Sänger und Komponist Taylor Shore, bekannt aus The Voice of Germany 2018, arrangiert gemeinsam mit Thorsden David Marschner Songs zu ordentlicher energiegeladener handgemachter Rock-Musik, genauer Alternative Rock. Michael Urbatzka steuert einen soliden groovigen Bass bei und Nico Strunk glänzt mit seinen musikalischen Gitarren-Solo-Skills. Gerade arbeiten sie an der Veröffentlichung ihres zweiten Albums, das Songs wie „We're Coming Back“ (Juni 2023), „Ethereal“ (Januar 2024) und „The Purge“ (März 2024) beinhalten wird. Das Animationsvideo zu ihrem Song „Look at me now!“ hat 16 Awards auf verschiedensten Filmfestivals weltweit gewonnen. Darunter in Los Angeles, Paris, Budapest, Indien, Nepal, Cannes, New York und vielen mehr. Auch das Video zu „Ethereal“ hat bereits einen Award gewonnen und wird im Juni 2024 bei den Berlin Music Video Awards gezeigt. Ab September / Oktober 2024 könnt ihr LASTRY live erleben!

Mehr von LASTRY:

Webseite

Instagram

Spotify