Künstliche Intelligenz (KI) für Filmer?

  • Künstliche Intelligenz (KI) war lange Zeit nur ein Schlagwort. Doch als Ende 2022 der Chatbot ChatGPT auftaucht, war KI plötzlich für jeden nutzbar.


    Unter Filmern sorgte Anfang 2024 SORA für Aufmerksamkeit. Diese KI erzeugte einen kompletten Film nur im Computer: "SORA - Künstliche Intelligenz erzeugt Videos" (Forum-Thread)


    Mittlerweile gibt es ständig neue KI-Modelle für Filmer wie Midjourney, Runway ML usw. Aber auch in Schnittprogrammen wird KI eingesetzt, zum Beispiel in Adobe Premiere Pro, Vegas Pro oder Davinci Resolve.


    FRAGEN:

    1. Setzt ihr bei euren Videos irgendwo KI ein?
    2. Was benutzt ihr?
    3. Wie sind eure Erfahrungen?
    4. Was erwartet und wünscht ihr von der KI als Filmer?


    Beste Grüße, Uli

  • Was erwartet und wünscht ihr euch von der KI als Filmer

    Zum Beispiel:

    Dass man damit - in vernünftiger Zeit - Videos hinsichtlich der Bildrate umwandeln kann (etwa 25p auf 50p), wobei die Qualität besser sein soll als mit dem derzeitigen "Optischen Fluss" (Stichwort: Hund mit 5 Beinen).

    kurt

    WIN-10/64 PRO (22H2-19045-2364)

    RESOLVE-21.0.00040 Studio; EDIUS-11.50.20977-WG

  • Weil der IQ einem Teil der Menschheit abhanden
    gekommen ist, soll jetzt KI aushelfen...


    Quelle: BPH

  • Zum Beispiel:

    Dass man damit - in vernünftiger Zeit - Videos hinsichtlich der Bildrate umwandeln kann (etwa 25p auf 50p), wobei die Qualität besser sein soll als mit dem derzeitigen "Optischen Fluss" (Stichwort: Hund mit 5 Beinen).

    kurt

    Also das umwandeln von Bildraten (zB von 25fps nach 50 fps) mittels "optischen Fluss" funktioniert nach meiner Meinung extrem gut und schnell in DR (im Vergleich zum zB Vegaspro). Es kommt aber auch immer auf die Geschwindigkeit eines gefilmten Objekt an. Desto schneller ein Objekt bewegt desto schwieriger wir es um fehlende Zwischenbilder zu generieren, Beispiel Hund mit 5 Beinen, wobei das 5te Bein wahrscheinlich nur für ein Bild sichtbar war, was dann wiederum beim Abspielen nicht oder kaum auffällt. Meckern auf hohen Nivo, nmM.

    Mittlerweile habe ich schon so manches von 25fps nach 50fps, 30 fps nach 50fps oder 48fps nach 50fps umgewandelt mittels optischen Fluss mit DR und bin begeistert. Die Ergebnisse sind auf jedenfall besser als umwandeln durch Duplizieren oder Mischen.

    :wink2: Theo Houben

  • Die Magic Mask von Davinci Resolve ist recht praktisch, funktioniert aber nicht immer ganz so wie gewünscht. Perfekt ist die KI halt noch nicht.

    vg Ian

  • Dies ist ein dieses Thema betreffender Auszug aus dem zur Thementrennung in KI Künstliche Intelligenz - was denken? ausgelagerten Post.


    Gruß

    Peter


    Künstliche Intelligenz (KI) war lange Zeit nur ein Schlagwort.

    ....


    Bisher setzte ich "KI" hauptsächlich in der Audiobearbeitung ein. Dafür verwende ich als Basis die Programme Cubase, WaveLab und insbes. das für KI-gestütztes Audioprocessing entwickelte SpectraLayers. Alle jeweils in der umfassend ausgestatteten Pro-Version.


    Grade SpectraLayer liefert auch wirklich erstaunliche Ergebnisse, was die "Bereinigung" von Audiomaterial betrifft.

    Also bei Hallreduzierungen, Entfernung von Rauschen oder Störgeräuschen, und ähnlichen bisher nur meist sehr schwer behebbaren Problemen in einer Aufnahme.

    Und natürlich gibt es da auch Möglichkeiten in einer Audioaufnahme bestimmte "Trennungen" von Sprache/Gesang und Instrumenten, bzw. sogar von unterschiedlichen Sprechern vorzunehmen.


    Nur ist es eben nicht so, dass man da nur einen Knopf drücken muss, und die KI macht das allein. Sondern es gehört halt immer noch eine manuelle Anpassung/Eingriffe, und damit - wie schon gesagt - eigene Erfahrung dazu, um ein gutes Ergebnis zu erzielen.


    Hier mal ein kurzes Hörbeispiel, was damit so möglich ist:


    Hämmern.mp3



    Dass ich hingegen absolut kein Freund von den leider so beliebt gewordenen Sprachgeneratoren bin, dürfte ja hinlänglich bekannt sein. Brauch ich also hier wohl nicht dazu sagen.




    Im Bereich Video verwende ich eine ältere Version von Topaz Video AI (eher selten) und Edius.

    Edius 11 bringt jetzt halt einige verbesserte Voraussetzungen für die Einbindung KI-basierter Prozesse mit. Hier erwarte ich in der Zukunft noch durchaus interessante Entwicklungen. Zunächst soll ja - wohl noch dieses Jahr - ein KI basierter Farbkorrekturfilter kommen.

    Und Topaz ist halt im Bereich Deinterlacing und Upscalling schon sehr gut.



    Was mir bisher als KI-basierende Filten nicht so gefällt, sind Dinge, wie der proDAD Picture Enhanzer, der (meine Meinung) eher quietschbunte Bilderchen erzeugt und nur geringe Steuerungsmöglichkeiten anbietet. Mal sehen, was dann der schon genannte Edius-Filter leisten wird.



    Aber auch beim Videoschnitt wird uns die KI durchaus sehr gute Hilfe leisten können, bzw. macht das ja in einigen Bereichen schon jetzt.



    Nur, auch wenn eben offenbar diese Erwartung weit verbreitet ist, KI heißt eben nicht, dass da man da ohne sich weitere Gedanken machen zu müssen. Solche "Träume", wie, "ich lade meine Aufnahmen rauf und die KI macht mir daraus dann einen hollywoodreifen Film à la Spielberg", werden sich (hoffentlich) nie erfüllen.


    Selber denken ist nicht gesundheitsschädlich !!! und hat bisher auch nur in den seltesten Fällen geschadet.



    Gruß

    Peter

    Als Moderator verfasste Beiträge sind durch grüne Schrift erkennbar.

    Rest ist private Meinung

  • Hier mal ein kurzes Hörbeispiel, was damit so möglich ist:


    Hämmern.mp3

    Ja, sowas ist wirklich sehr nützlich. Bin aber auch der Meinung, daß "intelligenz" eine übertriebene Beschreibung ist. Bis es soweit ist, dauert es wohl noch eine ganze Weile. Hoffentlich geht dann nicht wirklich alles per "Mach-mir-alles-von-allein-Knopf", dann werden viele ihr Gehirn beiseite legen. (schlecht)

  • Da ich Hobby-Schlagzeuger bin, wollte ich ein Bild von mir :


    -am Schlagzeug sitzend und spielend

    -auf dem Mond

    -mit der aufgehenden Erde am Mondhorizont

    -und die Sterne hören mir zu


    (bitte nicht lachen...)


    Chat-GPT hat einige superschöne Bilder fabriziert, absolut toll!

    Dann wollte ich, dass mein Kopf auf den Schlagzeuger gesetzt wird, weil mir das Ganze sonst ja nichts nutzt!

    Das wurde abgelehnt (aus nachvollziehbaren Gründen).


    Also wenn die KI keine vorgegebenen Personen in Bilder/Videos einarbeiten kann, ist das nicht weiter interessant und nach einigen wenigen WOW Effekten langweilig. Finde ich zumindest.


    Gruß Jürgen

  • Also wenn die KI keine vorgegebenen Personen in Bilder/Videos einarbeiten kann, ist das nicht weiter interessant und nach einigen wenigen WOW Effekten langweilig. Finde ich zumindest.

    Mit Bild- wie Videoerstellung per KI habe ich mich noch nicht beschäftigt. Wenn dich das interessiert, dann würde nicht nicht so schnell aufgeben. Leistungsfähige KI-Systeme gibt es erste seit gut zwei Jahren. Für die Bild- und Videoerzeugung eine kleine Auswahl:


    Für Bilder: Midjourney, DALL E-3, Adobe Firefly


    Für Videos: Runway Gen2, Sythesia, deep Brain AI


    Wie gesagt, ich kenne mich da nicht aus.


    Ich habe auf die Schnelle (quick and dirty) die Frage ChatGPT 4.0 gestellt, hängt als PDF an. Und, ich habe die Angaben nicht überprüft, müsst ihr selbst machen.


    Beste Grüße, Uli

  • Nee Uli,


    so wie ich es verstehe, wurde da von Seiten der KI her abgelehnt in einem Bild den Kopf / das Gesicht einer abgebildeten Person gegen das einer anderen Person auszutauschen.

    Das dürfte dann wohl eine (in meinen Augen durchaus notwendige) Sicherheitssperre sein, die bösartige Bildfälschungen verhindern sollen.


    Das man sowas auf andere Art/mit anderen Programmen trotzdem machen kann spielt erstmal keine Rolle.

    Es geht wohl darum sowas halt nicht so eionfach zu machen.



    Gruß

    Peter

    Als Moderator verfasste Beiträge sind durch grüne Schrift erkennbar.

    Rest ist private Meinung

  • so wie ich es verstehe, wurde da von Seiten der KI her abgelehnt in einem Bild den Kopf / das Gesicht einer abgebildeten Person gegen das einer anderen Person auszutauschen.

    Ja, so habe ich es auch verstanden.


    Wie in der ChatGPT Antwort (hängt an) steht, ist das bei Dall E 3 technisch möglich. Unabhängig wie man das ethisch bewertet. Und wie gesagt, ich habe das nicht überprüft.


    NACHTRAG: In Firefly auch.


    Beste Grüße, Uli