Stiltransfer

Das Freiburger Münster gefilmt im Stile von Van Goghs Gemälde "Cafèterasse am Abend" oder "Ice Age" steinzeitlich animiert als Höhlenmalerei? Das ist das Werk des Freiburger Informatikstudenten Manuel Ruder, der einen Algorithmus entwickelt hat mit dem er, durch Stiltransfer, Videos wie alte Gemälde aussehen lassen kann. Wie er auf diese Idee gekommen ist und wie viele Filmemacher von seiner Idee angetan waren, verrät er uns im Gespräch. techtag: Was hat Dich als Informatikstudenten bewegt, einen Algorithmus zu entwickeln, welcher Filme wie gemalte Kunstwerke aussehen lässt? Hast Du ein besonderes Interesse an Kunst? Manuel Ruder: Ich habe ein besonderes Interesse in den Bereichen Computer Vision und maschinelles Lernen. Der Stiltransfer für Einzelbilder, den es schon gab, hat mich sehr fasziniert. Das Verfahren „zweckentfremdet“ Modelle, die zur Bilderkennung entwickelt wurden. Man lernt dabei auch viel über das Innerste dieser Modelle. Wie funktioniert der entwickelte Algorithmus? Der Stiltransfer für Einzelbilder funktioniert mit Hilfe neuronaler Netzwerke, die auf Bilderkennung trainiert wurden. Charakteristische Stilelemente des Bildes werden „eingefangen“ und sozusagen neu zusammengesetzt. Bei Videos war es das Hauptziel meines Projektes das Flackern zu beseitigen. Der Stiltransfer, wenn für jeden Frame einzeln angewandt, erzeugt immer wieder ein komplett anderes Ergebnis. Mein Verfahren analysiert nun Bewegungen in den Videos und versucht genau nachzuvollziehen, welche Bereiche des Bildes sich wo hinbewegt haben. Auf Basis dessen versucht der Algorithmus benachbarte Frames so ähnlich wie möglich zu gestalten. Was waren die größten Herausforderungen für die Projektumsetzung und wie lange hat es gedauert? Das Verfahren, um Bewegungen in Videos zu analysieren, ist oftmals nicht ganz präzise. Man muss dem Algorithmus wiederum so viele Freiheiten lassen, dass er mit der unpräzisen Analyse umgehen kann. Für die Umsetzung habe ich letztlich einen Monat gebraucht. In der „Tagesschau“ wurde ja bereits über Dich berichtet. Sind auch schon Filmproduzenten, welche die entwickelte Idee verwenden möchten, auf Dich zugekommen? Wir stehen mit ein paar Filmemachern in Kontakt, die bereits künstlerisch arbeiten und sich durch unser Verfahren eine Arbeitserleichterung erhoffen. Eine Auswahl an via Stiltransfer bearbeiteten Videos. (Video: Computer Vision Freiburg) Wie sehen Deine Zukunftspläne aus? Hast Du schon neue Ideen für eine Weiterentwicklung Deiner Technologie? An dem Verfahren gibt es sicherlich noch viel zu optimieren. Das war ja zunächst ein erster Versuch, das überhaupt einmal mit Videos zu probieren. Wir evaluieren gerade, in welche Richtung man gehen könnte. Möglicherweise konzentrieren wir uns auch nur darauf, die enorme Rechenzeit zu verkürzen. Es würde mich aber auf jeden Fall reizen, meine anstehende Masterarbeit diesem Thema zu widmen. Kannst du Dir vorstellen, Dich mit deinem Programm nach Deinem Studium sogar selbstständig zu machen? Ich bin bereits eine Partnerschaft mit DeepArt eingegangen. Dort können Interessierte bereits Filme mit meinem Verfahren rechnen lassen. Allerdings ist vor allem der Consumer-Markt hart umkämpft, insbesondere durch kostenlose Smartphone-Apps. Ob sich meine Technik dafür in der Filmproduktion bewährt, steht noch offen. Welches Gemälde möchtest Du noch unbedingt in ein Video einbauen? Erstaunlich finde ich, dass sich nicht nur Gemälde übertragen lassen, sondern auch echte Strukturen. So haben wir beispielsweise Ice Age im Stil einer Höhlenmalerei bearbeitet. Auch Mosaikmuster funktionieren stellenweise ganz gut. Damit ließen sich sicherlich auch schöne Filme herstellen. Zu guter Letzt: Was ist Dein Lieblingsfilm? Da möchte ich mich nicht festlegen, aber Filme von Quentin Tarantino stehen bei mir ganz oben auf der Liste

Im Reisebüro der Zukunft hört zuerst jemand zu

Rückblick 2025: Bildungswandel, KI-Pflicht und Ökointelligenz [Teil 2]

KI ist kein Plug-and-Play: Warum die IT-Infrastruktur über den Unternehmenserfolg entscheidet

Rückblick 2025: KI, digitale Empathie und smarte Systeme [Teil 1]

Technisches Briefing erstellen: Technik-Briefing & Tech Briefing Projekt

Wie Call To Action zur Verbesserung von Conversions beiträgt

Modern Leadership – heute lernen, was morgen zählt

Wie Unternehmen mit simplen Website-Änderungen mehr Anfragen gewinnen

Startup IOWIS im GründerView

Reasonance: Ein Startup, das den Energiemarkt dort entwirrt, wo er am…

Startup datin im GründerView

CERPRO sichert knapp 2 Mio. Euro – KI-Qualitätssicherung für die Werkhalle

Wie viel Mensch verträgt die KI?

Vom Know-how zum Green Skill: Wenn Nachhaltigkeit zur Kompetenz wird

Was macht KI mit unserem Denken? Ein Blick auf die MIT-Studie

Vom Hype zum Helfer: Wie KI-Agenten Fahrt aufnehmen

Schlagwort: Stiltransfer

Bewegte Gemälde und gemalte Filme: Interview mit Manuel Ruder

Im Reisebüro der Zukunft hört zuerst jemand zu

Rückblick 2025: Bildungswandel, KI-Pflicht und Ökointelligenz [Teil 2]

KI ist kein Plug-and-Play: Warum die IT-Infrastruktur über den Unternehmenserfolg entscheidet

Wie viel Mensch verträgt die KI?

Rückblick 2025: KI, digitale Empathie und smarte Systeme [Teil 1]