Zeitliche Konsistenz im Video: Warum restauriertes Material flackert, flirrt und Geisterbilder zeigt

Das Wichtigste in Kürze

Zeitliche Konsistenz bedeutet, dass ein Objekt von einem Frame zum nächsten gleich aussieht, solange es sich nicht wirklich verändert. Videobearbeitung zerstört sie auf vier typische Arten: Helligkeitsflackern, feine Textur, die flirrt oder kriecht, Schlieren hinter bewegten Objekten und Doppelbilder durch Bildinterpolation. Jedes davon hat eine eigene Ursache und braucht daher eine eigene Lösung.

• Zeitliche Konsistenz heißt: Ein Objekt sieht von Frame zu Frame gleich aus, solange es sich nicht wirklich verändert. Bearbeitung zerstört sie auf vier Arten: Flackern, Flirren, Schlieren und Doppelbilder.
• Die Hauptursache für die meisten Fälle von Flackern und Flirren ist, dass jeder Frame für sich bearbeitet wird, denn kleine Unterschiede zwischen Frames führen zu unterschiedlichen Entscheidungen.
• Das Mitteln von Frames entfernt Rauschen, verschmiert aber alles, was sich bewegt. In unserem Test schnitt einfaches Mitteln bei einer bewegten Drohnenaufnahme schlechter ab als der verrauschte Eingang; ein adaptiver Filter lag 2,7 dB besser.
• Das Überblenden von Frames bei der Interpolation erzeugt Doppelbilder. Bewegungskompensierte Interpolation erreichte bei einer ruhigen Drohnenaufnahme 35,5 dB gegenüber 29,6 dB beim Überblenden und verlor ihren Vorsprung bei verwackeltem Material.
• Beurteilen Sie zeitliche Probleme in der Bildrate der Quelle und in Bewegung. Ein einzelner Frame verbirgt sie alle.

Was zeitliche Konsistenz bedeutet

Ein Standbild muss einmal richtig aussehen. Ein Videoframe muss richtig aussehen und zu den Frames um ihn herum passen, denn das Auge reagiert sehr empfindlich auf Veränderung: Eine Textur, die in einem Frame stillsteht und sich im nächsten bewegt, wirkt als Flirren, auch wenn jeder Frame für sich gut aussieht.

Judder und verlorene Frames sind eher Timing- als Konsistenzprobleme; darum geht es in ruckelndes oder stotterndes Video reparieren.

Warum Bearbeitung pro Frame flackert

Bildmodelle und Filter wissen nicht, dass Frame 101 auf Frame 100 folgt. Laufen sie auf jedem Frame getrennt, entscheiden sie jedes Mal neu. Rauschen, Kompression und kleine Bewegungen unterscheiden sich zwischen den Frames, also unterscheiden sich auch die Entscheidungen: Ein Schärfefilter betont leicht andere Kanten, ein generatives Modell erfindet leicht andere Poren und Blätter, eine automatische Farbkorrektur wählt leicht andere Pegel. Lai und Kollegen fassten es 2018 in ihrem Paper zusammen: Wendet man Bildverarbeitungsalgorithmen unabhängig auf jeden Frame an, sind die Ergebnisse über die Zeit oft inkonsistent.

Es gibt drei Auswege:

• Ein Modell nutzen, das mehrere Frames sieht. Restaurierungsmodelle mit mehreren Frames oder rekurrente Modelle richten Nachbarframes aus und verwenden wieder, worin diese übereinstimmen. So erscheint ein Detail einmal und bleibt dann an seinem Platz. Warum KI-Restaurierung nach Plastik aussieht beschreibt, wie sie arbeiten und wo sie scheitern.
• Das Ergebnis nachträglich beruhigen. Forschung zur blinden zeitlichen Konsistenz nimmt das Originalvideo und das Ergebnis der Bearbeitung pro Frame und erzeugt daraus eine ruhigere Version. Lais Methode trainiert ein rekurrentes Netz mit kurz- und langfristigen zeitlichen Losses; Deep Video Prior trainiert ein Netz nur auf dem einen Video, ohne großen Datensatz und ohne optischen Fluss.
• Die Stärke senken. Je weniger ein Verfahren pro Frame am Bild ändert, desto weniger kann flackern. Deshalb wirken leichte Einstellungen in Bewegung oft ruhiger als starke, auch wenn die starken auf einem Standbild besser aussehen.

Für Clips aus Videogeneratoren, bei denen kriechende Textur häufig ist, lesen Sie Flackern in KI-generierten Videos reduzieren.

Helligkeitsflackern und der Deflicker-Filter

Flackern des ganzen Bildes kommt meist aus der Quelle, nicht aus der Bearbeitung:

• Beleuchtung. Der Flicker-Leitfaden von Sony weist darauf hin, dass ältere Leuchtstofflampen 100- oder 120-mal pro Sekunde flackern, während LED-Licht hunderte oder tausende Male pro Sekunde flackern kann. Passt die Verschlusszeit nicht zum Zyklus, erwischen die Frames das Licht zu unterschiedlichen Zeitpunkten.
• Film. Jeder Frame eines Filmscans wurde einzeln belichtet, und kleine Unterschiede in Belichtung und Dichte pulsieren bei der Wiedergabe; die komplette Bereinigung behandelt 8-mm- und 16-mm-Filmscans.
• Automatische Anpassungen. Belichtungsautomatik, automatischer Weißabgleich oder ein beliebiger Auto-Level-Filter pro Frame können von Frame zu Frame pendeln.

Der FFmpeg-Filter deflicker misst die mittlere Helligkeit jedes Frames, berechnet daraus einen gleitenden Mittelwert über die Nachbarframes und skaliert jeden Frame in dessen Richtung. Wir haben einem mitgelieferten Beispielclip starkes Flackern hinzugefügt und gemessen, wie stark die mittlere Helligkeit zwischen aufeinanderfolgenden Frames springt:

Ein breiteres Fenster glättet stärker, ebnet aber auch Helligkeitsänderungen ein, die Sie behalten wollen, etwa eine Blende, eine vorbeiziehende Wolke oder ein eingeschaltetes Licht. Beginnen Sie mit der Standardgröße von 5 Frames:

ffmpeg -i input.mp4 -vf "deflicker=size=5:mode=pm" -c:v libx264 -crf 18 -c:a copy deflickered.mp4

Deflicker gleicht das ganze Bild an. Streifen, die durchs Bild wandern, kann er nicht beheben; sie entstehen, wenn ein Rolling Shutter das Licht mitten im Puls erwischt. Hier hilft wirklich nur, beim Dreh die Verschlusszeit an das Licht anzupassen.

Zeitliches Entrauschen und Geisterschlieren

Zeitliches Entrauschen ist wirkungsvoll, weil sich Rauschen von Frame zu Frame ändert und die Szene größtenteils nicht. Der Haken steckt im „größtenteils“: Wo sich etwas bewegt, mischt das Mitteln derselben Pixelposition über mehrere Frames ein Objekt hinein, das schon weitergezogen ist, und hinterlässt einen Geist dahinter.

Wir haben einer ruhigen Drohnenaufnahme Rauschen hinzugefügt und einfaches Mitteln von Frames mit einem adaptiven zeitlichen Filter verglichen, der das Mitteln stoppt, wo sich ein Pixel zu stark ändert:

Einfaches Mitteln schnitt schlechter ab, als gar nichts zu tun: Das Rauschen ging zurück, aber das Verschmieren der bewegten Landschaft kostete mehr, als es brachte. Bei einem schnelleren Motiv sind die Schlieren deutlich zu sehen.

Nutzen Sie also zeitliche Filter, die sich an Bewegung anpassen, halten Sie ihre zeitliche Stärke moderat und prüfen Sie bewegte Kanten, nicht nur den flachen Hintergrund:

ffmpeg -i input.mp4 -vf "atadenoise=0a=0.1:0b=0.2:1a=0.1:1b=0.2:2a=0.1:2b=0.2" -c:v libx264 -crf 18 -c:a copy denoised.mp4

Die Schwellenwerte bestimmen, ab wann atadenoise ein Pixel als verändert ansieht und aufhört, es zu mitteln. Höhere Schwellen entfernen mehr Rauschen und riskieren mehr Schlieren. Zur räumlichen Seite des Entrauschens lesen Sie Entrauschen, Entblocken, Schärfen, Farbe korrigieren.

Bildinterpolation: duplizieren, überblenden, bewegungskompensiert, KI

Bildinterpolation erzeugt Frames, die die Kamera nicht aufgenommen hat, um die Bildrate zu erhöhen oder Bewegung zu verlangsamen. Es gibt vier Wege zum Zwischenframe:

• Duplizieren wiederholt den vorherigen Frame. Es wird nichts Neues erfunden, aber die Bewegung bleibt so ruckelig wie vorher.
• Überblenden mischt die beiden Nachbarframes. Alles, was sich bewegt, erscheint zweimal mit halber Deckkraft: das Doppelbild.
• Bewegungskompensierte Interpolation schätzt, wohin sich jeder Pixelblock bewegt, und zeichnet ihn auf halbem Weg ein. Gut gemacht ergibt das ein einzelnes scharfes Objekt an der richtigen Stelle; wo die Schätzung versagt, an Kanten, Verdeckungen und sich wiederholenden Mustern, verbiegen sich Kanten und reißen Fragmente ab.
• KI-Interpolation schätzt die Bewegung mit einem Netz und synthetisiert den Frame. RIFE schätzt Zwischenflüsse direkt und läuft auf einer GPU in Echtzeit; FILM nutzt ein einzelnes Netz, das für große Bewegung zwischen Frames gebaut ist.

Um die ersten drei zu messen, haben wir aus zwei mitgelieferten Beispielclips Frames entfernt, sie mit FFmpeg neu aufgebaut und die neu aufgebauten Frames mit den echten verglichen:

Zwei Lehren daraus. Bei ruhiger Bewegung lag die Bewegungskompensation weit vorn: etwa 6 dB vor dem Überblenden. Bei verwackeltem Handmaterial taten sich alle Methoden schwer, weil Interpolation voraussetzt, dass die Bewegung zwischen zwei Frames gleichmäßig ist, und Wackeln die Richtung von Frame zu Frame umkehrt. Wenn die Kamera wackelt, stabilisieren Sie die Aufnahme zuerst mit der Videostabilisierung oder einem anderen Stabilisierer und interpolieren erst danach.

Der bewegungskompensierte Modus von FFmpeg, mit Szenenwechselerkennung, damit er nicht über Schnitte hinweg morpht:

ffmpeg -i input.mp4 -vf "minterpolate=fps=60:mi_mode=mci:mc_mode=aobmc:me_mode=bidir:vsbmc=1:scd=fdiff" -c:v libx264 -crf 18 -c:a copy smooth60.mp4

Auf der CPU ist er langsam: Auf unserem Laptop dauerte die Wandlung von 5 Sekunden 1080p mit 24 fps auf 60 fps 134 Sekunden. Die Überblendversion ist schnell und reicht für langsame Schwenks, bei denen Doppelbilder kaum auffallen:

ffmpeg -i input.mp4 -vf "framerate=fps=60" -c:v libx264 -crf 18 -c:a copy blend60.mp4

Interpolationsartefakte häufen sich an vorhersehbaren Stellen: schnelle Hände und Füße, drehende Räder, Zäune und andere sich wiederholende Muster, Objekte, die voreinander vorbeiziehen, und Szenenschnitte. Wann es sich überhaupt lohnt, die Bildrate zu erhöhen, lesen Sie in Video in 60 fps umwandeln.

So prüfen Sie die zeitliche Konsistenz

Keinen dieser Fehler können Sie an einem Standbild beurteilen. Drei Prüfungen finden die meisten:

1. In der Bildrate der Quelle bei 100 % Zoom ansehen. Achten Sie in flachen Bereichen auf kriechende Textur, an bewegten Kanten auf Schlieren und in neuen Frames auf Doppelbilder.
2. Die mittlere Helligkeit jedes Frames als Kurve darstellen. Eine glatte Linie ist in Ordnung, ein Sägezahn ist Flackern:

ffmpeg -i input.mp4 -vf "signalstats,metadata=print:key=lavfi.signalstats.YAVG:file=yavg.txt" -f null -

Die Textdatei listet die mittlere Luminanz (YAVG) jedes Frames auf, bereit für ein Diagramm in der Tabellenkalkulation.

3. Die Differenz zwischen aufeinanderfolgenden Frames ansehen. In einer ruhigen Szene sollte sich ein bearbeiteter Clip nicht stärker ändern als die Quelle. Flirren leuchtet in flachen Bereichen als Gesprenkel auf:

ffmpeg -i input.mp4 -vf "tblend=all_mode=difference,eq=contrast=4" -c:v libx264 -crf 18 -an diff.mp4

Führen Sie dieselben Befehle mit Quelle und Ergebnis aus und vergleichen Sie.

Was sich ändert

• Videomodelle ersetzen Bildmodelle. Video-Super-Resolution und -Restaurierung geben Informationen heute über viele Frames weiter, statt Paare zu bearbeiten, und diffusionsbasierte Upscaler ergänzen zeitliche Schichten oder setzen auf Videogeneratoren auf, damit Details über die Zeit konsistent erzeugt werden.
• Interpolation wird schneller und bewältigt größere Bewegung. Flussschätzung in Echtzeit (RIFE) und Einzelnetz-Designs für große Bewegung (FILM) haben die Interpolation aus Offline-Experimenten in Player und Schnittprogramme gebracht.
• Konsistenz wird gemessen, nicht vorausgesetzt. Die Forschung zur blinden zeitlichen Konsistenz hat dem Fachgebiet Wege gegeben, Flackern zu quantifizieren, sodass es neben der Schärfe zu einer berichteten Kennzahl wird.

So geht KwaFlux damit um

• Die intelligente Reparatur arbeitet mit Nachbarframes. In der Qualitätsreparatur greift Intelligente Reparatur auf Nachbarframes zurück, statt jeden Frame von Grund auf neu aufzubauen. Die Typen der Szenenreparatur arbeiten Frame für Frame; sehen Sie sich deren Vorschau daher vor dem Export in Bewegung an.
• Die Bildinterpolation läuft zuletzt. Die Arbeitsfläche der Qualitätsreparatur führt erst Deinterlacing aus, dann die Qualitätsreparatur, dann die Intelligente Bildinterpolation, sodass neue Frames aus dem reparierten Bild entstehen. Wählen Sie 2x (Standard), 3x, 4x oder unter Benutzerdefiniert ein Ziel von 30 bis 144 fps, im Modus Allgemein oder Schnell.
• Die Qualitätserkennung bewertet die Flüssigkeit. Ihre Achse Flüssigkeit umfasst „Ruckeln, Zittern, Flackern und ob die Bildrate ausreicht“, und sie kann eine Zielbildrate für die Interpolation vorschlagen.
• Vorschau in der echten Bildrate. KI-Vorschauen sind standardmäßig auf 15 fps begrenzt; wählen Sie Quellrate übernehmen, bevor Sie Flackern oder Flirren beurteilen. Vorschauen mit Interpolation laufen in der Ausgabebildrate.
• Flackern der Quelle zuerst beheben. Bei Helligkeitsflackern durch Licht oder Film führen Sie den deflicker-Befehl oben vor dem Import aus und reparieren und interpolieren danach.

Typische Probleme

Was das nicht leisten kann

• Keine Interpolation holt Bewegung zurück, die die Kamera nicht aufgenommen hat. Neue Frames sind Schätzungen, und schnelle oder verdeckte Bewegung wird geraten.
• Deflicker kann keine Rolling-Shutter-Streifen beheben und keine Helligkeitsänderungen, die über das Bild hinweg unterschiedlich ausfallen.
• Zeitliches Glätten kann schnelle Bewegung nicht von Rauschen trennen. Treibt man es weit genug, verschmieren bewegte Details.
• Modelle mit mehreren Frames verringern Flirren, können es aber nicht beseitigen, wo die Ausrichtung versagt, etwa bei Wasser, Rauch oder Menschenmengen.

Fazit

Zeitliche Konsistenz trennt Video, das bearbeitet aussieht, von Video, das gedreht aussieht. Beheben Sie Flackern an der Quelle, wählen Sie Filter und Modelle, die über mehrere Frames hinweg arbeiten, halten Sie die Stärke moderat und beurteilen Sie jedes Ergebnis in Bewegung in der Bildrate der Quelle.

KwaFlux führt die Intelligente Bildinterpolation auf Ihrer eigenen GPU aus. Die KI-Verarbeitung läuft auf Ihrer eigenen GPU, und Ihre Mediendateien werden für die Verarbeitung nicht hochgeladen. KwaFlux läuft unter Windows 10 (64-Bit, Version 1809 oder neuer), Windows 11 und macOS 12 oder neuer auf Apple Silicon. Vorschauen brauchen kein Konto: Rendern Sie für jeden Clip eine Vorschau von 1, 3 oder 5 Sekunden. Anmeldung und ein bezahlter Plan sind nur für Export, Konvertierung, Dateireparatur und Datei-Download aus einem Link nötig.