Warum KI-Restaurierung nach Plastik aussieht: Loss-Funktionen, GANs, Diffusion und was dagegen hilft

Das Wichtigste in Kürze

KI-Restaurierung sieht nach Plastik aus, wenn ein Modell echte Textur schneller entfernt, als es sie wieder aufbauen kann. Haut wird wächsern, Haare verklumpen zu Strähnen, Korn und Laub verschmieren zu glatten Flächen, und das Bild wirkt sauber, aber künstlich. Die Ursachen sind gut verstanden: die Loss-Funktion beim Training, die Modellfamilie und Trainingsdaten, die nicht zum Material passen.

• „Plastik“ heißt: Die Restaurierung hat feine Textur (Poren, Haare, Korn, Laub) weggemittelt oder durch erfundene Textur ersetzt, die nicht zur Szene passt.
• Modelle, die nur auf Pixelfehler (L1 oder L2) trainiert sind, sagen den Mittelwert aller plausiblen Antworten voraus, und Mittelwerte sind glatt. GANs und Diffusionsmodelle bringen Textur zurück, ein Teil davon ist aber erfunden.
• Blau und Michaeli haben bewiesen, dass geringe Verzerrung und hoher Realismus für jedes Verzerrungsmaß gegeneinander arbeiten. Kein einzelner Wert kann Ihnen also sagen, welches Ergebnis richtig aussieht.
• Trainingsdaten, die nicht zu Ihrem Material passen, und Gesichts-Priors, die zu einem Durchschnittsgesicht hinziehen, sind die beiden anderen großen Ursachen.
• Beurteilen Sie bei 100 % Zoom und in Bewegung, senken Sie die Stärke oder mischen Sie mit der Quelle, behalten Sie Korn oder fügen Sie es wieder hinzu, und reparieren Sie vor dem Hochskalieren.

Was bedeutet „Plastik“ bei der KI-Restaurierung?

Ein Plastik-Ergebnis ist ein restauriertes Bild, dessen Oberflächen glatter oder gleichförmiger sind als in der echten Szene. Haut, Stoff, Haare und Laub verlieren dadurch die kleine, unregelmäßige Textur, die sie körperlich wirken lässt. Oft kommen scharfe Umrisse dazu: In unserem FFmpeg-Test weiter unten hinterließ starkes Entrauschen mit Schärfen harte Schachbrettkanten, während die feine Textur dazwischen verschwunden war. Scharfe Grenzen um glatte Flächen liest das Auge als Wachs oder CGI.

Wie jede Modellfamilie scheitert

CNN-Regression mit L1- oder L2-Loss

Ein degradiertes Pixel passt zu vielen scharfen Originalen: Eine Kante könnte ein Pixel weiter links oder rechts liegen, ein Hautstück könnte seine Poren in unzähligen Anordnungen haben. Ein Netz, das mit L2-Loss (MSE) trainiert wird, wird dafür belohnt, den Mittelwert dieser Möglichkeiten vorherzusagen, und der Mittelwert vieler scharfer, unterschiedlich platzierter Texturen ist glatt. L1 sagt den Median voraus, was Kanten hilft, aber Textur mit unsicherer Position hebt sich trotzdem auf. Die SRGAN-Autoren sagen es direkt: MSE-optimierten Ergebnissen fehlen oft hochfrequente Details, und sie wirken in der Wahrnehmung unbefriedigend.

GANs: Textur aus einem Adversarial-Loss

SRGAN fügte einen Diskriminator hinzu, der lernt, restaurierte Bilder von echten Fotos zu unterscheiden, dazu einen Content-Loss, der auf wahrgenommener Ähnlichkeit statt auf Pixeln beruht. Die Autoren beschreiben die Wirkung so, dass die Lösung in Richtung der Mannigfaltigkeit natürlicher Bilder geschoben wird. Das Ergebnis wirkt schärfer, aber die Textur wird so erzeugt, dass sie plausibel ist, nicht wiederhergestellt. Ist sich der Generator unsicher, muss er trotzdem etwas Texturartiges liefern, und genau daher kommen erfundene Muster und überschärfte Kanten. Real-ESRGAN, rein mit synthetischen Daten trainiert, simuliert außerdem das Ringing und Überschwingen, das echtes Material mitbringt, und lernt so, es zu entfernen.

Transformer und rekurrente Videomodelle

Transformer wie SwinIR und Restormer ersetzen Faltung durch Attention, die weitreichende Wechselwirkungen zwischen Pixeln erfasst. Restormer weist darauf hin, dass der Aufwand der Standard-Attention quadratisch mit der Auflösung wächst, weshalb Restaurierungs-Transformer effizientere Attention-Varianten verwenden. Die Architektur entscheidet nicht allein über den Plastik-Look; das tut der Loss. Für Video propagieren rekurrente Modelle wie BasicVSR++ Merkmale vorwärts und rückwärts durch den Clip, mit flussgeführter deformierbarer Ausrichtung. So kann ein Frame echte Details von seinen Nachbarn übernehmen, statt sie zu erfinden. Wo die Ausrichtung versagt, bei schneller Bewegung oder Verdeckungen, verschmieren die übernommenen Details oder erzeugen Geisterbilder.

Diffusionsbasierte Restaurierung

Diffusionsmodelle restaurieren, indem sie ausgehend von einem gelernten Prior iterativ entrauschen, und sie erzeugen die überzeugendsten feinen Details. Diese Stärke ist zugleich das Risiko. Die Autoren von Upscale-A-Video schreiben, dass die Zufälligkeit des Diffusions-Samplings zeitliche Konsistenz erschwert, und sie machen Rauschstufen einstellbar, um Restaurierung und Generierung auszubalancieren. STAR stellt fest, dass auf Standbildern trainierte Bild-Diffusionsmodelle mit zeitlicher Konsistenz kämpfen und große generative Backbones die Treue zur Quelle schwächen können. Die Kosten sind die andere Grenze: Die Autoren von SeedVR2 nennen den Inferenzaufwand der Diffusions-Videorestaurierung untragbar und destillieren sie deshalb auf einen einzigen Schritt.

Der Perception-Distortion-Tradeoff

Blau und Michaeli haben bewiesen, dass Verzerrung (wie weit die Ausgabe vom echten Bild entfernt ist) und Wahrnehmungsqualität (wie schwer die Ausgabe von echten Bildern zu unterscheiden ist) im Widerspruch stehen: Sinkt die mittlere Verzerrung, lassen sich die Ausgaben leichter von echten Bildern unterscheiden. Das Ergebnis gilt für jedes Verzerrungsmaß, nicht nur für PSNR oder SSIM, und die Autoren zeigen, dass GANs einen fundierten Weg bieten, sich der Grenze zu nähern.

Wir haben den Effekt mit synthetischem Material nachgestellt. Ein fein texturierter Testclip wurde auf halbe Auflösung mit Rauschen und starker Kompression degradiert und dann auf zwei Arten „restauriert“, wobei FFmpeg-Filter die Modelle vertraten: starkes Entrauschen mit Schärfen sowie leichtes Entrauschen mit wieder hinzugefügtem Korn. Gemessen am sauberen Original:

Die überglättete Version gewann bei beiden Pixelmetriken, behielt aber nur etwa ein Fünfzehntel der ursprünglichen Textur. Die Korn-Version behielt den Großteil der Texturenergie und schnitt am schlechtesten ab, weil zufälliges Korn nicht Pixel für Pixel zum Originalmuster passt. Wenn Sie eine saubere Referenz haben, etwa nachdem Sie einen Clip absichtlich degradiert haben, um Einstellungen zu testen, braucht die Messung einen Befehl:

ffmpeg -i restored.mp4 -i reference.mp4 -lavfi "[0:v][1:v]psnr" -f null -

Nutzen Sie Metriken, um große Umschreibungen aufzuspüren, nicht um Looks zu ranken; wie wir Videoqualität bewerten erklärt, warum ein Ähnlichkeitswert Veränderung misst und nicht Verbesserung.

Unpassende Degradation und Identitätsdrift

Unpassende Degradation. Ein Modell kann nur Schäden rückgängig machen, die es gelernt hat. Real-ESRGAN antwortete darauf mit einem Degradationsmodell höherer Ordnung, das Unschärfe, Skalierung, Rauschen und Kompression mehrfach hintereinanderschaltet, weil echte Schäden komplexer sind als einfaches Herunterskalieren. Trägt das Material Schäden außerhalb des Trainingsmixes, etwa Reste von Interlacing, starkes Farbrauschen, ungewöhnliche Kompression oder Filmkorn, schärft das Modell sie womöglich, als wären sie Details, oder wischt die Textur gleich mit weg, als wäre alles Rauschen.

Identitätsdrift bei Gesichtern. Gesichtsrestaurierer bringen starke Priors mit: GFPGAN stützt sich auf ein vortrainiertes Gesichts-GAN, CodeFormer sagt Einträge aus einem gelernten Codebook von Gesichtsteilen voraus. Beide Paper beschreiben das Ergebnis als Abwägung zwischen Qualität und Treue, und CodeFormer macht diesen Kompromiss als Regler zugänglich. Je stärker der Prior, desto mehr wird ein kleines oder unscharfes Gesicht zu einem plausiblen Durchschnittsgesicht gezogen, mit glatter Haut, regelmäßigen Zähnen und austauschbaren Augen. Worauf Sie achten sollten, steht in Gesichter in Videos restaurieren.

Was sich 2026 ändert

• Diffusion in einem Schritt. Destillation und adversariales Post-Training reduzieren die Diffusionsrestaurierung auf einen einzigen Schritt; SeedVR2 berichtet von Ergebnissen, die mit mehrstufigen Verfahren vergleichbar oder besser sind. Günstigere Inferenz macht Details im Diffusionsstil auch für lange Clips praktikabel, die Frage der Treue bleibt aber.
• Zeitliche Priors. Statt Bildmodelle Frame für Frame laufen zu lassen, nutzt neuere Video-Super-Resolution Video-Priors: zeitliche Schichten und rekurrente Latent-Propagation in Upscale-A-Video oder Text-to-Video-Backbones in STAR.
• NPUs auf dem Gerät. Der Copilot+-PC-Leitfaden von Microsoft beschreibt NPUs mit mehr als 40 Billionen Operationen pro Sekunde und weist darauf hin, dass viele mit Ganzzahlarithmetik wie INT8 rechnen. Modelle werden deshalb in Formate mit geringerer Genauigkeit umgewandelt, um dort zu laufen.

So erkennen Sie ein Plastik-Ergebnis

Vergleichen Sie denselben Ausschnitt aus Quelle und Ergebnis. Skalieren Sie die Quelle mit Nearest Neighbor, damit Sie ihre echten Pixel sehen:

ffmpeg -ss 2 -i source.mp4 -ss 2 -i restored.mp4 -filter_complex "[0:v]scale=1280:720:flags=neighbor,crop=480:270:760:400[a];[1:v]crop=480:270:760:400[b];[a][b]hstack" -frames:v 1 compare.png

Eine Differenzkarte zeigt, was die Restaurierung entfernt oder hinzugefügt hat. Mittelgrau heißt unverändert; Struktur in flachen Bereichen heißt, dass Rauschen oder Textur entfernt wurde, und neue Muster bedeuten erfundene Details:

ffmpeg -ss 2 -i source.mp4 -ss 2 -i restored.mp4 -filter_complex "[0:v]scale=1280:720:flags=bicubic,format=gray[a];[1:v]format=gray[b];[b][a]blend=all_mode=grainextract,eq=contrast=4" -frames:v 1 diff.png

In unserem Test zeigte die Karte der überglätteten Version, dass das Rauschen und die Blockbildung der Quelle in flachen Bereichen sowie die Textur im Schachbrettbereich allesamt entfernt worden waren.

So vermeiden Sie es

Methode 1: Stärke senken oder mit der Quelle mischen. Viele Restaurierer bieten einen Regler für Stärke oder Treue, etwa den Fidelity-Kompromiss von CodeFormer oder die Rauschstufe von Upscale-A-Video; nehmen Sie die niedrigste Einstellung, die das Problem behebt. Hat ein Werkzeug keinen solchen Regler, mischen Sie seine Ausgabe mit der Quelle:

ffmpeg -i source.mp4 -i restored.mp4 -filter_complex "[0:v]scale=1280:720:flags=lanczos,format=yuv420p[a];[1:v]format=yuv420p[b];[b][a]blend=all_expr='A*0.7+B*0.3'" -c:v libx264 -crf 16 -c:a copy blended.mp4

Damit bleiben 70 % der Restaurierung und 30 % der hochskalierten Quelle. In unserem Test brachte die Mischung ein wenig Textur zurück (nach unserem Maß 0,63 statt 0,35) und mit ihr etwas vom Rauschen der Quelle. Sie eignet sich also für leichte Fälle.

Methode 2: Korn behalten oder zuletzt wieder hinzufügen. Korn kaschiert den wächsernen Look und gibt dem Encoder Textur, die er erhalten kann. Fügen Sie feines, zeitlich wechselndes Korn nur der Luminanz hinzu und stimmen Sie x264 darauf ab:

ffmpeg -i restored.mp4 -vf "noise=c0s=6:c0f=t" -c:v libx264 -crf 16 -tune grain -c:a copy regrained.mp4

c0s=6 legt die Rauschstärke der Luminanz fest, und c0f=t lässt das Rauschen sich in jedem Frame ändern; die grain-Abstimmung von x264 senkt Deblocking und Quantisierer-Deadzones, damit feines Korn die Kodierung übersteht. In unserem Test stieg das Texturmaß von 0,35 auf 3,5, gegenüber 5,1 beim sauberen Original. Das ist neues Korn, kein wiederhergestelltes Detail. Wie Sie Korn zuerst von Rauschen unterscheiden, lesen Sie in Korn vs. Rauschen vs. Kompressionsartefakte.

Methode 3: Vor dem Hochskalieren reparieren. Entfernen Sie Kompressionsblöcke und Rauschen in der Quellauflösung und skalieren Sie danach hoch. Ein Upscaler, der Blöcke und Rauschen für Details hält, vergrößert und schärft sie.

Methode 4: In Bewegung beurteilen. Flirrende Textur ist auf einem Standbild unsichtbar. Stellen Sie Quelle und Ergebnis in der Bildrate der Quelle nebeneinander und schauen Sie bei 100 %:

ffmpeg -i source.mp4 -i restored.mp4 -filter_complex "[0:v]scale=1280:720:flags=neighbor[a];[a][1:v]hstack" -c:v libx264 -crf 16 side_by_side.mp4

Tipp: Prüfen Sie zuerst Gesichter, Text und Laub. Dort sind erfundene Details am leichtesten zu sehen und am schwersten zu entschuldigen.

So geht KwaFlux damit um

• Die intelligente Reparatur arbeitet mit Nachbarframes. In der Qualitätsreparatur analysiert Intelligente Reparatur den Clip und kombiniert Entrauschen, Schärfen, Farb- und Helligkeitskorrektur, Hochskalierung sowie die Restaurierung von Gesichtern und feinen Details. Weil sie mit Nachbarframes arbeitet, gehört sie zu den oben beschriebenen Restaurierern, die mehrere Frames nutzen.
• Die Szenentypen der Szenenreparatur arbeiten Frame für Frame. Anime, Nachtszene, Dunst entfernen, Regen entfernen, Kolorieren und Filmkorn entfernen zielen jeweils auf eine Art von Schaden. Ein Szenentyp, der auf Material eingesetzt wird, für das er nicht gedacht ist, ist eine häufige Ursache für wächserne Gesichter; welchen Reparaturtyp Sie wählen erklärt die Auswahl.
• Vor dem Export die Vorschau ansehen. Rendern Sie eine Vorschau von 1, 3 oder 5 Sekunden. KI-Vorschauen sind standardmäßig auf 15 fps begrenzt, wählen Sie also Quellrate übernehmen, bevor Sie Bewegung oder Flirren beurteilen.
• Den Ähnlichkeitswert als Warnsignal lesen. Ist Qualität nach der Vorschau vergleichen eingeschaltet, meldet jede Vorschau Werte, darunter Ähnlichkeit zur Quelle (VMAF), was die App mit „Höher heißt weniger Änderungen, nicht bessere Qualität“ beschreibt. Ein deutlicher Einbruch markiert eine starke Umschreibung, die Sie bei 100 % Zoom prüfen sollten.
• Das Korn behalten, das Sie wollen. Filmkorn entfernen entfernt Korn absichtlich. Gehört Korn zum Look, lassen Sie den Typ weg, und fügen Sie nach dem Export mit dem FFmpeg-Befehl oben wieder Korn hinzu, falls das Ergebnis zu sauber wirkt.

Typische Probleme

Was das nicht leisten kann

• Kein Restaurierer holt Details zurück, die die Kamera nicht aufgenommen hat. Er sagt plausible Details voraus.
• Keine einzelne Einstellung passt zu jeder Aufnahme. Texturreiches Material und flache Grafiken scheitern in entgegengesetzte Richtungen.
• Metriken können das natürlich wirkende Ergebnis nicht auswählen. Pixelwerte belohnen Glättung, deshalb müssen Ihre Augen entscheiden.
• Hinzugefügtes Korn stellt keine Textur wieder her. Es kaschiert den wächsernen Look.

Fazit

KI-Restaurierung sieht nach Plastik aus, wenn das Mitteln über die Textur siegt oder erfundene Textur nicht zur Szene passt. Wählen Sie Einstellungen, die die Treue zur Quelle wahren, vergleichen Sie bei 100 % Zoom und in Bewegung, und werten Sie ein sauberes, aber texturloses Bild als Warnung, nicht als Erfolg.

KwaFlux führt die Qualitätsreparatur auf Ihrer eigenen GPU aus. Die KI-Verarbeitung läuft auf Ihrer eigenen GPU, und Ihre Mediendateien werden für die Verarbeitung nicht hochgeladen. KwaFlux läuft unter Windows 10 (64-Bit, Version 1809 oder neuer), Windows 11 und macOS 12 oder neuer auf Apple Silicon. Vorschauen brauchen kein Konto: Rendern Sie für jeden Clip eine Vorschau von 1, 3 oder 5 Sekunden. Anmeldung und ein bezahlter Plan sind nur für Export, Konvertierung, Dateireparatur und Datei-Download aus einem Link nötig.