vor 13 Stunden schrieb Friedemann Wachsmuth:Das ist fein! Aber was unterscheidet dein Vorgehen von NeatVideo, dass ja auch Nachbarframes verwenden kann?
Sehr interessieren würde mich ein Beispielclip...
Naja, hier wird's dann ein bisschen technisch...
Vorab: kenne Neat Video nicht so gut, und naturgemäß ist das auch nicht Open Source, so dass ich nicht direkt im Code nachschauen kann.
Tendenziell nimmt Neat Video vermutlich ein anderes Rauschmodell an, eher in Richtung digitaler Sensoren getrimmt. Daher auch der Schritt in der Anwendung, eine möglichst strukturlose Fläche im Bild zu wählen — daraus wird ein Rauschprofil gewonnen, nach dem dann im Einzelbild gefiltert wird. Der Temporalfilter scheint mir eher ein Zusatz dazu zu sein; nicht so ganz klar, ob hier wirklich dichte Flusskarten berechnet werden.
Genau da liegt für mich der Knackpunkt: Im Einzelbild sind Korn und feines Detail schlicht nicht unterscheidbar. Beides sind kleine, kontrastreiche Strukturen. Wer primär räumlich filtert, muss also raten — und nimmt zwangsläufig Detail mit weg. Erst über die Zeit wird der Unterschied sichtbar: das Detail bleibt, wo es ist, das Korn springt.
cineFlow setzt deshalb genau dort an. Über den optischen Fluss wird ermittelt, wohin sich jeder Bildpunkt von Frame zu Frame bewegt hat. Damit lässt sich ein Detail über mehrere Nachbarbilder hinweg verfolgen und aus mehreren Beobachtungen desselben Bildpunkts verrechnen. Das Korn, das ja in jedem Bild woanders sitzt, mittelt sich dabei weitgehend heraus, während das echte Detail stehenbleibt.
Also, mit den wenigen Infos, die ich über Neat Video habe:
- Neat Video ist eher auf digitales Rauschen getrimmt, cineFlow definitiv auf analoges.
- Neat Video arbeitet vermutlich primär räumlich mit temporaler Ergänzung, cineFlow primär temporal — das Pferd wird also von der anderen Seite aufgezäumt, wobei es hier kein „Falschherum" gibt.
Hier ein kurzer Clip mit ein paar Beispielen:
- „Grand Canyon" — sehr starkes Rauschen in den Schatten. Zwei Faktoren kommen zusammen: das über ein Jahr gelagerte Latentbild des K25 und der hohe Kontrast der Szene selbst.
- „Fast Birds" — viele kleine, schnell bewegte Objekte vor fast texturlosem Hintergrund. Notorisch schwieriges Material: wer über die Zeit mittelt, ohne die Bewegung sauber zu erfassen, produziert hier Schlieren oder Doppelkonturen.
- „Yellowstone" — schnell bewegte, diffuse Objekte (Wasserfall) und transparente Gischt. Also Bildinhalt, für den es streng genommen gar keine eindeutige Korrespondenz zwischen zwei Frames gibt.
- „Las Vegas" — hoher Kontrastumfang und sich schnell ändernde Lichter. Nicht so einfach.
- „Rooftops Seattle" — ein anderes Filmmaterial: Ektachrome, schön gefadet über die Jahre. Andere Emulsion, also anderes Korn.
Links jeweils der Rohscan, rechts das Ergebnis.