Guide

VMAF-Mittelwert, harmonisches Mittel, 1% Low und QBVE im Vergleich

Von Dirk Hildebrandt, CTO von Wavelet Beam

VMAF bewertet jeden einzelnen Frame. Um Encoder zu vergleichen, braucht man eine Zahl pro Stream, und wie man die Frame-Werte zusammenfasst, entscheidet darüber, was man sieht. Dieser Guide vergleicht die üblichen Verfahren an einem Rechenbeispiel und zeigt, welches die Qualitätseinbrüche sichtbar macht, die Zuschauer wirklich bemerken.

Warum die Zusammenfassung zählt

Ein 10-minütiges Video mit 50 fps hat 30.000 Frames und damit 30.000 VMAF-Werte. Encoder-Vergleiche, Entscheidungen über die Bitratenleiter und Convex-Hull-Berechnungen brauchen aber einen Wert pro Stream. Die übliche Wahl ist das arithmetische Mittel. Das Problem: Ein Zuschauer erlebt keinen Mittelwert. Ein paar Sekunden sichtbarer Blockbildung in einer Actionszene fallen auf, egal wie perfekt der Rest ist.

Ein Rechenbeispiel

Drei Encodes desselben Videos mit 30.000 Frames. Alle Frames erreichen VMAF 94, außer einer Anzahl Frames in einer anspruchsvollen Szene, die auf VMAF 72 einbrechen:

• Stream A: kein Einbruch, alle Frames bei 94.
• Stream B: 300 Frames, 6 Sekunden, brechen auf 72 ein.
• Stream C: 1.364 Frames, etwa 27 Sekunden, brechen auf 72 ein.

Harmonisches Mittel wie in libvmaf berechnet: N geteilt durch die Summe von 1 / (VMAF + 1), minus 1.

Arithmetisches Mittel

Der Mittelwert von Stream C sinkt nur um 1 Punkt, von 94 auf 93, obwohl fast eine halbe Minute des Videos deutlich beschädigt ist. In einer typischen Ergebnistabelle gilt 93 noch als exzellent. Der Mittelwert vermischt die Einbrüche mit den guten Frames, und ruhige, perfekte Szenen überdecken statistisch die Fehler in bewegten Szenen. Dazu kommt ein zweites Problem: Für VMAF wurden keine systematischen Fehlerintervalle veröffentlicht, ein Unterschied von 1 Punkt zwischen zwei Encodern lässt sich also kaum beurteilen.

Harmonisches Mittel

Das harmonische Mittel gewichtet niedrige Werte etwas stärker und wird deshalb oft als der bessere Mittelwert empfohlen. Im Beispiel bewegt es sich bei Stream C von 93,00 auf 92,72. Das ist ehrlicher, aber viel zu wenig, um 27 Sekunden sichtbare Artefakte abzubilden. Es bleibt ein Mittelwert über alle Frames.

Minimum und 1% Low

Der minimale VMAF und der "1% Low", der Wert des schlechtesten Prozents der Frames, wurden eingeführt, um genau solche Einbrüche zu erkennen. Sie zeigen, wie tief ein Einbruch war. Sie zeigen nicht, wie oft und wie lange die Qualität einbrach: Stream B und C bekommen identische Werte, obwohl C mehr als viermal so lange beschädigt ist. Ständige Qualitätsschwankungen machen ein Bild unruhig, diesen Effekt nennen wir Quality Pumping. Weder Minimum noch 1% Low können ihn beziffern.

QBVE: Fehlerenergie unter einer Schwelle

QBVE (Quadratic Bad VMAF Energy) zählt nur Frames unter einer Qualitätsschwelle T und quadriert ihren Abstand zur Schwelle. Es funktioniert wie ein Gated MSE: Frames über der Schwelle tragen nichts bei, exzellente Frames können einen fehlerhaften nicht verstecken. Das Quadrieren lässt einen tiefen Einbruch viel schwerer wiegen als eine kleine Schwankung, und die Summe über alle Frames lässt die Dauer zählen. Im Beispiel trennt QBVE alle drei Streams klar: 0, 4,41 und 20,05.

Für hochwertige UHD-Inhalte in HEVC verwenden wir die Schwelle 93. Bei niedrigeren Auflösungen werden Artefakte anders wahrgenommen, je niedriger die Auflösung, desto niedriger die Schwelle: Für 1080p nehmen wir eine Anfangsschwelle von 72 an. Die Schwelle kann angepasst werden, solange sie innerhalb einer Testreihe gleich bleibt.

Empfehlungen für die Praxis

• Den Mittelwert angeben, aber nie allein nach dem Mittelwert entscheiden.
• Ein Maß für Fehler ergänzen: mindestens den Anteil der Frames unter einer Schwelle, besser QBVE.
• Dieselbe Schwelle und dieselbe Referenz in der ganzen Testreihe verwenden.
• Ist Entrauschung im Spiel, den entrauschten Workflow gegen die entrauschte Quelle messen. Gegen ein verrauschtes Original zählt entferntes Rauschen als Fehler. Siehe Warum vor dem Encoding entrauschen?
• Fehlerbasierte Metriken zur Steuerung nutzen. Beim Per-Shot-Encoding dient QBVE als Kontrollinstanz statt einer Suche mit roher Rechenkraft.