N E W S

Publikation über VERA-QC, der am IMGW entwickelten Datenqualitätskontrolle, veröffentlicht

22.03.2012

Im Journal Monthly Weather Review ist in der Dezemberausgabe 2011 Artikel "Data Quality Control Based on Self-Consistency" erschienen. Die Autoren Reinhold Steinacker, Dieter Mayer und Andrea Steiner beschreiben darin ...

die in den vergangenen Jahren am Institut entwickelte Datenqualitätskontrollsoftware (VERA-QC), welche dem ebenfalls institutseigenen operationellen Analysetool VERA vorgeschaltet ist und eine hohe Qualität der Eingangsdaten sicherstellt.

Die Publikation gibt zuerst einen Überblick bezüglich der möglichen Fehlerarten und der aktuell verfügbaren Methoden der Datenqualitätskontrolle. Aufgrund der besonderen Eigenschaften von VERA, beispielsweise der Unabhängigkeit von Modelldaten oder der Anwendung auf meteorologische Parameter im komplexen Gelände (unregelmäßige Stationsverteilung, Frage der Repräsentativität von Stationen für ihre Umgebung), scheidet die Möglichkeit eine bereits bestehende etablierte QC-Technik als Preprocessing für VERA zu verwenden, aus. Im Anschluss an diesen Überblick werden die physikalischen Grundlagen, die Anwendbarkeit sowie die mathematische Formulierung der vorgestellten VERA-QC erläutert. VERA-QC basiert auf der berechtigten Annahme, dass bei hinreichender Datendichte der zu kontrollierende meteorologische Parameter glatt verteilt ist, die integrale Krümmung des entsprechenden Feldes daher gering sein muss. Dieser Umstand lässt sich in Form einer zu minimierenden Kostenfunktion formulieren, was schließlich zu einem linearen Gleichungssystem führt, dessen Lösungen als Korrekturvorschläge für die Beobachtungen interpretierbar sind. Abhängig von der Größe, der Auswirkung ihrer Berücksichtigung auf die Feldrauigkeit sowie vom individuellen Stationsverhalten wird entschieden, ob eine Beobachtung akzeptiert, korrigiert oder verworfen wird.

Dem methodischen Teil folgen Beispiele mit analytischen Feldern und künstlich angebrachten Fehlern, woraus die Funktionsweise dieser QC-Methode ersichtlich wird. Gezeigt wird auch, wie die QC mit Problemen sehr unregelmäßiger Stationsdichte und der damit verbundenen Fortpflanzung eines Fehlers auf benachbarte Stationen umgeht.

Um die gute Performance von VERA-QC hervorzuheben - diese zeichnet sich z. B. bei künstlich angebrachten Fehlern durch ihre hervorragende Detektierung aus - wurde unsere Methode mit zwei anderen herkömmlichen und auf räumlicher Konsistenz beruhenden QC-Methoden verglichen. Dieser statistische Vergleich mit dem für die VERA-QC sehr erfreulichen Ergebnis sowie ein Ausblick auf Erweiterungsmöglichkeiten bilden den Abschluss der Publikation.

Inzwischen ist auch die Nachfolge-Publikation fertig gestellt, welche sich mit Erweiterungen der VERA-QC wie einer verbesserten Gross-Error Erkennung, einer Bias-Korrektur und der speziellen Behandlung von Temperaturmessungen im Gebirge sowie mit verschiedenen Anwendungsmöglichkeiten der VERA-QC beschäftigt. Diese ist bei Tellus eingereicht worden.

Link für die Publikation: journals.ametsoc.org/doi/abs/10.1175/MWR-D-10-05024.1