Lesen ist einfach. Richtig lesen ist Ingenieursarbeit.

Genauigkeit, die Sie prüfen können.

Ein Rechnungsbetrag mit einer falschen Ziffer kann vollkommen plausibel wirken. Ein Kontoauszug kann korrekte Beträge enthalten und trotzdem eine fehlende Transaktion aufweisen. In der Buchhaltung sind diese Unterschiede entscheidend.

Wir bewerten die Extraktion Feld für Feld, untersuchen Fehler und prüfen Änderungen anhand von Referenzantworten. Dieser Bericht zeigt Ogments aktualisierte Produktionsergebnisse und ein historisches Beispiel für die Verbesserung des Systems.

Genauigkeit des Steuerbetrags · Ogment

99,83 %

Genauigkeit der Gesamtsumme · SROIE-Belege

99,90 %

Verarbeitete Kontoauszugsdateien

99,75 %

Auswertungsstichprobe: Für die aktualisierte Auswertung wurden unscharfe oder verschmutzte Dokumente durch andere ersetzt. Die Ergebnisse beschreiben diese Ersatzstichprobe, nicht die gesamte Bandbreite eingehender Dokumentqualität. Die Kontoauszugsstichprobe umfasst 400 Dateien. Diese Ergebnisse sind vom ursprünglichen September-Benchmark getrennt.

Dies sind Extraktionsergebnisse vor fachlicher Beurteilung oder manueller Korrektur. Ein Feldwert entspricht nicht dem Anteil vollständig korrekter Dokumente. Der Benchmark misst weder die Schweizer MWST-Behandlung noch die Kontierung oder die Genauigkeit der gesamten Buchführung.

Das Dokument ist der Beleg.

Ein strukturierter Wert sollte sich leicht auf seine Quelle zurückführen lassen. Eine stimmige Rechnung unterstützt die Prüfung; sie belegt weder die richtige Steuerbehandlung noch die Korrektheit jedes Feldes.

• Rechnungen

  Zwischensumme plus ausgewiesene Steuer sollten die Gesamtsumme ergeben. Jeder extrahierte Wert muss weiterhin mit dem Dokument übereinstimmen.

• Schwierige Belege

  Wenn eine Steuerzeile unklar ist, ist ein abgeleiteter Betrag kein gedruckter Nachweis. Ein fehlender Wert und ein plausibel wirkender falscher Wert erfordern unterschiedliche Prüfarbeit.

• Kontoauszüge

  Anfangssaldo plus vorzeichenrichtige Transaktionen sollten den Schlusssaldo ergeben. Eine fehlende Zeile oder ein falsches Vorzeichen kann diese Prüfung scheitern lassen, selbst wenn andere Beträge korrekt gelesen wurden.

Es gibt nicht die eine «Genauigkeit».

Dokumentfelder und Übereinstimmungswerte messen unterschiedliche Aufgaben. Wir weisen sie getrennt aus, damit ein starkes Ergebnis keine Schwäche an anderer Stelle verdeckt. Die folgenden Grafiken zeigen die aktualisierten Produktionsergebnisse; sie sind keine Wiederholung des früheren Vergleichs von vier Konfigurationen.

Saubere Rechnungen sind nur die halbe Geschichte.

Echte Belege enthalten ungewohnte Layouts, kompakte Datumsangaben und mehrdeutige Steuerzeilen. Die Betrachtung einzelner Datensätze macht verbleibende Fehler sichtbar, auch nach der Qualitätsauswahl der Dokumente.

• Ausgewiesene Steuer lesen. Steuerbehandlung gesondert prüfen.

  Den auf einem Beleg ausgewiesenen Steuerbetrag auszulesen ist eine andere Aufgabe als zu entscheiden, ob er abzugsfähig ist oder welcher MWST-Code gilt. Dieser Benchmark prüft das Auslesen.

• Schwierige Fälle sichtbar machen.

  Für Prüfende bedeuten ein fehlender Wert und ein plausibel wirkender falscher Wert unterschiedliche Arbeit. Künftige Auswertungen sollten beides messen und zeigen, welche Fehler das System markiert.

Aus einem Fehler wird ein Test.

Eine frühere Version klassifizierte Belege häufig als Rechnungen. Wir überarbeiteten die Klassifikationsanweisungen und prüften denselben Dokumentensatz erneut. Bei einem Belegdatensatz war die Verbesserung gross, während andernorts eine kleine Verschlechterung verblieb.

1. Den Fehler untersuchen War die Quelle unleserlich, die Anweisung mehrdeutig oder die extrahierte Struktur unvollständig?
2. Die Regel präzisieren Den Fehler nutzen, um das erwartete Verhalten zu präzisieren, einschliesslich der Darstellung fehlender Informationen.
3. Jede Teilmenge prüfen Verbesserungen und Verschlechterungen über alle Dokumenttypen messen und anschliessend mit bisher ungenutzten Dokumenten bestätigen.

Jede Zeile muss gefunden werden.

Ein korrekter Betrag bei einer zugeordneten Transaktion ist nützlich. Er sagt nicht aus, ob der gesamte Kontoauszug extrahiert wurde. Deshalb weisen wir die Dateiverarbeitung gesondert aus.

Die Genauigkeit zugeordneter Transaktionen schliesst Zeilen aus, die keiner Referenzzeile zugeordnet werden konnten. Eine vollständige Bewertung benötigt auch Messwerte für fehlende und zusätzliche Zeilen.

Genauigkeit und Prüfung gehören zusammen.

Die nächste Frage ist praktisch: Wie korrekt sind die Dokumente, die die Validierung bestehen, und wie viele benötigen eine Prüfung? Ergebnisse einzelner Felder beantworten diese Frage nicht.

Die vorgeschlagene Kennzahl misst, ob jedes erforderliche kritische Feld akzeptierter Dokumente vor manueller Korrektur richtig ist. Dafür braucht es unabhängig beschriftete Dokumente und Schwellenwerte auf Grundlage validierter Systemsignale. Hier wird kein kalibriertes Ergebnis zur Dokumentannahme ausgewiesen.

Der Nenner zählt.

Ein hoher Wert ist nur aussagekräftig, wenn Aufgabe, Testdatensatz und Bewertungsregeln klar sind.

• Referenzantworten

  Öffentliche Datensätze liefern beschriftete Dokumentfelder. Fehlende Ausgaben zählen als Fehler, wenn eine Referenzantwort vorhanden ist. Felder ohne Referenz werden aus der Bewertung dieses Feldes ausgeschlossen.

• Exakte Übereinstimmung

  Datumsangaben werden in dieselbe Darstellung überführt. Beträge müssen auf den Rappen genau übereinstimmen. Bei Dokumentnummern werden Leerzeichen, Satzzeichen sowie Gross- und Kleinschreibung vereinheitlicht.

• Auswertungsstichprobe

  Für die aktualisierte Auswertung wurden unscharfe oder verschmutzte Dokumente durch andere ersetzt. Die Ergebnisse beschreiben diese Ersatzstichprobe, nicht die gesamte Bandbreite eingehender Dokumentqualität. Die Kontoauszugsstichprobe umfasst 400 Dateien. Diese Ergebnisse sind vom ursprünglichen September-Benchmark getrennt.

• Vergleiche brauchen dasselbe Verfahren

  Eine Ersatzstichprobe verändert die Aussage eines Ergebnisses. Aktualisierte Produktionswerte belegen weder eine Verbesserung gegenüber der ursprünglichen Stichprobe noch eine Rangfolge gegenüber Modellen, die nur im früheren Benchmark gemessen wurden.

• Anthropic · Vorstellung der Sonnet-4.6-Evaluation
• OpenAI · GPT-5-Evaluation und Zuverlässigkeit

Die aktualisierten Zahlen sind von Ogment gemeldete Auswertungsergebnisse. Die historischen Klassifikationswerte stammen aus dem September-Bericht. Die Forschungslinks veranschaulichen die Darstellung von Evaluationen; sie sind keine Quellen für Ogments Werte.