Audit IA offert, 30 minProduit et ingénierie · Octobre 2026
Lire est facile. Lire juste est un travail d’ingénierie.
La précision sur les documents comptables commence par le modèle. La fiabilité dépend de la façon dont nous le testons, vérifions ses réponses et traitons ce qu’il ne peut pas lire.
Une précision que vous pouvez examiner.
Un total de facture erroné d’un seul chiffre peut sembler parfaitement plausible. Un relevé bancaire peut contenir des montants exacts tout en omettant une transaction. En comptabilité, ces distinctions comptent.
Nous évaluons l’extraction champ par champ, analysons les erreurs et testons les changements par rapport aux réponses de référence. Ce rapport présente les résultats actualisés du système de production d’Ogment et un exemple historique d’amélioration.
- Précision du montant de taxe · Ogment
- 99,83 %
- Précision du total · reçus SROIE
- 99,90 %
- Fichiers de relevés bancaires traités
- 99,75 %
Échantillon d’évaluation : Pour l’évaluation actualisée, les documents flous ou tachés ont été remplacés par d’autres documents. Les résultats décrivent cet échantillon de remplacement, et non toute la diversité des documents reçus. L’échantillon de relevés bancaires comprend 400 fichiers. Ces résultats sont distincts du benchmark initial de septembre.
Il s’agit de résultats d’extraction, avant jugement comptable ou correction humaine. Le score d’un champ n’est pas le pourcentage de documents entièrement corrects. Le benchmark ne mesure ni le traitement de la TVA suisse, ni l’imputation comptable, ni l’exactitude de la tenue des comptes de bout en bout.
Le document fait foi.
Une valeur structurée doit pouvoir être facilement reliée à sa source. Une concordance arithmétique facilite la vérification ; elle ne prouve ni le traitement fiscal ni l’exactitude de chaque champ.
Factures
Le sous-total plus la taxe imprimée doivent correspondre au total. Chaque valeur extraite doit néanmoins correspondre au document.
Reçus difficiles
Lorsqu’une ligne de taxe est illisible, un montant déduit ne constitue pas une preuve imprimée. Une valeur manquante et une valeur erronée apparemment fiable demandent un travail de vérification différent.
Relevés bancaires
Le solde initial plus les transactions signées doivent correspondre au solde final. Une ligne manquante ou inversée peut faire échouer ce contrôle même si les autres montants ont été lus correctement.
Il n’existe pas une seule «précision».
Les champs documentaires et les scores de similarité mesurent des tâches différentes. Nous les présentons séparément afin qu’un bon résultat ne masque pas une faiblesse ailleurs. Les graphiques ci-dessous montrent les résultats de production actualisés ; ils ne constituent pas une nouvelle comparaison des quatre configurations précédentes.
Correspondance exacte par champ
Taxe imprimée · score agrégé
- Production Ogment: 99,83 %
Taxe imprimée · reçus CORD
- Production Ogment: 99,61 %
Montant total · reçus SROIE
- Production Ogment: 99,90 %
Scores de similarité des fournisseurs et des lignes
Nom du fournisseur (score de similarité)
- Production Ogment: 99,79 %
Adresse du fournisseur (score de similarité)
- Production Ogment: 99,68 %
Descriptions des lignes (score de similarité)
- Production Ogment: 99,64 %
Lignes avec montants (score de similarité)
- Production Ogment: 99,86 %
Les factures nettes ne disent pas tout.
Les reçus réels présentent des mises en page inhabituelles, des dates compactes et des lignes de taxe ambiguës. Examiner chaque jeu de données rend les erreurs restantes visibles, même après sélection selon la qualité des documents.
Réponses incorrectes ou manquantes pour 1’000
Taxe imprimée · reçus CORD
3,9 / 1’000
Montant total · reçus SROIE
1,0 / 1’000
Lire la taxe imprimée. Vérifier séparément son traitement.
Extraire le montant de taxe imprimé sur un reçu est distinct de déterminer sa déductibilité ou le code TVA applicable. Ce benchmark teste l’extraction.
Rendre les cas difficiles visibles.
Pour la personne qui vérifie, une valeur manquante et une valeur erronée apparemment fiable créent des tâches différentes. Les prochaines évaluations devraient mesurer les deux, ainsi que les erreurs signalées par le système.
Une erreur devient un test.
Une version antérieure classait souvent les reçus comme des factures. Nous avons révisé les consignes de classification puis retraité le même ensemble de documents. L’amélioration a été importante sur un jeu de reçus, avec une légère régression ailleurs.
Classification des documents, avant et après
Reçus réels · SROIE
- Avant: 24,52 %
- Après: 99,39 %
Reçus réels · CORD
- Avant: 98,80 %
- Après: 100,00 %
Reçus synthétiques
- Avant: 83,28 %
- Après: 100,00 %
Factures synthétiques
- Avant: 99,95 %
- Après: 99,84 %
- Examiner l’erreur La source était-elle illisible, la consigne ambiguë ou la structure extraite incomplète ?
- Expliciter la règle Utiliser l’erreur pour préciser le comportement attendu, y compris la représentation des informations manquantes.
- Vérifier chaque sous-ensemble Mesurer les améliorations et les régressions par type de document, puis confirmer sur des documents encore jamais utilisés.
Chaque ligne doit être retrouvée.
Un montant exact sur une transaction appariée est utile. Il n’indique pas si l’intégralité du relevé a été extraite. Nous présentons donc séparément le traitement complet des fichiers.
Résultats du traitement des relevés bancaires
Production Ogment
- Traités après nouvelle tentative: 399
- Non traités: 1
Détails du relevé et score des lignes
Solde final
- Production Ogment: 99,75 %
Numéro de compte
- Production Ogment: 99,75 %
Période du relevé
- Production Ogment: 99,75 %
Lignes de transactions (score de correspondance)
- Production Ogment: 99,88 %
La précision des transactions appariées exclut les lignes qui n’ont pas pu être reliées à la référence. Une évaluation complète doit aussi mesurer les lignes manquantes et les lignes supplémentaires.
Précision et vérification vont de pair.
La question suivante est pratique : quelle est la précision des documents qui passent la validation, et combien nécessitent une vérification ? Les résultats par champ ne suffisent pas à y répondre.
L’indicateur proposé mesure si chaque champ critique requis est correct sur les documents acceptés, avant correction humaine. Il nécessite des documents annotés indépendamment et des seuils fondés sur des signaux système validés. Aucun résultat calibré d’acceptation des documents n’est revendiqué ici.
Le dénominateur compte.
Un score élevé n’a de sens que si la tâche, le jeu de test et les règles d’évaluation sont clairs.
Réponses de référence
Les jeux de données publics fournissent des champs annotés. Une sortie manquante compte comme une erreur lorsqu’une référence existe. Les champs sans référence sont exclus du score de ce champ.
Correspondance exacte
Les dates sont normalisées dans un format commun. Les montants doivent correspondre au centime près. Les numéros de document sont normalisés pour les espaces, la ponctuation et la casse.
Échantillon d’évaluation
Pour l’évaluation actualisée, les documents flous ou tachés ont été remplacés par d’autres documents. Les résultats décrivent cet échantillon de remplacement, et non toute la diversité des documents reçus. L’échantillon de relevés bancaires comprend 400 fichiers. Ces résultats sont distincts du benchmark initial de septembre.
Comparer exige le même protocole
Un échantillon de remplacement change la portée d’un score. Les résultats de production actualisés ne permettent ni d’établir une amélioration par rapport à l’échantillon initial ni de classer des modèles évalués uniquement sur le benchmark précédent.
Inventaire et périmètre des jeux de données initiaux
Le benchmark initial utilisait CORD v2 (1’000 reçus indonésiens réels), ICDAR 2019 SROIE (987 reçus malaisiens réels numérisés), Invoice OCR Synthetic (2’814 factures et reçus synthétiques) et Indian Bank Statements (400 fichiers synthétiques : 200 originaux numériques et leurs copies numérisées). Aucun document client n’a été utilisé. L’évaluation actualisée remplace les documents flous ou tachés ; le graphique historique de classification conserve l’échantillon initial.
Ce que ces résultats n’établissent pas
Ces résultats ne mesurent ni les performances sur des documents suisses quelconques, ni le traitement fiscal, ni le choix des comptes, ni l’exactitude du rapprochement, ni les documents entièrement corrects, ni la précision en production après vérification humaine. L’exposition aux benchmarks publics peut influencer les résultats des modèles. Sans estimation de l’incertitude, de petits écarts ne doivent pas être considérés comme statistiquement établis.
Contrôles de validation et seconde extraction
Une exécution distincte en septembre a introduit des contrôles arithmétiques et une seconde extraction sur un autre ensemble de 5’301 documents. Une valeur modifiée n’est pas nécessairement corrigée. Avant de revendiquer une amélioration, il faut comparer les deux passes à une référence indépendante et compter les nouvelles erreurs. La cohérence arithmétique seule ne prouve pas l’exactitude.
Les chiffres actualisés sont les résultats d’évaluation rapportés par Ogment. Les valeurs historiques de classification proviennent du rapport de septembre. Les liens de recherche illustrent la présentation des évaluations ; ils ne sont pas les sources des scores d’Ogment.