‍

Questo articolo mostra come elaborare le bollette automaticamente. In particolare, come estrarre ed ottenere le informazioni principali dalle bollette relative alla fornitura e al consumo utili per numerosi processi. Gli aspetti principali trattati nell'articolo sono riassunti nel seguente elenco:

• Scenari di applicazione
• Descrizione del caso d’uso e problematiche
• Le informazioni di interesse da estrarre
• Alternative per il processamento
• myBiros: un approccio moderno di IDP
• Conclusioni

Vediamo subito in quali scenari può giovare elaborare le bollette automaticamente.

Scenari applicativi

Avere a disposizione le informazioni (in formato strutturato) contenute nelle bollette si rivela utile in molti processi e scenari applicativi, ad esempio:

• Comparazione bollette;
• Sottoscrizione di un nuovo contratto energia;
• Elaborazione e controllo di tutte le fatture energetiche ricevute e disponibilità di dati a supporto delle gare di approvvigionamento;
• Produzione di analisi, report e KPI propedeutici all’attività di efficientamento energetico;
• Contabilizzazione e rendicontazione automatica di tutte le fatture;
• Supporto alla definizione di budget previsionali e stanziamenti mensili di spesa.

Descrizione del caso d’uso

Le bollette ricadono nella categoria dei documenti semi strutturati, infatti ogni provider definisce a proprio piacimento il formato da utilizzare. I vari formati contengono tipicamente un insieme molto simile se non uguale di informazioni. Lo stesso provider, in base alla tipologia di fornitura, può cambiare formato di bolletta nel tempo. Data la complessità dei documenti in questione e l’elevata mole di formati diversi, insorgono numerose complicazioni che penalizzano le soluzioni tradizionali, limitandone l’accuratezza e dunque il grado d’automazione dell’intero sistema. Di seguito alcuni esempi:

• l’acquisizione del documento non è standardizzata. Le bollette da processare possono essere acquisite da diverse sorgenti e questo comporta che i formati in cui vengono ricevuti i documenti siano eterogenei. I formati più comuni sono pdf digitali, scannerizzazioni e fotografie. L’eterogeneità dei formati ne complica l’elaborazione. Un esempio è dato da le acquisizioni di documenti tramite smartphone che spesso producono immagini sfocate o ruotate, quindi di difficile lettura. Tali problematiche, riducono l’applicabilità di approcci tradizionali e penalizzano l’efficienza del data entry tradizionale. Per risolvere queste problematiche, sono richiesti fasi di normalizzazione dell’immagine che aumentano la complessità della pipeline e diminuiscono la generalità dell’approccio.
• I formati delle bollette sono molti (almeno uno per provider e per tipo di fornitura), le informazioni di interesse sono numerose e variano la loro posizione nei documenti. Ragionando in contesto internazionale, oltre al cambiamento di formato, è necessario gestire agilmente cambio di lingua e unità di misura utilizzate. Il numero di formati utili e posizioni dei campi da considerare può diventare quindi anche molto elevato. Un’ulteriore complicazione è il comune cambiamento nel tempo del formato della bolletta.
• Diverse informazioni interessanti sono contenute in tabelle o in immagini, questo complica ulteriormente il processo.

Queste sono solo alcune delle problematiche legate all’elaborazione automatica di bollette. L’articolo segue descrivendo alternative metodologiche per la risoluzione del problema. Per facilità di discussione, l’articolo tratterà di bollette energetiche italiane senza perdita di generalità.

Informazioni rilevanti da estrarre

Le informazioni più importanti da estrarre coinvolgono i consumi, i dettagli della fornitura e le informazioni dell’intestatario del contratto. Queste tipicamente possono essere trovate in formati e unità di misura differenti. Un altro aspetto che complica il caso d’uso è la quantità di informazioni rilevanti, infatti stiamo parlando di oltre 35 campi differenti. Le informazioni di interesse principali vengono riportare di seguito: tariffa, tipologia di consumo, consumo totale, costo della materia prima energia, periodo di riferimento, POD, totale da pagare, dati relativi al provider, fasce di consumo (come f0,f1,f2,f3), dati del destinatario e dell’intestatario, dati relativi alla fornitura (voltaggio, potenza impegnata, ecc. )

Per elaborare correttamente un documento di questo tipo sono quindi necessarie diverse funzionalità da utilizzare in sinergia: estrazione delle informazioni chiave-valore, interpretazione di dati tabellari e classificazione della tipologia di bolletta (gas, luce, ecc. ).

Alternative per il processamento

Approccio manuale

L’estrazione manuale di dati da bollette di energia (ma lo stesso vale per ogni bolletta) risulta essere costosa, dispendiosa in termini di tempo e soggetta a errori. Le fasi di elaborazione richiedono persone qualificate in grado di identificare le informazioni rilevanti nel documento ed estrarle in modo coerente da layout a volte anche complessi. Alcune sfide e problematiche relative all’elaborazione manuale includono:

1. Problemi di costo
   Sebbene l’estrazione manuale dei dati da documenti possa funzionare per le piccole aziende con moli di processamento limitate, diventa costosa man mano che la azienda si espande. In molti casi, l’estrazione manuale dei dati implica costi nascosti oltre a quelli associati all’assunzione di più dipendenti per eseguire l’estrazione dei dati. L’aggiunta di più dipendenti al flusso di lavoro comporta spesso problemi di coordinamento, che a loro volta possono portare a errori, soprattutto nell’identificazione e nell’immissione dei dati. La convalida stessa dei dati è una fase critica che si aggiunge alla componente di costo dell’elaborazione. Infatti, l’estrazione di informazioni, senza passaggi di verifica, possono avere tassi di errore fino al 4%. La regola di immissione dati 1-10-100 è ben nota nei back office di data entry: la verifica dell’accuratezza dei dati al punto di immissione costa circa $ 1, la pulizia degli errori ricontrollando l’intero batch di dati costa $ 10 e gli errori sfuggiti comportano all’azienda all’azienda costi di $ 100 o più.
2. Problemi di tempo
   L’estrazione manuale dei dati richiede molto tempo, soprattutto per supply chains globali, poiché sono necessari più controlli e approvazioni e spesso vanno coordinati team in diversi paesi. L’integrazione dei vari passaggi di elaborazione e verifica può anche diventare complicata a causa delle varie persone coinvolte nella gerarchia e dei livelli di approvazione richiesti.
3. Fallibilità umana
   Il processo di data entry è ripetitivo e noioso e può essere demoralizzante. Inoltre, le bollette di energia non hanno un formato standard. Sebbene molte delle informazioni elencate nelle sezioni precedenti siano presenti in tutti i documenti, ciascun vendor utilizza un formato diverso con una significativa variabilità spaziale dei dati. L’estrazione manuale dei dati risulta faticosa dati questi fattori. Anche le variazioni linguistiche tra il luogo di emissione e il luogo di consegna possono rappresentare una sfida significativa nella comprensione dei dati. Tutte queste variabili contribuiscono ad aumentare le probabilità di introdurre errori nel processo stesso.

Soluzioni tradizionali di OCR

L’elaborazione di bollette con tecniche tradizionali di OCR e template matching/regex è un approccio decisamente sconsigliato e dispendios. Questo perchè è necessario avere un set di regole e template ad hoc per ogni tipologia documentale. I formati sono molti e i vendor potenzialmente sono in numero non definito a priori. Le lingue da considerare sono spesso numerose per una soluzione che deve funzionare in processi con respiro globale. Questo rende il numero di regole o template necessari decisamente numerosi e in continua mutazione in base ai nuovi formati e paesi che si vogliono considerare. Tutto ciò comporta un elevato costo di setup e manutenzione della soluzione e spesso prestazioni carenti. Inoltre la manutenzione e configurazione della soluzione deve essere effettuata da risorse preparate e con una formazione tecnica.

In generale tutte le problematiche presentate nella descrizione del caso d’uso affliggono sia approcci manuali che tradizionali. Questo ha portato alla necessita di soluzioni più performanti e che risolvano le complicazioni raccontate finora. Grazie ai recenti sviluppi nel campo dell’AI e in particolare del Deep Learning, è possibile ottenere risultati di qualità superiore. Inoltre, sono abbattuti tempi e costi in ogni step della pipeline. Partendo da un OCR capace di apprendere, migliorare nel tempo e trascrivere anche documenti scritti a mano fino all’analisi semantica e interpretazione di dati tabellari (e molto altro ancora). L’insieme delle tecniche basate su reti neurali artificiali per un elaborazione completa dei documenti è comunemente chiamata Intelligent Document Processing.

Intelligent Document Processing (IDP)

Un approccio moderno basato su tecniche di Deep Learning è la scelta migliore per risolvere problemi di questo genere. Infatti, la possibilità di usare le migliori tecniche di Computer Vision per l’analisi e la lettura del documento e di NLP per la comprensione del linguaggio naturale, consente di risolvere i problemi precedenti. Non risulta necessario adattare ogni volta la soluzione (scrittura di nuove regole o configurazione di nuovi template). È sufficiente avere a disposizione una mole sufficiente di dati appartenenti al processo per istruire il sistema.

Un altro vantaggio è la possibilità di applicare lo stesso approccio alla risoluzione di diversi task, come ad esempio: estrazione dati chiave-valore, estrazione dei dati tabellari e classificazione del documento. Un approccio di questo tipo può anche beneficiare fortemente dallo step di validazione umana. Quest'ultimo consiste non solo nella correzione degli errori commessi dal sistema, ma abilita anche il continuous learning dell’algoritmo. Così facendo, l'algoritmo migliora nel tempo e si tara sullo specifico processo.

Rispetto alle soluzioni tradizionali anche la manutenzione e l’evoluzione del sistema è semplificata. Infatti l’aggiunta un nuovo campo che si vuole estrarre, di una categoria documentale da classificare o il voler aggiungere una nuova lingua fra quelle supportate non comporta la scrittura di codice. Sarà sufficiente la raccolta di nuovi documenti e il successivo retraining del sistema potrà essere seguito facilmente anche da risorse non tecniche. Infine le soluzioni più efficaci di IDP consentono di ottenere un’accuratezza dei risultati senza precedenti superando ampiamente gli approcci tradizionali.

myBiros e benefici

myBiros è una soluzione di Intelligent Document Processing performante, semplice da usare e versatile che consente l’elaborazione automatica di documenti. Funzionalità core sono l’estrazione di informazioni e la classificazione automatica di documenti. Tutto ciò è offerto tramite un set prebuilt di API pronte all’uso con modelli pre-addestrati per i casi d’uso più comuni e la possibilità di riaddestrare l’intera pipeline (sia il motore di OCR che il sistema di interpretazione del documento) per casi custom.

Sfruttando tecniche avanzate di deep learning che analizzano features multimodali è possibile elaborare tutte le tipologie documentali con un’unica soluzione. Il sistema utilizza modelli pre-addestrati, tecniche di data-augmentation e per tal motivo può essere addestrato con un volume ridotto di dati consentendo di automatizzare anche processi che coinvolgono un volume ridotto di documenti.

Tale soluzione prevede un meccanismo di scoring: il sistema infatti consente di ridurre i falsi positivi abilitando la possibilità di revisionare i dati a bassa confidenza minimizzando gli errori. L’interazione con un utente umano consente di correggere gli errori del sistema continuando ad addestrarlo così da non ripetere gli errori commessi in passato (Human in the loop e continuous learning). L’elevata scalabilità dell’architettura cloud-based consente infine di elaborare moli fortemente variabili di documenti senza dover preventivamente allocare costose risorse.
Tra le funzionalità aggiuntive, troviamo anche la possibilità di elaborare dati tabellari, identificare artefatti presenti nell’immagine e la capacita di elaborare con un unica pipeline documenti eterogenei e multi-lingua.

Le caratteristiche citate finora permettono a myBiros di performare in modo ottimale nell’elaborazione delle bollette. Riuscendo efficacemente e con rapidità ad identificare tutte le informazioni rilevanti. Se sei curioso di sapere come funziona myBiros al fine di semplificare l’elaborazione delle bollette, contattaci. Siamo pronti ad aiutarti!

‍