Monitoraggio del modello

Il monitoraggio dei modelli è il processo continuo di monitoraggio e valutazione delle prestazioni dei modelli di apprendimento automatico (ML) una volta che sono stati messi in produzione. Si tratta di osservare le metriche chiave relative all'accuratezza del modello, alla salute operativa e alle caratteristiche dei dati per garantire che il modello si comporti come previsto nel tempo. Questa pratica è una parte cruciale del ciclo di vita delle Machine Learning Operations (MLOps), che garantisce che i sistemi di intelligenza artificiale (AI) distribuiti rimangano affidabili, efficaci e degni di fiducia negli ambienti reali. Senza il monitoraggio, le prestazioni del modello possono degradarsi silenziosamente, portando a previsioni errate e a risultati aziendali negativi.

Perché il monitoraggio del modello è importante?

I modelli di ML sono addestrati su dati storici, ma il mondo reale è dinamico. I cambiamenti nei modelli di dati, nel comportamento degli utenti o nell'ambiente possono causare il declino delle prestazioni di un modello dopo l'implementazione. Le ragioni principali per il monitoraggio sono:

• Rilevamento del degrado delle prestazioni: I modelli possono diventare meno precisi nel tempo. Il monitoraggio aiuta a identificare i cali nelle metriche delle prestazioni come precisione, richiamo o punteggio F1. Per saperne di più sulle metriche delle prestazioni di YOLO, consultate la nostra guida.
• Identificazione della deriva dei dati: Le proprietà statistiche dei dati di input possono cambiare, un fenomeno noto come deriva dei dati. Ciò può accadere quando i dati che il modello vede in produzione differiscono significativamente dai dati di addestramento. Il monitoraggio delle caratteristiche di input aiuta a rilevare tali variazioni.
• Individuare la deriva del concetto: La relazione tra le caratteristiche di input e la variabile target può cambiare nel tempo (deriva del concetto). Ad esempio, le preferenze dei clienti possono evolvere, rendendo obsoleti i vecchi modelli di previsione. La deriva dei concetti richiede la riqualificazione o l'adattamento del modello.
• Garantire la salute operativa: Il monitoraggio tiene traccia di metriche operative come la latenza di inferenza, il throughput e i tassi di errore per garantire che l'infrastruttura di model serving(model serving) funzioni senza problemi.
• Mantenere l'equità e l'etica: Il monitoraggio può aiutare a rilevare e mitigare le distorsioni nell'IA monitorando le prestazioni di diversi gruppi demografici o segmenti di dati, promuovendo l'etica dell'IA.

Quali aspetti vengono monitorati?

Un monitoraggio efficace del modello comporta in genere il monitoraggio di diverse categorie di metriche:

• Prestazioni di predizione: Metriche come l'accuratezza, la precisione media (mAP), l'AUC e i tassi di errore, spesso confrontati con i parametri di riferimento stabiliti durante la convalida.
• Qualità e integrità dei dati: Tracciamento dei valori mancanti, delle corrispondenze tra tipi di dati e delle violazioni dell'intervallo nei dati di input.
• Deriva dei dati di input: Misure statistiche (ad esempio, indice di stabilità della popolazione, test di Kolmogorov-Smirnov) per confrontare la distribuzione delle caratteristiche di input della produzione con la distribuzione dei dati di formazione.
• Deriva delle previsioni/uscite: Monitoraggio della distribuzione delle previsioni del modello per rilevare spostamenti significativi.
• Metriche operative: Metriche a livello di sistema come l'utilizzo della CPU/GPU, l'uso della memoria, la latenza delle richieste e il throughput. A questo scopo si utilizzano spesso piattaforme come Prometheus.
• Metriche di equità e parzialità: Valutare le disparità di prestazioni del modello tra gli attributi sensibili (ad esempio, età, sesso, etnia) utilizzando metriche come la parità demografica o le probabilità equalizzate.

Monitoraggio del modello e concetti correlati

È importante distinguere il monitoraggio dei modelli da termini simili:

• Osservabilità: Mentre il monitoraggio si concentra sul monitoraggio di metriche predefinite per valutare le modalità di guasto note, l'osservabilità fornisce gli strumenti (registri, metriche, tracce) per esplorare e comprendere gli stati e i comportamenti sconosciuti del sistema. L'osservabilità consente un'indagine più approfondita quando il monitoraggio rileva un'anomalia.
• MLOps: MLOps è un insieme più ampio di pratiche che coprono l'intero ciclo di vita del ML, compresa la gestione dei dati, la formazione dei modelli, la distribuzione, la governance e il monitoraggio. Il monitoraggio dei modelli è una componente fondamentale del quadro MLOps, che si concentra in particolare sulla salute dei modelli dopo la loro distribuzione.
• Valutazione del modello: La valutazione viene tipicamente eseguita prima della distribuzione utilizzando dati di convalida statici o dati di test per valutare la qualità di un modello. Il monitoraggio è un processo continuo eseguito sui dati di produzione in tempo reale dopo la distribuzione. Qui trovate approfondimenti sulla valutazione e la messa a punto dei modelli.

Applicazioni del mondo reale

1. Sistemi di raccomandazione per l'e-commerce: Una piattaforma di e-commerce utilizza un modello ML per le raccomandazioni dei prodotti(sistema di raccomandazione). Il monitoraggio del modello tiene traccia dei tassi di click-through (CTR) e dei tassi di conversione per gli articoli raccomandati. Se il monitoraggio rileva un calo improvviso del CTR (degrado delle prestazioni) o un cambiamento nei tipi di prodotti acquistati (deriva concettuale dovuta a una nuova tendenza), vengono attivati degli avvisi. Ciò induce a indagare e potenzialmente a riqualificare il modello con dati di interazione più recenti. Amazon Personalize include funzioni per il monitoraggio dell'efficacia delle raccomandazioni.
2. Percezione dei veicoli autonomi: Le auto a guida autonoma si affidano in larga misura a modelli di visione computerizzata come Ultralytics YOLO per il rilevamento degli oggetti. Il monitoraggio del modello tiene costantemente traccia dell'accuratezza del rilevamento(metriche di prestazione YOLO) e dei punteggi di confidenza per oggetti come pedoni, ciclisti e altri veicoli. Inoltre, monitora le caratteristiche dei dati di input (ad esempio, la luminosità dell'immagine, le condizioni atmosferiche) per rilevare le derive. Se le prestazioni del modello si riducono significativamente in condizioni specifiche (ad esempio, pioggia battente, scarsa illuminazione), il sistema potrebbe passare a una modalità operativa più sicura o segnalare la necessità di aggiornamenti del modello addestrati su dati più diversificati(aumento dei dati). Aziende come Waymo investono molto nel monitoraggio dei propri sistemi di percezione.

Strumenti e implementazione

L'implementazione del monitoraggio dei modelli spesso comporta l'utilizzo di strumenti e piattaforme specializzate. Le opzioni vanno dalle librerie open-source come Evidently AI e NannyML ai servizi gestiti offerti dai fornitori di cloud(AWS SageMaker Model Monitor, Google Vertex AI Model Monitoring, Azure Machine Learning data drift detection) e alle piattaforme MLOps dedicate come Arize AI o WhyLabs. Piattaforme come Ultralytics HUB forniscono un'infrastruttura che supporta la distribuzione e la gestione dei modelli, integrandosi con soluzioni di monitoraggio per completare il ciclo MLOps. Strategie efficaci di manutenzione dei modelli si basano in larga misura su un monitoraggio robusto.