Tre modelli fondazionali di previsione a confonto

I modelli fondazionali rappresentano una possibile evoluzione nel campo della previsione delle serie temporali, spesso superando le prestazioni dei modelli tradizionali. Ma quale tra essi risulta più accurato nel prevedere il PUN orario? Questo studio confronta tre approcci fondazionali per il forecasting univariato: TimesFM, TimeGPT e Tiny Time Mixers. I modelli differiscono per architettura, gestione del contesto temporale e strategie di normalizzazione, offrendo una panoramica variegata delle soluzioni avanzate disponibili per la previsione del PUN.

I modelli fondazionali di previsione

I modelli fondazionali per la previsione di serie temporali sono modelli di Machine Learning solitamente di grandi dimensioni, pre-addestrati su vasti insiemi di serie temporali eterogenee. Grazie a questo addestramento su larga scala, sono in grado di generare previsioni accurate senza richiedere un fine-tuning sul dataset specifico. L’obiettivo di questo studio è verificare se tali modelli siano effettivamente capaci di fornire buone prestazioni a prevedere il PUN in modalità zero-shot. ^[1]

A tal fine, eseguiremo una previsione su una finestra temporale mobile per tre orizzonti di previsione: 3 giorni (P3), 5 giorni (P5) e 7 giorni (P7), ripetuta per 16 settimane consecutive. Per confrontare la precisione delle stime, calcoleremo per ciascun orizzonte il valore medio e massimo del Root Mean Squared Error (RMSE). ^[2]

Previsioni TimeGPT

Iniziamo il confronto con TimeGPT, il primo vero modello fondazionale dedicato alla previsione di serie temporali, realizzato da Nixtla, una startup nata nel 2021 specializzata in software per l'analisi e la previsione di serie temporali. Si tratta di un modello semplice da configurare, ma a differenza dei successivi che analizzeremo, non è interamente disponibile in modalità Open Source.
Di seguito abbiamo riportato i valori del RMSE risultanti dalla previsione ciclica:

Come prevedibile, i risultati ottenuti con TimeGPT mostrano un naturale incremento dell’errore medio al crescere dell’orizzonte di previsione, e ci aspettiamo che i modelli successivi presentino un andamento analogo. Nonostante ciò, le performance risultano già molto buone: il modello offre previsioni più accurate rispetto a diversi approcci tradizionali, pur senza alcun ulteriore training sul PUN orario.

Previsioni TimesFM

TimesFM è un modello fondazionale open-source per la previsione di serie temporali, sviluppato da Google Research. Pur essendo un modello di larga scala, risulta relativamente compatto (circa 200 milioni di parametri) se confrontato con i grandi modelli di linguaggio come GPT. È stato addestrato su miliardi di dati eterogenei, consentendo prestazioni accurate anche in modalità zero-shot su diversi tipi di serie temporali. I valori di RMSE ottenuti dalle previsioni sono i seguenti:

Dai risultati della tabella si osserva che TimesFM mantiene previsioni solide su tutti e tre gli orizzonti temporali. Come previsto, l’errore medio cresce all’aumentare dell’orizzonte di previsione: P7 mostra i valori più elevati, seguito da P5 e P3. In termini percentuali, l’errore relativo rimane comunque contenuto, confermando la capacità del modello di adattarsi a diversi contesti anche in modalità zero-shot. Questi risultati dimostrano come TimesFM offra performance competitive, seppur leggermente inferiori a quelle di modelli più grandi come TimeGPT, ma con il vantaggio di essere open-source.

Previsioni Tiny Time Mixers (TTM)

I modelli Tiny Time Mixers (TTM), realizzati da IBM Research, costituiscono un’alternativa ai grandi modelli fondazionali, adottando un’architettura più leggera e compatta, con circa 1 milione di parametri, per garantire maggiore efficienza. ^[3]
I risultati ottenuti dalla previsione sono i seguenti:

I Tiny Time Mixers mostrano previsioni solide su tutti e tre gli orizzonti temporali. Rispetto a TimeGPT e TimesFM, i TTM evidenziano performance simili sul breve termine (P3), ma con un RMSE medio leggermente inferiore. Sui più lunghi orizzonti (P5 e P7), imostrano un incremento dell’errore più marcato, risultando meno precisi. Questo andamento riflette il compromesso tipico tra dimensioni del modello e capacità predittiva: i TTM, più compatti ed efficienti, mantengono buone prestazioni, ma calano leggermente di accuratezza in zero-shot.

Conclusioni

Tutti e tre i modelli offrono previsioni solide, senza che emerga un netto vantaggio di uno rispetto agli altri. Tuttavia, dai risultati emerge che la precisione delle previsioni diminuisce leggermente al diminuire delle dimensioni del modello: TimeGPT tende infatti a mostrare gli errori medi più contenuti, seguito da TimesFM e infine dai TTM. Questo è del tutto atteso: i modelli con un numero maggiore di parametri riescono infatti ad adattarsi meglio a contesti diversi in modalità zero-shot, e quindi ottengono prestazioni superiori.

È importante sottolineare che la forza dei modelli fondazionali non risiede unicamente nella capacità di effettuare previsioni zero-shot, ma anche nella possibilità di essere riaddestrati sul dataset target per migliorare ulteriormente le performance in uno scenario specifico.
Per completare il confronto sarà quindi necessario sperimentare un fine-tuning su tutti e tre i modelli analizzati: solo così sarà possibile valutare appieno il loro potenziale predittivo sul PUN orario. Questo rappresenta un naturale punto di sviluppo per futuri approfondimenti.