Table of Contents Table of Contents
Previous Page  9 / 56 Next Page
Information
Show Menu
Previous Page 9 / 56 Next Page
Page Background

INSIGHTS SCIENCE

9

fitting visto da questo punto di vista è semplicemente la

diretta conseguenza nel considerare i parametri statistici, e

quindi i risultati ottenuti, come un’informazione utile senza

verificare la probabilità che siano ottenuti in modo casuale.

Di conseguenza per stimare la presenza di overfitting dob-

biamo testare l’algoritmo anche su un database equivalen-

te a quello reale ma con valori generati in modo casuale,

ripetendo questo procedimento molte volte possiamo cal-

colarci la probabilità di ottenere un risultato uguale o mi-

gliore in modo casuale. Se la probabilità calcolata in que-

sto modo risulta alta, molto probabilmente siamo in una

situazione di overfitting. Ad esempio, la probabilità che un

polinomio di quarto grado abbia una correlazione di 1 con

5 punti casuali su un piano è del 100%, quindi tale correla-

zione è inutile e siamo in una situazione di overfitting.

Questo approccio può essere applicato anche al para-

dosso di St. Petersburg [6], infatti anche in questo caso

l’aspettativa di vittoria è un dato statistico che deve esse-

re valutato prima di essere utilizzato a livello decisionale.

Infatti, la difficoltà nella risoluzione del paradosso nasce

dal fatto di considerare un dato statistico sempre come

un’informazione utile. Analizzando l’aspettativa di vittoria

si dimostra è che è possibile ottenere un risultato migliore,

in modo casuale, con una probabilità che tende asintotica-

mente al 50%. Di conseguenza l’aspettativa di vittoria che

tende ad infinito risulta essere un dato privo di valore che

non può essere usato ai fini decisionali.

Questo modo di pensare dà una spiegazione al prin-

cipio logico del “Rasoio di Occam”, in cui si consiglia di

scegliere sempre la soluzione più semplice tra le ipotesi

disponibili. Infatti, se vogliamo analizzare dei punti su un

piano con un polinomio, aumentando il grado aumen-

ta la probabilità che una data correlazione possa esserci

in modo casuale. Ad esempio, dati 24 punti su un piano,

un polinomio di secondo grado ha il 50% di probabilità di

avere in modo casuale una correlazione maggiore di circa

0,27; invece un polinomio di quarto grado ha una proba-

bilità quasi del 84% di avere una correlazione maggiore di

0,27 in modo casuale. Quindi il valore della correlazione è

un dato assoluto ma la sua validità per studiare un insie-

me di dati è qualcosa di relativo che dipende dal metodo

utilizzato. Di conseguenza i metodi più semplici, essendo

meno parametrizzati, hanno una minore probabilità di cor-

relarsi in modo casuale e sono quindi da preferire rispetto

ai metodi complessi.

Bibliografia

[1] Andrea Berdondini, “

Application of the Von Mi-

ses’ Axiom of Randomness on the Forecasts Concerning

the Dynamics of a Non-Stationary System Described by

a Numerical Sequence”

(January 21, 2019). Available at

SSRN:

https://ssrn.com/abstract

=3319864 or

http://dx.doi

.

org/10.2139/ssrn.3319864.

[2] Andrea Berdondini,

“Descrizione di un metodo di

econofisica come tecnica di verifica di una strategia finan-

ziaria”

, Traders-Magazine 05-2017.

[3] Andrea Berdondini,

“Come la meditazione può mi-

gliorare la nostra capacità di problem solving”

, neuroscin-

ze.net,

26 marzo 2019.

[4]

“Neural network studies. 1. Comparison of overfit-

ting and overtraining”

Igor V. Tetko, David J. Livingstone,

and Alexander I. Luik Journal of Chemical Information

and Computer Sciences 1995 35 (5), 826-833 DOI: 10.1021/

ci00027a006.

[5] Quinlan, J.R. (1986).

“The effect of noise on con-

cept learning”

. In R.S. Michalski, J.G. Carbonell, & T.M.

Mitchell (Eds.),Machine learning: An artificial intelligence

approach(Vol. 2). San Mateo, CA: Morgan Kaufmann.

[6] Andrea Berdondini,

“Resolution of the St. Peter-

sburg Paradox Using Von Mises’ Axiom of Randomness”

(June 3, 2019). Available at SSRN:

https://ssrn.com/ab-

stract=3398208.

Questa considerazione rende l’applicazione

della statistica per studiare un fenomeno

una scienza “relativistica” infatti, come descritto nel

paradosso, il calcolo della probabilità di ottenere

lo stesso risultato in modo casuale non è qualcosa

di assoluto ma è dipendente dal metodo utilizzato.