Project R-11615

Titel

Kans voor verbeterde predictie: een nieuw concept in statistische besluitvorming (Onderzoek)

Abstract

In vele wetenschappen is er consensus dat de Wetenschappelijk Methode mag gebruik maken van hypothese testen en dat de pwaarde kan vergeleken worden met de drempelwaarde 5% om tot een binaire conclusie te komen: ofwel de nulhypothese verwerpen ("positief" resultaat), ofwel aanvaarden. Het verwerpen leidt eerder tot publicatie, maar vele journals staan weigerachtig tegenover het publiceren van een negatief resultaat. Deze traditie leidt tot de "publication bias". Bovendien doen sommige onderzoekers aan significantie-vissen, wat resulteert in een hoge kans op vals-positieve en in niet-reproduceerbare resultaten. Veel wetenschappers hebben nu kritiek op dit gebruik van de p-waarde. Wij introduceren een alternatieve maat dat een aantal van de vermelde problemen kan verhelpen. We denken dat onze statistiek relevant is voor de Wetenschappelijke Methode omdat het een interpretatie heeft in termen van het voorspellend-vermogen van een model. Het kan ook helpen om de disciplines van de statistiek en van de predictieve modellen of machine learning dichter bij elkaar te brengen. We introduceren de "Probability of Improved Prediction" (PIP). Het meet hoe veel vaker een model een betere predictie geeft dan een ander model (de 2 modellen verschillen bv. in 1 predictor). We bestuderen de eigenschappen en haar relatie tot de p-waarde voor verschillende statistische modellen. We stellen ook schatters voor de PIP en bestuderen haar gebruik in modelselectie procedures voor predictiemodellen.

Periode

01 januari 2021 - 31 december 2024