trefzekerheid
Hoe vaak onze voorspelling klopte
Pokiq hangt aan elk gevonden lek een prijskaartje: zoveel kost dit je per 100 handen. Dat is een voorspelling, en een voorspelling kun je narekenen. Deze pagina houdt publiek bij hoe vaak wij raak zaten, ook wanneer het antwoord ons niet uitkomt. Voor zover wij weten publiceert geen enkel trainingsproduct zijn eigen ongelijk; dat is precies waarom deze pagina bestaat.
de stand van dit moment
…
De stand wordt live uit de database opgehaald, dezelfde database die de voorspellingen doet. Hier staat nooit een getal uit een cache.
Wat er precies geteld wordt
De leak-analyse vindt lekken in je spel en zegt bij elk lek wat het je kost, in centen per 100 handen. Repareer je een lek, dan staat er vanaf dat moment een toetsbare bewering: dit verlies hoort nu te verdwijnen. De meting is wat onze eigen detectors daarna van dezelfde speler vinden, in dezelfde spelvorm, over echte handen.
Een voorspelling telt pas mee als hij eerlijk te toetsen is. Dat betekent: het lek is gerepareerd, en er zijn minstens 500 handen in die spelvorm gespeeld vóór de reparatie en minstens 500 erna. Waarom 500: de strengste van onze eigen detectors wil 400 handen zien voordat hij een lek überhaupt durft te melden, en 500 is dat minimum naar boven afgerond op vijf hele blokken van de eenheid waarin de voorspelling zelf staat. Een voorspelling aftekenen op minder handen zou een meting zijn die onze eigen detector niet vertrouwt.
Raak betekent: van de voorspelde besparing is minstens de helft aantoonbaar binnengekomen. Komt hetzelfde lek na de reparatie terug met de helft of meer van de voorspelde kosten, dan telt de voorspelling als mis. De band is een factor twee omdat de voorspelling zelf een steekproefschatting is; doen alsof hij op de cent klopt zou een precisie claimen die de meting niet heeft. Komt het lek meerdere keren terug, dan telt de duurste terugkeer, want dat is de strengste lezing tegen onszelf.
wanneer we het getal mogen tonen
De lat is niet van ons.
Een percentage uit een handvol gevallen is geen meting maar ruis met een procentteken. Voor de vraag wanneer je een percentage wél mag publiceren bestaan gepubliceerde normen, en we hebben die overgenomen in plaats van zelf een grens te verzinnen die ons goed uitkomt.
Minstens dertig toetsbare voorspellingen
De rapportagenorm van het Amerikaanse National Center for Health Statistics (Data Presentation Standards for Proportions, Vital and Health Statistics serie 2, nummer 175, 2017) verbiedt het rapporteren van een aandeel uit minder dan dertig gevallen. Diezelfde norm verbiedt ook een percentage waarvan het betrouwbaarheidsinterval breder is dan 30 procentpunt, of breder dan 130 procent van het percentage zelf. Pas als alle regels gehaald zijn staat hier een getal.
Geen cel kleiner dan elf
De celregel van het Amerikaanse Centers for Medicare and Medicaid Services verbiedt het tonen van een cel van een tot en met tien gevallen, en ook elk percentage waaruit zo'n cel terug te rekenen is. Voor deze pagina betekent dat: zowel het aantal rake als het aantal misse voorspellingen moet minstens elf zijn voordat het percentage verschijnt. Onze data valt niet onder die regel; we nemen hem over omdat een overgenomen grens met een vindplaats beter is dan een zelfbedachte.
Altijd met interval
Het percentage komt nooit alleen: erbij staat een 95 procent Clopper-Pearson-interval, dezelfde constructie die de rest van onze cijfers gebruikt. Dat interval is bewust de strenge variant; een smaller interval kiezen zou de norm volgen in naam en versoepelen in de praktijk.
Waarom hier vandaag nog geen percentage staat
Pokiq is jong en het cohort is klein. Onder de dertig toetsbare voorspellingen toont deze pagina alleen de teller, en dat is geen gebrek maar de belofte zelf: het getal verschijnt op het moment dat de norm gehaald wordt, raak of mis, en geen dag eerder omdat het gunstig oogt. De teller hierboven is de werkelijke stand van dit moment; wat er nog moet gebeuren is simpelweg meer gerepareerde lekken met genoeg handen erna.
De volledige definitie hierboven staat ook als commentaar bij de databasefunctie die deze pagina aanroept, zodat de lat niet stilletjes kan verschuiven zonder dat het in de versiegeschiedenis staat. Hoe we in het algemeen met controleerbaarheid omgaan staat op hoe wij dit maken.
vervolgstap
De voorspelling die hier geteld wordt
De leak-analyse laat zien hoe zo'n prijskaartje tot stand komt: welk lek gevonden is, waar dat op rust, en wat het je per 100 handen kost.
Bekijk de leak-analyse →