De Bayesiaans denken coach skill voor Claude

De formule staat in het skill-bestand, met de vier onderdelen erbij uitgelegd: P van H is jouw inschatting vooraf, P van E gegeven H is hoe waarschijnlijk dit bewijs zou zijn als je hypothese waar is, P van E is hoe waarschijnlijk dat bewijs sowieso is, en P van H gegeven E is de bijgestelde inschatting. Maar dan volgt de zin die eigenlijk het hele bestand samenvat: praktisch toegepast vergeet je die formule en gebruik je twee vragen. Hoe vaak zou ik dit bewijs zien als het waar is, en hoe vaak zou ik het zien als het niet waar is. De verhouding tussen die twee is alles.

Daar zit ook de fout die de meeste mensen maken. Neem een positief signaal dat je bij iemand die past net zo vaak ziet als bij iemand die niet past. Dat signaal voelt als goed nieuws, maar het bevat geen informatie: het onderscheidt de twee werelden niet. In het voorbeeld hierboven is lachen zo'n signaal, met een verhouding van 1,27, en dat schuift bijna niets. De hoge assessmentscore heeft een verhouding van 2,17 en schuift wel. Zonder deze manier van kijken wegen die twee signalen even zwaar, omdat ze allebei aanvoelen als een goede indruk.

Vier begrippen, zes stappen. Hier moeten we een verwarring uit de weg ruimen. De inleiding van het skill-bestand noemt vier begrippen: prior, likelihood, posterior en actie. Die vier vormen de korte samenvatting van de denklijn en zijn een prima geheugensteun. Even verderop staat echter letterlijk dat Claude exact zes stappen doorloopt, en die zes staan als aparte koppen in het bestand. Houd het dus op zes stappen. Wie de vier begrippen als werkwijze overneemt, slaat precies de twee stappen over die het meeste waard zijn: het toetsbaar formuleren van je hypothese, en de kalibratiecheck achteraf.

De denkers die dit praktisch maakten staan in de bronnenlijst van het bestand. Daniel Kahneman liet zien hoe hard mensen base rates negeren zodra er een aansprekend verhaal tegenover staat. Annie Duke vertaalde het naar beslissen onder onzekerheid in Thinking in Bets. Philip Tetlock onderzocht wie er in voorspellen goed is en waarom, en Nate Silver maakte de scheiding tussen signaal en ruis populair. Op dat rijtje komen we in DOC.04 terug.

Meten doet hij niet. Hij heeft geen database, geen historische cijfers over jouw markt, geen model dat op jouw klanten is getraind. Hij weet niet hoe vaak een sollicitant met een hoge assessmentscore bij jou blijft, en hij weet niet hoeveel van jouw leads klant worden. Alle getallen die in een sessie langskomen zijn schattingen: van jou, of door de skill afgeleid uit wat jij vertelt.

Voorspellen doet hij evenmin. Een posterior van 60 procent zegt niet dat er zestig procent kans is dat iets gebeurt. Hij zegt: als jouw prior klopte en jouw wegingen kloppen, dan is dit wat daaruit volgt. Verander één van die wegingen en de uitkomst verandert mee. Dat is geen zwakte van de methode, het is de methode. Dat zit er in de skill zelfs als stap in: bij de kalibratiecheck moet er letterlijk bij staan welke aanname de uitkomst het meest zou veranderen als die fout blijkt.

De cijfers in de voorbeelden zijn illustraties. Het derde uitgewerkte voorbeeld in het bestand gaat over een lead die klant wordt, met een base rate van één op acht en een uitkomst van 21 procent die daar realistisch wordt genoemd voor onze doelgroep. Dat getal staat in het bestand als voorbeeld van hoe de redenering loopt. Het is geen conversiecijfer dat wij hebben gemeten en we presenteren het hier ook niet zo. Wij hebben geen gepubliceerde conversiecijfers, en een voorbeeld in een instructiebestand is er geen.

Wat blijft er dan over? Iets wat verrassend veel waard is: je aanname wordt zichtbaar. In de gebruikelijke gang van zaken zegt iemand dat hij er een goed gevoel bij heeft, en daar valt niets tegenin te brengen. Zodra diezelfde inschatting als getal op tafel ligt, met de onderbouwing erbij, kan een collega zeggen: die prior is te hoog, en dit hier weegt volgens mij minder zwaar. Je discussieert dan over de aanname in plaats van over het gevoel. En omdat je hypothese toetsbaar is geformuleerd, kun je er later op terugkijken en leren of je te stellig was. Meer is het niet, en meer hoeft ook niet.

De frontmatter beschrijft wanneer de skill moet aanslaan, en die lijst is breed. Op de voor de hand liggende zinnen als wat is de kans dat en hoe waarschijnlijk, maar ook op klopt deze claim, update mijn aanname, kalibreer mijn inschatting en denken in waarschijnlijkheden. Daarnaast op de namen Bayes, Kahneman, Annie Duke en Thinking in Bets. En hij noemt expliciet de situaties waar de skill voor bedoeld is: investeringsbeslissingen, marktinschattingen, nieuwe data over een lopend project, juridische en medische dilemma's, complotclaims, en alles waar mensen geneigd zijn hun mening te overdrijven na één nieuw signaal.

De werkwijze bestaat uit zes stappen, elk met een eigen kop. Stap 1 is de hypothese: één toetsbare bewering, geen mengsel van twee dingen. Er staat in het bestand een goed en een slecht voorbeeld bij, en het verschil tussen mijn product gaat verkopen en ik haal in het derde kwartaal meer dan vijftig betalende klanten is precies het verschil tussen een gevoel en een toets. Stap 2 is de prior, een getal tussen 0 en 100 met de instructie om base rates te gebruiken waar die er zijn en om eerlijk te zijn in plaats van optimistisch. Stap 3 is het bewijs verzamelen en per stuk twee kansen bepalen, waaruit de likelihood ratio volgt.

Stap 4 is de posterior, met de expliciete opdracht om de rekensom in oddsvorm te tonen omdat dat helderder is dan de formule. Stap 5 is de kalibratiecheck. En stap 6 is de actie.

Stap 5 is de stap die het vaakst wordt overgeslagen en de meeste waarde levert. Er staan twee controlevragen. De eerste: is de uitkomst zo gek dat je opnieuw moet kijken. Kom je op negentig procent uit terwijl vijf procent van vergelijkbare gevallen zo eindigt, dan overdrijf je waarschijnlijk de informatieve waarde van je bewijs. De tweede is scherper: zou je tot dezelfde uitkomst zijn gekomen als je precies het tegenovergestelde bewijs had gezien. Als het antwoord ja is, was het bewijs niet informatief en hoort de bijstelling kleiner te zijn. Zo vang je confirmatiebias in één zin.

De output ligt vast in zeven blokken: hypothese, prior, bewijs en likelihoods, posterior, kalibratiecheck, actie, en tot slot een blok dat wat waarschuwt je om te stoppen heet, met de signalen die je schatting later omlaag of omhoog zouden duwen. Daarna volgen drie volledig uitgewerkte voorbeelden: een aannamebeslissing, een complotclaim over de maanlanding en een lead die interesse toont. Daarna een korte afbakening van wanneer je de skill wel en niet gebruikt, de bronvermelding met vijf titels, en een blok tone of voice.

Dat laatste blok is opvallend streng en verdient een aparte vermelding. Direct, eerlijk, zonder vleierij. Zeg wanneer het bewijs dun is. Geef altijd een posterior, ook als die onzeker is. Begin geen antwoord met dat is een interessante vraag. Antwoord meteen met de hypothese en de prior. En eindig altijd met één concrete actie en één leersignaal voor de toekomst. Geen stijlvoorkeur dus, maar een harde ontwerpkeuze: een coach die zich indekt met slagen om de arm levert geen toetsbare uitspraak op, en dan is de hele exercitie zinloos.

Thomas Bayes, 1763. An Essay towards solving a Problem in the Doctrine of Chances is de oorsprong. Het essay verscheen na Bayes' dood en werd pas veel later breed opgepakt. Wat eruit overblijft voor dagelijks gebruik is de gedachte dat je overtuiging een graad heeft en dat die graad hoort te bewegen op bewijs.

Daniel Kahneman, 2011. Thinking, Fast and Slow beschrijft hoe stelselmatig mensen base rates negeren zodra er een aansprekend verhaal tegenover staat. Dat is precies de fout die stap 2 en stap 5 van deze skill afvangen: eerst de base rate, en achteraf toetsen of je uitkomst er nog bij past.

Annie Duke, 2018. Thinking in Bets komt uit de pokerwereld en maakt het onderscheid tussen een goede beslissing en een goede uitkomst. Je kunt met de beste redenering verliezen en met een slechte redenering winnen. Daarom hamert het bestand op een toetsbare hypothese: alleen dan kun je later je redenering beoordelen in plaats van alleen je afloop.

Philip Tetlock, 2015. Superforecasting onderzocht wie er goed is in voorspellen. Het antwoord was niet de specialist met de stelligste mening maar de generalist die zijn schatting in kleine stapjes bijstelt en zijn eigen trefzekerheid bijhoudt. Dat verklaart de nadruk op kalibreren.

Nate Silver, 2012. The Signal and the Noise gaat over het onderscheid tussen informatie en ruis, wat in deze skill terugkomt als de likelihood ratio in FIG.02: het meeste dat je opvalt is ruis, en pas als je uitrekent hoe vaak je het in beide werelden zou zien wordt het verschil zichtbaar.

Wil je dit denken verbreden, dan liggen er logische buren in de bibliotheek. De Cynefin beslisser is de laag ervoor: die bepaalt eerst met welk soort probleem je te maken hebt, want in een chaotische situatie is een zorgvuldige kansafweging het verkeerde instrument. De pre mortem analist is de tegenhanger achteraf: die laat je vooruitkijken naar het scenario waarin het misging. En de red team analist is precies wat stap 5 in een organisatie zou moeten zijn: iemand die je wegingen aanvalt voordat de beslissing valt.

Daarna gebruik je hem door een vraag te stellen waar onzekerheid in zit, of door letterlijk te vragen om een bayesiaanse update. Ben je nieuw met dit soort bestanden, lees dan eerst wat Claude skills zijn en daarna hoe je Claude skills installeert. Wil je er zelf een schrijven voor de inschattingen die in jouw vak steeds terugkomen, dan legt een SKILL.md schrijven uit hoe je dat aanpakt.

Niet voor pure rekensommen zonder onzekerheid, niet als iemand gewoon om een mening vraagt, en niet in korte gesprekken waar de hele exercitie zwaarder is dan de beslissing. Aan dat rijtje voeg ik één praktische grens toe die het bestand niet noemt maar die je in gebruik snel tegenkomt: gebruik hem niet als je de uitkomst al hebt besloten. Het is verleidelijk om je prior en je wegingen zo te kiezen dat de posterior uitkomt waar je hem wilde hebben, en dan heb je precies niets gewonnen behalve een cijfermatig ogende onderbouwing van je onderbuik. De tweede controlevraag in stap 5 is daar de test voor: zou je met het tegenovergestelde bewijs op dezelfde plek zijn uitgekomen.

Er is nog een situatie waarin ik hem zou laten liggen: als de beslissing omkeerbaar en goedkoop is. Een halve dag redeneren over een keuze die je volgende week zonder kosten kunt terugdraaien is verspilde moeite. Bewaar het gereedschap voor beslissingen die je niet zomaar overdoet. Welke van je vraagstukken dat zijn, is trouwens precies waar de Cynefin beslisser voor is: die bepaalt het soort probleem voordat je een methode kiest.

Tot slot een eerlijke opmerking over samenwerken. Deze skill werkt in mijn ervaring het beste met twee mensen erbij, niet in je eentje. De waarde zit niet in het getal dat eruit rolt maar in het gesprek dat ontstaat zodra iemand anders naar je prior kijkt en zegt dat hij die te hoog vindt. Alleen aan een scherm rekent je bevestigingsdrang gewoon mee. Zoek je een gerichte aanval op die drang, dan is de inversie denker een goede tweede lezing van dezelfde situatie.

Wat er in taal verandert als je deze werkwijze aanhoudt, in diff-vorm.

Werkt dit soort denken voor je, kijk dan wat er nog meer klaarstaat in de bibliotheek met 100 gratis skills die we zonder account beschikbaar stellen. En wil je doorpraten over wat AI verder voor je bedrijf kan doen, van losse skills tot volledige automatisering, dan doen we dat gewoon in een gesprek. Wil je eerst weten waar je online staat: de gratis SEO scan laat dat in enkele seconden zien.