Onderzoek: AI die wil winnen, gaat vaker liegen

Leestijd: 2 minuten

Een nieuw Stanford-onderzoek laat iets ongemakkelijks zien. Als je AI optimaliseert om te winnen, liegen LLM’s vaker. Kleine stijgingen in resultaat leveren significant meer misleiding op. Zelfs met de expliciete instructies om de waarheid te spreken. 

In simulaties lieten de onderzoekers AI’s strijden rond drie uitdagingen: meer verkoop, betere verkiezingsresultaten en meer tractie op sociale media.

In verkoop steeg de omzet met 6,3% terwijl misleidende claims met 14,0% toenamen. In verkiezingen leverde 4,9% stemwinst 22,3% meer desinformatie en 12,5% meer populistische retoriek op. Op sociale media betekende een 7,5% verbetering in betrokkenheid een stijging van 188,6% in desinformatie en een verhoging van 16,3% in de aanmoediging van schadelijk gedrag.

Opmerkelijk is de sterke correlatie: in acht van de tien gevallen was er een duidelijk verband tussen de prestatieverbetering en een toename in normvervaging. En hoe beter een model zijn publiek begreep, hoe slimmer de manipulaties werden.

De onderzoekers noemen dit patroon Moloch’s Bargain: succes dat ten koste gaat van integriteit. Meditations on Moloch is een essay van Scott Alexander. Hij betoogt dat de wereld wordt geregeerd door een race-to-the-bottom-benadering, waarbij alles wat het leven waardevol maakt wordt opgeofferd.

De waarschuwing voor marketeers is duidelijk: winst kan snel ten koste gaan van de waarheid. Dus train je AI om de respons op je uiting te vergroten, dan is de kans groot dat desinformatie, misleidende claims en polariserende taal worden ontdekt.

De onderzoekers stellen dan ook dat overkoepelend toezicht op AI belangrijk is. En dat we met z’n allen goed moeten kijken welke instructies we aan AI geven.

Lees hier zelf het onderzoek

lululemon: ons merk wordt om zeep gebracht!

Leestijd: < 1 minuut

Een tijdje geleden schreef ik hoe Nike $150 miljard verloor door een hysterische focus op ROI (lees: kortetermijnmetrics). Naar aanleiding hiervan stond ik op het podium bij Digital Marketing Live. Ter voorbereiding van deze Keynote sprak ik met conculega’s van Nike. Het geluid was eenduidig: “Dit is zo herkenbaar. En het gebeurt bij ons nog steeds”.

Deze noodkreet van lululemon is een nieuw voorbeeld. De meeste CEO’s / CMO’s / digitale experts begrijpen niets van merken. Ze focussen zich op makkelijk meetbare KPI’s die er nauwelijks toe doen. En ze negeren langzamere, maar structurele effecten.

Herken je dit? En wil je wil je dit oplossen? Laat het weten.

 

Wanneer AI goed en slecht is voor je merk

Leestijd: 4 minuten

De afgelopen maanden ben ik flink in de weer geweest met AI. Van strategieontwikkeling, synthetische klanten, marktsentimentanalyse, neurosimulaties en scenarioplanning tot beeldbewerking, fotografie, animaties, videoproductie en vibe-coding. Ik heb nagedacht over merkstrategie voor algoritmes, GEO (Generative Engine Optimization), hyperpersonalisatie, een continu adaptieve merkstrategie en het aan elkaar knopen van allerlei agents.

Uiteraard ben ik hierbij regelmatig van mijn stoel geblazen. De kracht en veelzijdigheid van AI zijn enorm. Zeker als je weet welk platform je wanneer, in welke rol moet gebruiken. Want de mogelijkheden veranderen snel.

Maar tegelijkertijd werd ook iets eenvoudigs duidelijk. Rommel in = rommel uit. Hoe slim AI ook kan zijn, het resultaat is enorm afhankelijk van twee dingen: wat je erin stopt en hoe je de uitkomst evalueert.

Het belang van de briefing.

Het eerste punt betreft de briefing. Zonder de juiste vragen krijg je niet de juiste antwoorden. Net zoals een bureau geen goed resultaat levert met een slechte briefing. Die briefing wordt te vaak gereduceerd tot het schrijven van een goede prompt.

Wel, AI kan je weliswaar helpen betere prompts te formuleren. Maar je komt niet tot een goede briefing als je zelf niet weet wat je wilt of waar je echte uitdaging ligt. Daarbij is AI in de meeste gevallen nog te pleaserig om je van kritische feedback te voorzien als je plannen op drijfzand rusten.

De analogie is hier de bureaupitch. Ik heb regelmatig meegemaakt dat klanten niet wisten wat ze wilden en maar een pitch uitschreven. “Misschien zit er wat tussen”. Uiteindelijk kregen ze van de deelnemende bureaus suggesties die alle kanten opgingen, omdat er geen goede briefing lag. Waarmee de verwarring alleen maar groter werd en de keuze viel op het concept met het leukste plaatje.

Het belang van curatie.

De tweede gaat over curatie: je kunt de output van AI alleen evalueren als je verstand van zaken hebt. Als voorbeeld: mij lukt het prima om apps te maken met AI. Maar alleen in JavaScript, niet in Python. De implicaties van de eerste taal begrijp ik redelijk, de context van de tweede ontgaat mij grotendeels. Dus ik kan prima code in Python laten maken, maar ik kan niet inschatten wat de impact van deze code is. Bijvoorbeeld waar gevaarlijke gaten kunnen zitten.

Vertaald naar merken: AI kan je merkstrategie next-level maken. Waarbij je conform de voorspellingen lachend de contracten met je bureaus opzegt. Maar AI kan je ook in konijnenholen sturen vol éénpotnat-proposities, foutieve aansturing op ROAS, ineffectieve klikoptimalisaties, kostbare hyperpersonalisatie, verkeerde A-B-testen, je horizon vernauwen met synthetische data, je verleiden tot dure datainkoop of je een onhandige boodschapfragmentatie adviseren.

Waar zit jij?

De hamvraag: hoe weet je aan welke kant van de medaille je zit? Stuwt AI je naar grote hoogte of knalt het je merkstrategie de grond in? En hoe evalueer je dit als je zelf net even te weinig verstand van merkstrategie hebt? Ofwel, voordat je je blind staart op de superkracht van AI: hoe goed is jouw briefing en hoe goed is je curatie?

Zeker als je er rekening mee houdt dat het menselijk brein last heeft van flinke psychologische valkuilen. Neem de “Automation bias“: we volgen AI omdat het een duidelijk antwoord geeft,
 niet omdat het gelijk heeft.

Of “Wat je ziet, is alles dat er is…“: wat AI je teruggeeft, stuurt wat je ziet. 
Maar wat AI je niet teruggeeft, neig je te negeren. Ook al kan dit deel minstens zo belangrijk zijn.

Ben je extra vatbaar?

Hoe kwetsbaar ben jij hiervoor? Wel, enerzijds zijn mensen met minder expertise hier vatbaar voor, zo leert onderzoek. Ofwel, je neemt meer van AI aan als je er zelf minder van weet.

Anderzijds lopen juist mensen die enthousiast zijn over AI een groter risico. Zij blijken een gevaarlijk groot vertrouwen in de uitkomsten van AI te hebben. Dit terwijl mensen die sceptisch tegenover AI staan fouten beter detecteren, zij weten daardoor een hogere nauwkeurigheid met AI te behalen.

Ofwel, de mens in het proces is belangrijk. Maar tegelijkertijd kan diezelfde mens ook de grote rem zijn op de kwaliteit die AI creëert. Dit onderzoek waarschuwt hier dan ook voor:

“Naarmate AI-systemen zich verder hebben verspreid, zijn ook de gevallen toegenomen waarin die systemen fouten maken, én waarin mensen die fouten niet herkennen of niet corrigeren.”

Daarmee wil ik niet zo flauw doen door AI te vergelijken met een enthousiaste stagiair. Daar is AI inmiddels ver voorbij. Vergelijk AI gerust met een professioneel adviesbureau, dat non-stop voor je aan de slag gaat, in allerlei rollen. Maar weet dat je alleen het beste uit dit bureau haalt als je weet wat je wilt, weet wat je succescriteria zijn en kritisch kunt evalueren of een plan je doelstellingen binnen handbereik brengt.

Wees de regisseur.

Ofwel: AI kan alleen excelleren als jij een goede regisseur bent. En je bent alleen een goede regisseur als je verstand van zaken hebt. Zonder een duidelijke regierol wordt AI vooral een ruisversterker van bestaande vooroordelen, oppervlakkige inzichten en onzinnige redeneringen. Inzichten worden steeds oppervlakkiger en het oog voor nuances verdwijnt.

Zin om te sparren?

Daarmee geloof ik in AI. Maar ik geloof ook in het blijvende belang van experts. Binnen de organisatie en buiten de organisatie.

Dus als je wilt sparren over wat je het beste in AI kunt stoppen om je merk te versterken, en wat beter niet, laat het weten. Of als je de uitkomst van je AI-merkstrategie beter op waarde wilt inschatten.

Dat kan een-op-een of in teamverband, als workshop. Kijk hier voor meer info. Ik heb al diverse interessante sessies met andere merken gehad. Dit leidde tot praktische inzichten waarmee ze direct aan de slag konden.

Want hoe groter de rol van AI, hoe groter het belang van een goede regisseur.

“Retentie is de gouden sleutel voor startups”

Leestijd: < 1 minuut

Andrew Chen van Andreessen Horowitz deelt 15+ jaar inzichten in retentie-curves van startups. Zijn conclusie? Retentie is het verschil tussen magie en mislukking. En retentie volgt vaste patronen:

• Je kunt slechte retentie niet fixen met notificaties of A/B-testen.

• Retentie daalt altijd en vroege retention voorspelt late retentie.

• Je verliest mensen in de loop van de tijd, maar degenen die overblijven, geven vaak meer geld uit.

• Retentie verschilt per categorie. Een hotel-app ≠ dagelijks gebruik.

• Retentie wordt slechter naarmate het aantal gebruikers groeit.

• Je vroege gebruikers scoren dus vaak het sterkst op winstgevend en intentie.

• Retentie is moeilijk om goed te meten. De focus ligt te vaak op de korte termijn, niet op wat er twee jaar later gebeurt.

• Churn is asymmetrisch: het is veel makkelijker om een ​​gebruiker voorgoed te verliezen dan om ‘m terug te winnen.

• Virale groei met slechte retentie faalt onvermijdelijk.

• Hoge retentie is als magie: lastig, maar geweldig.

Lees hier zijn hele betoog.