Wat als Napoleon paperclips maakte?

In zijn laatste boek, Nexus, behandelt Harari een gevaar waar de mensheid al lang mee worstelt: het afstemmingsprobleem. Korte termijn successen zijn niet noodzakelijk goed nieuws op de lange termijn. Hij illustreert het probleem aan de hand van Napoleon, het militair en strategisch genie. Geen andere Franse heerser heeft een groter territorium bestuurd dan hij. Maar ongewild heeft hij ook de basis gelegd voor de latere inkrimping van het Franse rijk door de opkomst van sterke naties aan haar grenzen te bewerkstelligen. Zowel het sterke Duitse rijk als de Italiaanse natie zijn er pas kunnen komen doordat Napoleon een politieke eenheid bracht in beide lappendekens van kleine staatjes. Zijn strategie van snelle verovering leek gepast voor zijn objectief om Frankrijk zo groot en machtig mogelijk te maken. Maar precies die eenzijdige focus leidde tot exact het omgekeerde op langere termijn. Frankrijk was na Napoleon niet langer de leidende Europese natie die het voor hem nog wel was.

Van Napoleon naar artificiële intelligentie: een modern gedachtenexperiment

Tenzij u een fiere Franse burger bent of grote liefhebber van een universele joie de vivre, denkt u misschien: “So what? Er zijn ergere dingen in het leven dan de grootheid van Frankrijk.”  Inderdaad, de foute inschatting van Napoleon veroorzaakte geen desastreuze gevolgen anno 2025. Maar Harari brengt nog een ander voorbeeld van het afstemmingsprobleem aan. Dit keer een gedachtenexperiment, en wel eentje dat zich in de niet al te verre toekomst zou kunnen afspelen. Een paperclipfabriek schaft zich een uit de kluiten gewassen artificiële intelligentie (AI) aan en geeft het de controle over strategie en tactiek. De menselijke manager geeft het systeem een eenvoudige opdracht, nl. “Produceer zoveel mogelijk paperclips.” De AI gaat ermee aan de slag en vindt tal van creatieve manieren om precies uit te voeren wat hem gevraagd werd. Het enige probleem? Het neemt de opdracht zo serieus dat het de hele wereld verovert, de mensen uitroeit en alle grondstoffen uit de aarde onttrekt om bergen paperclips te maken. 

Dat klinkt al heel wat dystopischer dan Napoleons misrekening. Het is waarschijnlijk ook niet hetgeen de manager van de fabriek voor ogen had. In de kern van de zaak gaat het wel degelijk tweemaal om hetzelfde probleem. De lange termijndoelstellingen werden niet zuiver geformuleerd. Napoleon verloor, verblind door zijn machtshonger en militaire successen, het overkoepelende politieke doel uit het oog. Op dezelfde manier denkt de manager van de paperclipfabriek enkel maar aan het verhogen van de productiecapaciteit. Hij vergeet zich echter de vraag te stellen waarom die vele paperclips nodig zijn en wat er daarnaast nog zou moeten gebeuren om dat overkoepelende doel te realiseren.

De relevantie van het afstemmingsprobleem vandaag

Het probleem mag dan al heel oud zijn, de opkomst van de krachtige AI-technologie maakt het zeer nijpend. Het gedachtenexperiment staat veel dichter bij onze realiteit in 2025 dan de veroveringstochten van Napoleon. Vandaag worden heel wat beleidsbeslssingen in hoogtechnologische bedrijven reeds genomen door … technologie. Denk maar aan de algoritmes die Tiktok, Instagram of X besturen. Meta, het bedrijf achter o.a. Instagram en Facebook, mag dan wel als missie hebben om ‘mensen en gemeenschappen te verenigen’, hun systemen zijn eerder ingesteld om het aantal clicks te maximaliseren. Dat die focus niet altijd leidt tot de realisatie van hun missie is een understatement. Het is Harari’s verdienste om het probleem op heldere manier in kaart te brengen, maar hij reikt in Nexus geen oplossing aan. Mijn indruk is dat hij op de grenzen van zijn rationalistisch discours botst.

De snelle ontwikkeling van AI biedt fantastische mogelijkheden en zal in de komende jaren nog veel meer ingang vinden in ons leven en het bedrijfsleven. Vele organisaties zijn er zich nog niet volledig van bewust, maar ook zij zullen binnen afzienbare tijd belangrijke tactische en strategische beslissingen uitbesteden aan systemen. In die context is het enorm belangrijk om zeer zuiver de purpose van de organisatie vast te leggen. Waartoe bestaat de organisatie finaal? Om paperclips te maken? Om winst te maken? Neen, een ander antwoord moet gevonden worden, één dat zich dieper bevindt en een maatschappelijke keuze inhoudt. De uitdaging bestaat eruit om met de omschrijving een helder beeld te geven aan zowel mensen als systemen, die er zeer rationele en verregaande conclusies voor strategie en tactiek uit zullen trekken.

De tijd om actie te ondernemen is nu

Zoals het gedachtenexperiment aantoont, kunnen we snel in situaties komen die niemand eigenlijk wou en nog moeilijk te keren zijn. Het is nu de allerhoogste tijd om zeer helder en ondubbelzinnig uit te drukken aan welke wereld we willen meewerken en hoe we onze rol daarin zien.

Hoe zou de overkoepelende opdracht luiden die jij aan de AI geeft om de tactisch en strategische beslissingen voor je organisatie te nemen? Welke maatschappelijke keuze houdt die in? Welke risico’s zie je voor jouw organisatie als de AI hier doorgedreven mee aan de slag gaat? En hoe zou die opdracht klinken als de AI jouw adviseur wordt voor je persoonlijk leven?

Herken je dit? Wat zijn jouw bedenkingen? Post je commentaar hieronder.