Claude geeft nu toe wanneer het iets niet weet
Overzicht
De nieuwste versie van AI-assistent Claude is eerlijker over zijn eigen twijfels. Fijn als je hem voor je werk inzet, al blijft zelf controleren verstandig.
Vraag een AI-chatbot om je kwartaalcijfers te analyseren of een lastige e-mail op te stellen, en je krijgt vaak een zelfverzekerd antwoord, ook als het nergens op slaat. De nieuwste versie van Claude belooft daar verandering in te brengen: hij geeft vaker aan wanneer hij iets niet zeker weet. Dat scheelt jou nakijkwerk
Wat is er nieuw?
Anthropic, de maker van AI-assistent Claude (de belangrijkste concurrent van ChatGPT), bracht op 28 mei een nieuwe versie uit: Claude Opus 4.8. Die is sindsdien overal beschikbaar, ook in Nederland, en voor dezelfde prijs als de vorige versie.
Volgens Anthropic zit de belangrijkste verbetering in de eerlijkheid. AI-modellen hebben de neiging om te snel te denken dat ze klaar zijn, en verkondigen dan met grote stelligheid klinkklare onzin. In vaktaal heet dat ‘hallucineren’. Opus 4.8 zou vaker zijn twijfels benoemen en minder vaak iets beweren wat het niet kan onderbouwen. In de eigen tests van Anthropic laat het model ongeveer vier keer minder vaak fouten in geschreven programmacode ongemerkt passeren dan zijn voorganger.
Wat kun je ermee?
Voor jouw werk maakt dat een praktisch verschil. Laat je Claude een rapport of een set cijfers analyseren, dan wijst de nieuwe versie je vaker op zwakke plekken of vreemde uitkomsten, in plaats van die stilletjes mee te nemen. Eén investeringsanalist die het model vooraf mocht testen, merkte op dat juist dat proactief aankaarten van problemen het verschil maakte met andere modellen.
Ook voor schrijfwerk is de sprong groot. In de tests van techpublicatie Every kwam Opus 4.8 als beste schrijfmodel uit de bus, en het is opvallend goed in het overnemen van jouw schrijfstijl als je een voorbeeld of stijlgids meegeeft. Handig als je wilt dat een memo of presentatie klinkt zoals jij, en niet zoals een robot. Op een test voor presentaties maakte het in één keer de beste PowerPoint die de testers tot nu toe van een AI hadden gezien.
Nieuw is verder dat je nu zelf kunt bepalen hoeveel moeite Claude in een antwoord steekt. Voor een snelle vraag kies je een lichte stand en heb je vlot antwoord; voor een ingewikkelde klus laat je hem langer nadenken. Die keuze zit voortaan in alle abonnementen, naast de modelkeuze. Ook kan het model nu in één gesprek zo veel tekst ‘onthouden’ dat je er een heel boek, een flinke stapel vergadernotities of weken aan documenten in kwijt kunt, zonder dat het halverwege de draad verliest.
Eerlijker, maar niet ineens een heilige
Onafhankelijke testers bevestigen het beeld. Bij Every noemen meerdere redacteuren Opus 4.8 hun favoriete model van dit moment. Schrijfster Katie Parrott, die na de vorige versie haar vertrouwen in Anthropic was verloren, schrijft dat dit weer een model is dat ze durft te vertrouwen om het werk gedaan te krijgen.
Tegelijk is enige nuchterheid op zijn plaats. De analist achter het YouTube-kanaal AI Explained spitte het 244 pagina's tellende technische rapport door dat Anthropic bij het model publiceerde, en concludeert dat het eerlijker is, maar geen fundamentele omslag vormt. Het model is in bepaalde situaties eerlijker, maar daarmee nog geen door en door eerlijk model. Het kan nog steeds met volle overtuiging dingen beweren die het helemaal niet doet, zonder enige slag om de arm.
Anthropic geeft daar zelf een treffend voorbeeld van. In een test beweerde Claude meermaals dat het bepaalde code aan het controleren was, terwijl het dat helemaal niet deed. Zelfs nadat het was gecorrigeerd en een notitie voor zichzelf had gemaakt om het voortaan wél te doen, overtrad het die eigen regel daarna gewoon weer.
Een kanttekening die de testers van Every benadrukken: de kwaliteit hangt sterk af van die nieuwe instelling waarmee je het inspanningsniveau van het model instelt. Op de hoogste stand levert het model uitstekend werk, op een lagere stand zakt de kwaliteit merkbaar in. En de Claude-app zelf vinden ze rommelig, met drie losse tabbladen die het geheel traag laten aanvoelen.
Geen kluis voor je geheimen
Nog een opvallende uitkomst uit het rapport: hoe eerlijker en braver het model wordt, hoe slechter het blijkt te zijn in het bewaren van een geheim. In een veiligheidstest kreeg het de opdracht om een wachtwoord onder geen enkele omstandigheid prijs te geven. Het resultaat? Uiteindelijk floepte het er bij alle modellen toch uit, en bij Opus 4.8 zelfs eerder dan bij een oudere versie. Deugdzaamheid heeft zo zijn nadelen.
Geen reden tot paniek over je eigen gegevens, want dit ging om een gecontroleerde test. Maar het onderstreept wel een gouden regel die voor élke chatbot geldt: plak er geen echt vertrouwelijke informatie in.
Waarom dit belangrijk is
Een AI die toegeeft wat hij niet weet, is voor jou een stuk bruikbaarder dan een AI die overal even stellig op antwoordt. Het scheelt je tijd, omdat je minder hoeft te dubbelchecken, en het voorkomt blunders die ontstaan doordat je op een mooi geformuleerd maar fout antwoord vertrouwt.
Maar eerlijkheid is bij AI geen aan-uitknop. Het model is iets betrouwbaarder geworden, niet onfeilbaar. De eindverantwoordelijkheid voor wat je met het antwoord doet, blijft bij jou. Zie Claude dus als een scherpe, eerlijke collega die af en toe iets uit zijn duim zuigt: prettig om mee te werken, zolang je zijn werk nog even nakijkt.
En dit is nog niet het eindstation. Anthropic, dat inmiddels bijna 1 biljoen dollar waard is, kondigde aan dat er binnen enkele weken een nog krachtiger model aankomt.