Een nieuwe analyse van duizenden wetenschappelijke papers zet vraagtekens bij de reproduceerbaarheid van onderzoek naar quantumcomputing. Wolfgang Mauerer van de Technical University of Applied Sciences Regensburg in Duitsland en zijn collega’s beoordeelden eerst handmatig 127 publicaties uit de afgelopen vijf jaar en breidden die toets daarna geautomatiseerd uit naar 4.966 papers. In de handmatige steekproef bood slechts 24,4 procent code die überhaupt kon worden getest; 64,5 procent van die code draaide vervolgens niet foutloos. De uitkomst kan het vertrouwen in gemelde prestaties onder druk zetten, al wijzen deskundigen ook op de jonge en snel veranderende hardware.
- De onderzoekers controleerden handmatig 127 papers en analyseerden daarna geautomatiseerd 4.966 publicaties.
- Slechts 24,4 procent van de handmatig beoordeelde papers bevatte code die kon worden getest.
- Van de beschikbare en geteste code werkte 64,5 procent niet zonder fouten.
- In de grotere analyse bood 26,8 procent genoeg informatie om een reproductiepoging te beginnen.
Nieuwe toepassingen vragen om resultaten die elders werken
De analyse volgt op jaren waarin hardware voor quantumcomputing snel is verbeterd. Onderzoekers verkennen toepassingen die uiteenlopen van het simuleren van moleculen tot het optimaliseren van logistiek bij luchtvaartmaatschappijen. Tegelijk blijft de vraag open waarvoor quantumcomputers, buiten enkele specifieke problemen, werkelijk bruikbaar zullen zijn.
Voor praktisch gebruik is een eenmalige demonstratie niet genoeg. Een programma moet ook op andere quantumcomputers kunnen werken en door onafhankelijke onderzoekers kunnen worden gecontroleerd. Reproduceerbaarheid is daarom niet alleen een academische norm: ze bepaalt mede hoeveel waarde universiteiten, bedrijven en andere gebruikers aan een geclaimde toepassing kunnen hechten.
Mauerer en zijn collega’s hadden het probleem eerder al op kleinere schaal onderzocht. Volgens hem was de situatie vier of vijf jaar geleden eveneens slecht en is die in de tussentijd niet duidelijk verbeterd.
Een belangrijke complicatie is de hardware zelf. Bij conventionele computers kunnen programmeurs relatief abstract werken, zonder voortdurend rekening te houden met veranderende fysieke eigenschappen van de machine. De huidige quantumcomputers, die onder meer via de cloud toegankelijk kunnen zijn, zijn volgens Mauerer veel variabeler. Hij wil het probleem daarom niet uitsluitend wijten aan nalatige auteurs of ontbrekende eisen vanuit de onderzoeksgemeenschap.
Vijf criteria leggen ontbrekende code en documentatie bloot
Voor de nieuwe studie stelde het team vijf beoordelingscriteria op. De eerste drie gingen over de aanwezigheid van code die op een onafhankelijke quantumcomputer kon draaien en over de meegeleverde instructies en documentatie. Daarna keken de onderzoekers naar beschikbare informatie over de gebruikte hardware. Tot slot probeerden zij vast te stellen of het programma zonder fouten kon worden uitgevoerd.
Bij de 127 handmatig onderzochte papers bevatte 24,4 procent code waarmee een poging mogelijk was. Van die code faalde 64,5 procent tijdens het uitvoeren. In de geautomatiseerde analyse van 4.966 papers werd de code niet daadwerkelijk gestart; daar bleek 26,8 procent voldoende informatie te bevatten om een reproductiepoging te kunnen doen.
Dat een resultaat niet reproduceerbaar is, betekent niet automatisch dat het onjuist is, maar wel dat onafhankelijke controle met de beschikbare informatie niet goed mogelijk is.
William Zeng van de non-profitorganisatie Unitary Foundation zegt niet verrast te zijn. Software in een snel veranderend vakgebied heeft volgens hem gemeenschappen nodig die code blijven onderhouden. Fred Chong van de University of Chicago reageert minder bezorgd: quantumsoftware en -systemen bevinden zich volgens hem nog in een vroege fase, waarin innovatie soms zwaarder kan wegen dan een volledig ontwikkelde infrastructuur voor reproductie. Ook in de conventionele informatica duurde het volgens Chong decennia voordat onderzoekers zulke standaarden nadrukkelijk van elkaar gingen eisen.
Verbetering moet al bij de start van experimenten beginnen
De onderzoekers willen nu dat reproduceerbaarheid vanaf het begin van ieder experiment wordt meegenomen. Teamlid Ralf Ramsauer zegt dat de studie als sjabloon kan dienen voor een pakket met de benodigde code, instructies en technische informatie. Volgens hem is de eerste reactie vanuit het onderzoeksveld positief.
Zeng verwacht daarnaast dat gezamenlijke inspanningen en AI-agenten voor programmeerwerk de situatie kunnen verbeteren. Zulke hulpmiddelen maken het volgens hem al makkelijker om op basis van een gepubliceerd resultaat code voor een reproductiepoging te genereren.
Als onderzoekers hun werkwijze inderdaad eerder en vollediger vastleggen, wordt het eenvoudiger om onderscheid te maken tussen een veelbelovende demonstratie en een toepassing die op meerdere machines standhoudt.
Moeten tijdschriften strengere eisen stellen aan code en documentatie bij onderzoek naar quantumcomputing, of is dat in deze vroege fase te beperkend?
