openbaar
Scorebord
Hoeveel van de bevindingen die menselijke auditors al vonden in afgesloten wedstrijden vindt onze smart-contractscan? Rijen verwijzen naar hun uitslag en, waar die er is, naar de preregistratie die voor de run is opgeschreven. Een rij zonder die link heeft vooraf geen openbare regel: bij versie 3.1 staat de regel alleen in onze eigen notities, en de rij zegt dat. Een rij zonder uitslag is met opzet leeg.
Bug Bounty Intelligence · open scorebord
Laatst bijgewerkt op 2026-10-30. Eerst de nieuwste rijen en de rijen die nog open staan.
Elke run van onze scan op onze vaste sets van bekende bevindingen staat binnen 7 dagen op deze pagina, de missers inbegrepen, zodat je het hele verslag ziet en niet alleen de goede runs. Scoort een versie lager dan de run ervoor op dezelfde set, dan zegt de rij dat, met beide getallen naast elkaar. De regel is openbaar en heeft een OpenTimestamps-stempel ernaast: De publicatieregel
- nog open beslist de vraag
Wedstrijden die na vandaag verschijnen
Elk systeem dat meedoet, het onze inbegrepen
Nog niet gemeten
Nieuwe wedstrijden zodra hun eindrapporten verschijnen
De zuiverste toets, want de antwoorden bestaan nog niet als het rapport wordt vastgelegd. De hash van het rapport van een systeem wordt vastgelegd voordat de uitslagen van de wedstrijd verschijnen, en wordt achteraf beoordeeld door dezelfde twee rechters. Dat duurt weken, want de uitslagen komen per wedstrijd binnen.
- gemeten deels op deze set afgesteld
Versie 3.1 op de 40 audits van EVMbench
Versie 3.1 van de scan, zoals in productie, ongewijzigd
23 van de 117
De 40 audits van de openbare detect-set van EVMbench, 117 bevindingen van hoge ernst. 4 van de 40 overlappen met eerdere afstelsets. Er werden in totaal 1537 hypotheses gemeld.
Telt de eerste 15 hypotheses per audit, 600 van de 1.537 die de scan meldde, zoals de rijen hieronder. De eerste 30 bevatten er 29 van de 117, en de hele lijst ook. Hier tellen alleen High-bevindingen mee, dus het getal is niet naast de rijen van Code4rena en Sherlock te leggen, die High en Medium tellen. Over de hele lijst komt 2,9 procent van de hypotheses overeen met een bekende bevinding, en in 18 van de 40 audits kwam er niets door beide rechters. Zonder de 4 audits die overlappen met onze eerdere afstelsets zijn het er 21 van de 110. Op de 7 nieuwste audits, nog niet eerder gebruikt, zijn het er 3 van de 14. De 29 oudere audits zijn openbaar en kunnen in de trainingsdata staan van de modellen achter de scan en de rechters. Eén run, geen audit twee keer gedraaid. De regels voor het lezen van de uitslag stonden vooraf in een werknotitie, maar we hebben die notitie pas na de run verankerd, dus de volgorde moet je op ons woord geloven. Drie mensen buiten ons team hebben de totalen opnieuw berekend uit de oordeelbestanden en kwamen op dezelfde getallen; dat dekt de rekensom, niet of de oordelen van de rechters kloppen.
- gemeten beslist de vraag
Slither 0.11.6 op dezelfde wedstrijden
Slither 0.11.6 met standaardinstellingen, een gratis hulpmiddel voor statische analyse
0 van de 34
Code4rena-wedstrijden waarop het in onze opzet draaide: 4 van de 9 nieuwere en 4 van de 6 oudere, 34 bekende bevindingen. Er werden in totaal 167 hypotheses gemeld.
Strikte treffers: geen. Twee hypotheses bij één wedstrijd kwamen voor slechts één van de twee rechters overeen met een bekende bevinding. Statische analysetools zijn niet gemaakt voor de fouten in de bedrijfslogica die in wedstrijden worden beloond, ze draaiden in onze opzet maar op een deel van de wedstrijden, en de rechters zijn taalmodellen. Op dezelfde wedstrijden vond onze scan er 6 van de 34 in zijn eerste 15 hypotheses; de oudere wedstrijden kunnen in de trainingsdata staan van het model achter onze scan.
- gemeten beslist de vraag
Aderyn 0.6.8 op dezelfde wedstrijden
Aderyn 0.6.8 met standaardinstellingen, een gratis hulpmiddel voor statische analyse
0 van de 70
Code4rena-wedstrijden waarop het in onze opzet draaide: 4 van de 9 nieuwere en 6 van de 6 oudere, 70 bekende bevindingen. Er werden in totaal 202 hypotheses gemeld.
Strikte treffers: geen. Statische analysetools zijn niet gemaakt voor de fouten in de bedrijfslogica die in wedstrijden worden beloond, ze draaiden in onze opzet maar op een deel van de wedstrijden, en de rechters zijn taalmodellen. Op dezelfde wedstrijden vond onze scan er 10 van de 70 in zijn eerste 15 hypotheses; de oudere wedstrijden kunnen in de trainingsdata staan van het model achter onze scan.
- gemeten niet op deze set afgesteld
Versie 3.1 op negen nieuwere Code4rena-wedstrijden
Versie 3.1 van de scan, zoals die in productie draait
5 van de 66
9 Code4rena-wedstrijden van september 2025 tot maart 2026, 66 bekende bevindingen. Niet gebruikt om de scan te bouwen. Er werden in totaal 135 hypotheses gemeld.
Telt de eerste 15 hypotheses per wedstrijd, wat rapporten tot 25 oktober lieten zien; de eerste 30 bevatten er 8 van de 66. De regel voor het lezen van de uitslag is vooraf opgeschreven: 5 procent of meer houdt stand, en dit is 7,6 procent. 3 van de 35 makkelijke bevindingen, 0 van de 8 gemiddelde en 2 van de 23 moeilijke zaten in de eerste 15; 61 van de 66 bekende bevindingen niet. Kleine aantallen, één run per wedstrijd. De bekende lijsten van Code4rena zijn korter dan die van Sherlock, wedstrijden van begin 2026 kunnen in de trainingsdata van een model zitten, en de Olas-wedstrijd is voor 38 procent van de code gelezen.
- gemeten niet op deze set afgesteld
Versie 3.1 op dezelfde acht wedstrijden
Versie 3.1 van de scan, live sinds de avond van 25 oktober
8 van de 105
De 8 wedstrijden van de verzegelde run, 105 bekende bevindingen. Niet meer geheim: de uitslagen zijn op 24 oktober gepubliceerd. Er werden in totaal 120 hypotheses gemeld.
6 van de 59 makkelijke bevindingen, 1 van de 14 gemiddelde, 1 van de 32 moeilijke. Precisie 7,5 procent, ongeveer 20 tot 45 seconden en 0,02 tot 0,15 dollar per scan. Er veranderden twee dingen tegelijk, een nieuwer model en een aanpassing van welke bestanden meetellen, dus we kunnen niet zeggen welke van de twee het werk deed. Eén run, dus een herhaling kan uitkomen tussen ongeveer 6 en 10. De modellen kunnen deze wedstrijden hebben gezien. 97 van de 105 bekende bevindingen werden nog steeds niet gevonden. De regel voor het lezen van de uitslag stond vooraf in onze eigen notities, die niet openbaar zijn, dus deze rij is minder goed te controleren dan de verzegelde run.
- gemeten niet op deze set afgesteld
De verzegelde run: de nieuwe versie
Versie 3 van de scan, de bestanden vooraf vastgelegd met een hash
4 van de 105
Verzegelde set: 8 wedstrijden, 105 bekende bevindingen, met een hash vastgelegd voordat iemand ernaar keek. Er werden in totaal 120 hypotheses gemeld.
2 van de 59 makkelijke bevindingen, 0 van de 14 gemiddelde, 2 van de 32 moeilijke. Precisie 5,0 procent, 46 tot 105 seconden en hooguit 0,064 dollar per scan. Hij vond 3 bekende bevindingen die de draaiende scan niet vond. De eerst opgeschreven regel vroeg er 5, dus die is niet gehaald en de draaiende scan bleef in productie. Op de avond van 25 oktober verving versie 3.1 hem, zie de rij hierboven. Onze eigen lezing van twee meningsverschillen tussen de rechters had er 5 van gemaakt; het getal dat we hebben vastgelegd is het getal waar beide rechters het over eens zijn.
- gemeten niet op deze set afgesteld
De verzegelde run: de scan zoals hij draait
Versie 2.1 van de scan, die tot de avond van 25 oktober in productie was, met het patroonblok
1 van de 105
Verzegelde set: 8 wedstrijden, 105 bekende bevindingen. Er werden in totaal 43 hypotheses gemeld.
1 van de 59 makkelijke bevindingen, 0 van de 14 gemiddelde, 0 van de 32 moeilijke. Precisie 4,7 procent, 2,7 tot 8,6 minuten per scan. De ene bevinding die hij vond, vond de nieuwe versie ook.
- gemeten op deze set afgesteld, geen bewijs
De volgende versie, eerste proef
In ontwikkeling. Hoe het werkt blijft privé tot na de verzegelde run; de hash van de bestanden wordt vóór die run gepubliceerd
7 van de 85
Ontwikkelset: 6 wedstrijden, 85 bekende bevindingen. Er werden in totaal 88 hypotheses gemeld.
7 van de 31 makkelijke bevindingen, 0 van de 26 gemiddelde, 0 van de 28 moeilijke. We stellen de scan op deze set af, dus dit is een verslag van hoe we hier gekomen zijn en geen bewijs.
- gemeten op deze set afgesteld, geen bewijs
De scan zoals hij draait, op de ontwikkelset
Versie 2 van de scan met het patroonblok van productie
1 van de 85
Ontwikkelset: 6 wedstrijden, 85 bekende bevindingen. Er werden in totaal 39 hypotheses gemeld.
Zonder het patroonblok vond hij 0 van de 85 met 36 hypotheses. Nog twee bekende bevindingen werden door slechts één van de twee rechters gekoppeld, en die tellen we niet mee. We stellen de scan op deze set af, dus dit is geen bewijs.
- gemeten deels op deze set afgesteld
Versie 2 van de scan
De scan na de eerste ronde verbeteringen
0 van de 40
7 wedstrijden: 4 waarop hij was afgesteld (31 bekende bevindingen) en 3 nieuwe (9 bekende). Er werden in totaal 31 hypotheses gemeld.
0 van de 31 op de vier wedstrijden waarop hij was afgesteld en 0 van de 9 op de drie nieuwe. Hij las 29 procent van de code die binnen de scope viel. Achteraf bleek dat de gemeten kopie een blok historische patronen miste dat productie wel heeft, en de pagina met de resultaten zet die correctie boven de tabellen.
- gemeten niet op deze set afgesteld
Versie 1, zoals hij draaide
De scan zoals hij draaide op de ochtend van 24 oktober 2026
0 van de 31
4 wedstrijden, 31 bekende bevindingen. Er werden in totaal 2 hypotheses gemeld.
In totaal twee hypotheses, geen van beide kwam overeen met een bekende bevinding. Eén taak mislukte en twee leverden een leeg rapport op. De voorspelling die we vóór de run opschreven was hooguit 2 van de 31.
Zo lees je een getal
Wat er wordt geteld, en door wie.
- Een bekende bevinding is een unieke, geldige bevinding met ernst High of Medium in het eindrapport van een Sherlock- of Code4rena-wedstrijd. Het aantal deelnemers dat een bevinding vond is de moeilijkheid ervan: makkelijk is gevonden door 5 of meer, gemiddeld door 3 of 4, moeilijk door 1 of 2.
- Een treffer telt alleen als twee rechters uit verschillende modelfamilies allebei dezelfde bekende bevinding noemen voor dezelfde grondoorzaak. Een mens leest elk meningsverschil na.
- De wedstrijden zijn verdeeld in een ontwikkelset en een verzegelde set door ze te sorteren op een hash waarin de hash van blok 53022890 van Base is verwerkt. Dat blok kon niemand hier kiezen. De verzegelde set is vastgelegd met de hash de1a23a4aabc17def5145229c8ee4b4b216e25e8a5ec990e0c5bb37620b61ca1 en is één keer gedraaid, op 24 oktober 2026. De set is nu gepubliceerd, dus iedereen kan die hash zelf narekenen.
Wat als bewijs zou tellen
Vijf stappen, in de volgorde waarin we ze zetten.
- De verzegelde run: wedstrijden die niemand hier had gezien, met de beslisregel vooraf vastgelegd. Gedaan op 24 oktober 2026; de lat is niet gehaald.
- Wedstrijden die na vandaag verschijnen, waarbij de hash van ons rapport wordt vastgelegd voordat de uitslagen worden gepubliceerd.
- Een test die elke gemelde fout echt laat gebeuren, zodat een bevinding niet op iemands woord steunt.
- Een fout die een echte eigenaar bevestigt.
- Iemand anders die onze gepubliceerde uitvoer opnieuw beoordeelt met de open rechters en onze getallen krijgt.
Wat open is en wat privé blijft
- Open: de wedstrijden, de twee rechters en hun controle, de regels die we vóór elke run opschreven, elke uitvoer en elk oordeel van de rechters. Iedereen kan die opnieuw beoordelen.
- Privé: hoe de scan dingen vindt. Vóór de verzegelde run publiceerden we de SHA-256 van de bestanden die hij gebruikt, zodat elke latere wijziging zou opvallen.
Wat dit niet is
- Het is geen audit, geen goedkeuring en geen certificering. Een scan die niets vindt, maakt code niet veilig.
- Deze wedstrijden kunnen in de trainingsdata van de modellen zitten, dus absolute getallen kunnen te hoog zijn. Vergelijkingen tussen systemen op dezelfde wedstrijden zijn gepaard en worden hier minder door beïnvloed.
- De rechters zijn taalmodellen en wij hebben zelf belang bij de uitslag. Daarom publiceren we elke tabel en elk oordeel van de rechters.
Citeer deze pagina
tokenizen, scorebord van de Bug Bounty Intelligence-scan, https://tokenizen.nl/nl/scoreboard
Zie je een fout in hoe we tellen? Maak een issue aan in de repository. We corrigeren dat in het openbaar.