Geruchten over scripting, handicapping en momentum (SHM in het vervolg) achtervolgen de FIFA-gemeenschap al jaren. Ondanks herhaalde ontkenningen van EA blijkt uit enquêtes dat een meerderheid van de FIFA-community van mening is dat het spel gemanipuleerd wordt.

Toen ik voor het eerst over SHM hoorde, kon ik me goed inleven in de frustratie die deze beweringen voedde. Maar tegelijkertijd was er een knagend gevoel van scepsis in mijn achterhoofd.

Features zoals rubberbanding komen vaak voor in videogames. De reden dat we dat weten is dat gameontwerpers er meestal volledig transparant over zijn. Een goed voorbeeld is EA's eigen Battlefield-serie, waarin behemoths worden gebruikt om het speelveld gelijk te maken. Een ander goed voorbeeld is in feite de aftrapmodus van FIFA, waarin een dialoog wordt getoond waarin wordt aangekondigd dat de moeilijkheidsgraad dynamisch wordt bepaald wanneer je een nieuwe account opent!

En wat me opvalt aan SHM in deze context is dat ik echt geen goede reden kan bedenken om het stiekem te implementeren. Het controversiële deel van SHM zou niet zijn wat het met het spel doet - het zou het feit zijn dat het in het geheim wordt gedaan!

Een andere gedachte, die mijn groeiende scepsis heeft gevoed, is dat SHM ook zou kunnen werken als een handig excuus. Vanuit het oogpunt van menselijke psychologie is het makkelijker om jezelf uit te leggen dat je hebt verloren door vals spel en niet omdat je niet zo goed bent als je hoopt. En handige excuses komen overal voor in competitieve omgevingen. Een voorbeeld dat me te binnen schiet, zijn de klachten over scheidsrechters in het echte voetbal.

Als onbesliste scepticus besloot ik in 2014 een stap verder te gaan in het debat en publiceerde ik een paar artikelen over het onderwerp. Kort daarna startte ik samen met een vriend de FIFA fact checking blog genaamd FUTfacts.com.

Het idee achter FUTfacts.com is dat we bewijs met relevantie voor het SHM-debat willen verzamelen en testen om te zien of we het debat tot een einde kunnen brengen.

Sindsdien hebben we elk stuk vermeend bewijs dat we in handen konden krijgen geanalyseerd en erover geschreven, en we hebben ook zelf onderzoek gedaan.

Je kunt je natuurlijk afvragen: is het echt mogelijk om een bepaalde conclusie te trekken over deze zaken? Mijn antwoord is een duidelijk ja. Hieronder zal ik in detail ingaan op het onderzoek dat we hebben gedaan en uitleggen wat onze conclusies zijn en waarom we daar zo zeker van zijn.

Flimme beweringen over FUT scripting

Toen we met ons werk begonnen, moesten we onze handen vol hebben aan de claims die we zouden gaan testen. Maar het definiëren van scripting, handicapping en momentum is niet zo eenvoudig als het klinkt.

De termen scripting, handicapping en momentum dekken een breed scala aan min of meer consistente en min of meer verenigbare beweringen. De opsommingstekens hieronder moeten je een indruk geven van enkele van de hoofdstromen, hoewel er ook andere beweringen en varianten zijn:

• Scripting verwijst meestal naar het geloof dat natuurlijke of onnatuurlijke gebeurtenissen opzettelijk in het spel worden gebracht om de een of andere reden.
• Momentum kan verwijzen naar het geloof dat EA momentumverschuivingen in wedstrijden oplegt of naar het geloof dat EA winnende of verliezende streaks bij spelers oproept.
• Handicapping kan verwijzen naar het idee dat de betere speler gehandicapt is of dat het betere team gehandicapt is, wat betekent dat statische verschillen worden geneutraliseerd of zelfs omgekeerd.

Ik hoor mensen vaak beweren dat er een consensus is in de gemeenschap rond het bestaan van SHM, en deze vermeende consensus wordt beweerd bewijs op zich te zijn. Maar gezien het feit dat SHM geen overtuiging is, maar eerder een overkoepelende term die een veelheid aan overtuigingen omvat, moest ik me afvragen of de vermeende consensus echt was.

Om deze vraag te testen, heb ik een enquête gemaakt waarin ik de respondenten vroeg of ze tien veel voorkomende beweringen over de SHM waarschijnlijk vonden of niet. Ik wilde weten in hoeverre mensen een gemeenschappelijke set overtuigingen deelden over de tien beweringen of niet. Het bleek van niet. Verre van zelfs.

Het onderzoek bevestigde dat er consensus bestaat over het overkoepelende idee dat FIFA-wedstrijden worden gemanipuleerd, maar dat mensen van mening verschillen over hoe en waarom de vermeende manipulatie plaatsvindt.

Sommigen vinden het waarschijnlijk dat het spel de mindere speler bevoordeelt. Anderen geloven dat het mindere team wordt bevoordeeld. En dan zijn er nog mensen die geloven dat beide dingen waar zijn, ondanks dat dit zou betekenen dat EA beide spelers in sommige wedstrijden hielp, wat eerlijk gezegd niet veel zin heeft

Noch het onduidelijke karakter noch het gebrek aan consensus bewijst dat deze beweringen per se fout zijn. Maar als twee mensen er tegenstrijdige overtuigingen op na houden, heeft minimaal één van hen ongelijk. En als 1000 mensen er 800 verschillende overtuigingen op na houden, hebben de meesten het mis.

Dat brengt me er in de eerste plaats toe dat de vermeende consensus niet bestaat. En als die er wel was, zou die ons echt niets zeggen over het al dan niet bestaan van de SHM. Mensen, zelfs een meerderheid, kunnen het mis hebben.

 

Welke beweringen hebben we gecontroleerd?

Factchecken is niet bepaald eenvoudig als beweringen allerlei tegengestelde kanten op gaan. Maar sommige beweringen komen vaker voor dan andere.

Twee specifieke beweringen die heel vaak voorkomen in berichten over de SHM zijn:

• Matches worden gemanipuleerd om ze gelijkmatiger te maken - dynamisch of door een vooraf ingestelde handicap.
• Spelers die betere ploegen gebruiken worden gehandicapt.

Het grootste deel van ons werk draait om de twee bovenstaande ideeën. Hieronder geef ik een kort overzicht van het relevante bewijs voor elk van deze ideeën en leg ik onze conclusie uit.

 

Bewering 1: Maakt EA wedstrijden gelijk?

De community heeft veel verschillende bewijzen gezien die beweren dat FUT-wedstrijden gelijk worden gemaakt. Ik wil een paar voorbeelden noemen, ofwel omdat het typische voorbeelden zijn van wat mensen als bewijs beschouwen, ofwel omdat ze veel aandacht trokken.

Een voorbeeld van dat laatste dateert uit 2016, toen iemand wat code opgroef uit een FIFA-bestand op de pc. Het bevatte verwijzingen naar een concept genaamd "adaptive difficulty" waarbij de moeilijkheidsgraad zou worden aangepast afhankelijk van de scorelijn. Er zijn meerdere redenen om dit als bewijs te weerleggen. Eerst en vooral was de code in kwestie duidelijk niet gerelateerd aan FUT, maar aan de carrièremodus. En hoewel het absoluut aannemelijk is dat adaptieve moeilijkheidsgraad is geïmplementeerd in de carrièremodus, leidt dat ons niet tot de conclusie dat het ook is geïmplementeerd in multiplayer speltypen zoals FUT.

Een ander voorbeeld dat veel aandacht trok, was de ontdekking van twee nieuwe EA-patenten - namelijk DDA (Dynamic difficulty adjustments) en EOMM (Engagement optimized matchmaking), die vergezeld gingen van onderzoekspapers geschreven door EA's eigen onderzoeksteam. Vooral DDA trok de aandacht, omdat het enige gelijkenis vertoonde met momentum. Hoewel het zeker is dat EA dit concept heeft gebouwd, wijst niets erop dat het in FUT is geïmplementeerd. En het feit dat iets misschien mogelijk is, is nog geen bewijs dat het ook daadwerkelijk is gedaan.

Ik kan nog uren doorgaan met uitleggen waarom verschillende bewijzen geen bewijs zijn. Om iets bewijs te laten worden, moet het op zijn minst andere verklaringen dan de SHM uitsluiten. En een terugkerend probleem met het vermeende bewijs is dat het meestal ook door andere - natuurlijke - oorzaken verklaard kan worden. Maar als je die optie niet eens overweegt, zie je het natuurlijk niet.

Kunnen we dan eigenlijk een experiment maken, waarmee we kunnen testen of wedstrijden worden genivelleerd? Dat konden we inderdaad, en dat hebben we ook gedaan. In feite hebben we drie verschillende experimenten gemaakt, die met elkaar gemeen hebben dat als wedstrijden in significante mate worden genivelleerd, we het zouden zien.

 

FIFA Manipulatie Claims

In het eerste experiment wilden we testen of betere spelers inderdaad meer manipulatie rapporteerden dan minder vaardige spelers. Als wedstrijden gelijk worden gemaakt, zouden we verwachten dat succesvollere spelers vaker melden dat ze verliezen door manipulatie dan minder succesvolle spelers.

Om onze hypothese te testen vroegen we 1000 spelers ons voldoende informatie te geven om hun vaardigheidsniveau ten opzichte van andere spelers vast te stellen. Verder vroegen we hen hoe vaak ze vonden dat hun wedstrijden werden gemanipuleerd.

Het bleek dat er absoluut geen verband was tussen iemands vaardigheidsniveau en de neiging om het gevoel te hebben dat zijn wedstrijden werden gemanipuleerd. In feite schreven minder succesvolle FIFA-spelers hun verliezen net zo vaak toe aan manipulatie als zeer succesvolle spelers.

Wat we hieruit vooral concluderen is dat de ervaringen die mensen scripting, handicapping en momentum noemen, blijkbaar geen patroon volgen waarbij ze waarschijnlijk gelijkmatigere wedstrijden zouden creëren.

Deze studie alleen is echter bij lange na niet het meest overtuigende bewijs dat we in handen hebben.

Even resultaten claimen in FUT

In het tweede experiment wilden we testen of FUT-wedstrijden inderdaad gelijkmatiger zijn dan ze zouden moeten zijn. Hoe kun je dit testen, hoor ik je zeggen? Het idee voor dit experiment kwam voort uit de observatie dat sporten met meer doelpunten dan voetbal ook minder gelijke spelen opleveren. Op dezelfde manier zorgen voetbalcompetities met een hogere doelratio ook voor minder gelijke spelen.

Gebaseerd op gegevens van meer dan 100 echte voetbalcompetities konden we een formule berekenen voor de relatie tussen doelratio en gelijkspelratio (zie de trendlijn in de grafiek hieronder). Als FUT-seizoenswedstrijden gelijk worden gemaakt, zouden we verwachten dat ze een hoge draw ratio bevatten in vergelijking met echte voetbalcompetities met een vergelijkbare doelpuntenfrequentie. Maar zoals de rode stip laat zien, valt FUT mooi in het patroon van alle echte competities.

Waar dit toe leidt is dat als wedstrijden inderdaad gelijk worden gemaakt, het duidelijk geen ongewoon percentage gelijke spelen genereert. Sterker nog, FUT - met zijn zeer hoge doelratio - heeft een veel lagere gelijkspelratio dan de meeste echte voetbalcompetities, wat precies is wat je zou verwachten als de dingen waren zoals ze zouden moeten zijn.

 

Claim over betere spelers die de wedstrijd verliezen in FIFA

Ons derde experiment was bedoeld om te testen of het een veelvoorkomend verschijnsel is dat de verliezer van een wedstrijd duidelijk de betere van de twee betrokken spelers is. Als wedstrijden echt gelijk worden gemaakt, zouden we veel gevallen verwachten waarin de betere speler uiteindelijk verliest.

Onze test is uitgevoerd toen je nog gegevens over spelers en hun tien laatste wedstrijden kon downloaden. We deden dit voor 1100 wedstrijden en berekenden het percentage wedstrijden waarin de verliezende partij (1) domineerde op alle beschikbare prestatieparameters (passen, balbezit en schieten) en (2) een betere historische staat van dienst had. Dit bleek het geval te zijn in slechts 4% van de 1100 wedstrijden in onze steekproef. En toen we de 40 wedstrijden in kwestie nader bekeken, vonden we geen sporen van gaming die nieuwe spelers hielp of iets dergelijks. In feite ging het bij alle 40 wedstrijden om spelers met een vergelijkbare staat van dienst.

Dus, wat we hierboven hebben zijn drie afzonderlijke bewijsstukken, die een bepaald resultaat zouden hebben opgeleverd als de wedstrijden gelijk waren gemaakt. Maar dat is niet het geval. Tegelijkertijd moet ik herhalen dat we geen bewijs hebben gevonden dat het tegenovergestelde suggereert.

Gebaseerd op de algemene staat van bewijs, moet de enige redelijke conclusie zijn dat wedstrijden niet gelijk worden gemaakt. En dat betekent helaas ook dat je verliest omdat je gewoon pech had of omdat de tegenstander een betere speler was.

 

Bewering 2: Zijn betere ploegen gehandicapt?

Het feit dat wedstrijden niet gelijk worden gemaakt, sluit niet uit dat EA de speler met het betere team benadeelt. Dus, hoe zit het precies met het bewijs met betrekking tot handicapping?

Een redditor genaamd Arlington69 analyseerde de prestaties van iconen en ontdekte dat de prime versie soms niet zoveel goals maakte als de basisversie. Hij concludeerde vervolgens dat dit suggereert dat het spel betere teams "dommer maakt".

Een groot probleem met die conclusie is echter dat Arlington69 volledig negeert dat de meeste van zijn gegevens in feite suggereren dat prime iconen beter presteren dan de goedkopere versies. Bovendien betekent de beslissing om te focussen op extreem zeldzame items zoals iconen dat Arlington69's steekproeven veel te klein zijn om conclusies te trekken over de relatie tussen statistieken en prestaties.

We hebben soortgelijke experimenten meerdere keren uitgevoerd voor kaarten die in veel grotere volumes zijn uitgebracht, en onze gegevens bevestigden herhaaldelijk dat hoger gewaardeerde versies over het algemeen meer doelpunten scoren, zie de tabel hieronder.

En in alle eerlijkheid denk ik dat iets anders een verrassing van epische proporties zou zijn geweest. EA verkoopt packs, en als je in die branche zit, is het niet logisch om het een nadeel te maken om een dure ploeg te gebruiken.

 

Waarom geloven mensen in de SHM?

Ik schreef eerder dat SHM een handig excuus kan zijn, zowel voor jezelf als voor je vrienden, als je vaker verliest dan je zou willen. Dit is tot nu toe vooral een ongefundeerde bewering, en ik wil graag nog een paar woorden aan mijn argument toevoegen voordat ik dit afrond.

Een opmerkelijk feit dat ik hier naar voren wil brengen is dat, in tegenstelling tot wat FUT-spelers in het algemeen graag denken, veel van hen een onrealistisch beeld hebben van hun eigen vaardigheidsniveau en een slecht begrip van voetbal als spel. Deze bewering is controversieel, maar ik heb de gegevens om hem te staven.

Een van de observaties die ik heb gedaan, is dat mensen in het algemeen geneigd zijn te geloven dat ze beter zijn in FIFA dan ze in werkelijkheid zijn. Een kleine, lastige enquête, gepubliceerd door FUTfacts co-editor Coldspurs in /r/FIFA stelde een hele simpele vraag: Hoe goed ben jij in vergelijking met andere mensen die reageren op deze poll?

Een duizelingwekkende 70% vond zichzelf bovengemiddeld goed!

Een andere observatie is dat mensen in het algemeen bepaalde onvermijdelijke waarheden over voetbal en dus ook FIFA niet erkennen. Ik weet dat veel mensen bezwaar zullen maken als ik deze twee dingen met elkaar vergelijk, maar feit is dat FIFA een voetbalsimulatie is. Daarom is het absoluut logisch om aan te nemen dat veel van de eigenschappen van echt voetbal ook aanwezig zijn in FIFA. En een van die eigenschappen is toeval.

Een Duitse professor, Martin Lames, ontdekte dat 44% van alle doelpunten in echte voetbalwedstrijden willekeurig zijn. Het is redelijk om aan te nemen dat hetzelfde geldt voor veel FIFA-goals.

Maar in een onderzoek uit 2017 erkent slechts 3 op de 10 SHM-gelovigen dat FIFA een zeer willekeurig spel is, net als echt voetbal. Als je de aanwezigheid van willekeur niet erkent, erken je ook niet het belang van geluk, ondanks het feit dat het een beslissende factor is in een spel als FIFA.

Uit hetzelfde onderzoek bleek ook dat SHM-gelovers in het algemeen niet beseffen dat dezelfde dingen die in hun voordeel werken, ook in het voordeel van de tegenstander werken. 8 op de 10 SHM-gelovigen verwierpen volledig het idee dat de tegenstander in staat is om je vermogen om te passen, schieten, koppen en sprinten te beïnvloeden, waarmee ze feitelijk zeggen dat die wedstrijden waarin je slecht presteert op die parameters ook maar iets te maken kunnen hebben met de tegenstander. En toch zei hetzelfde percentage - 8 op de 10 van de SHM-gelovigen - dat ze zelf in staat waren om het vermogen van de tegenstander om te passen, schieten, koppen en sprinten te beïnvloeden! SHM-gelovers schrijven hun eigen succes waarschijnlijk toe aan vaardigheid, terwijl ze het succes van de tegenstander toeschrijven aan scripting, handicapping of momentum.

Het punt dat ik hier wil maken is dat de verreweg meest waarschijnlijke verklaring waarom mensen in SHM geloven is dat de realiteit moeilijk te hanteren is: Namelijk dat je meer verliest dan je zou willen, omdat de tegenstanders beter zijn of gewoon meer geluk hebben dan jij, en niet omdat een of ander groot, kwaadaardig bedrijf je ervan weerhoudt om je spel naar de hemel te brengen.