Belangrijkste metrics
Belangrijkste metrics
Elk cijfer dat in je rapport staat, hier per stuk uitgelegd. Wat het is, hoe we het meten, en wat het niet zegt.
Een cijfer dat je niet kunt uitleggen, kun je ook niet gebruiken om een beslissing op te baseren. Daarom staat bij elke metric ook waar hij ophoudt.
De uitkomst
Drie cijfers die altijd bij elkaar horen. Zie je er een zonder de andere twee, dan mis je de helft van het verhaal.
21x-score
0 tot 100- Wat het is
- Je totaalcijfer, opgebouwd uit vier lagen: word je genoemd (40 punten), waar in het antwoord sta je (25), hoe word je beschreven en klopt het (20), en word je aanbevolen (15).
- Hoe we het meten
- Uitsluitend aan wat AI-systemen daadwerkelijk antwoorden. Technische zaken op je site tellen hier niet in mee; die zitten in de diagnose, en die krijgt geen punten.
- Wat het niet zegt
- Leg dit cijfer niet naast dat van een andere aanbieder. Iedereen rekent anders en de branchestandaard schrijft bewust geen scoreformule voor. Het zegt ook niets over je omzet of je marktaandeel.
Band
Altijd zichtbaar- Wat het is
- De marge waarbinnen je score ligt, bijvoorbeeld 41 tot 47. Waar precies in die band je zit, weten we niet.
- Hoe we het meten
- Uit de werkelijke verschillen tussen de meetdagen, niet uit een rekenformule. Antwoordt AI de ene dag anders dan de andere, dan wordt de band breder.
- Wat het niet zegt
- Een smalle band betekent niet dat je score goed is, alleen dat hij stabiel is gemeten.
Betrouwbaarheidsklasse
A, B of C- Wat het is
- Hoe zwaar je meting was, en dus hoeveel gewicht je eraan mag hangen. A is geschikt om beslissingen op te baseren, B geeft een richting aan, C is verkennend.
- Hoe we het meten
- Uit het aantal vragen, het aantal meetdagen en het aantal vermeldingen dat we hebben gezien. Onder de vijftig vragen komt een meting nooit in klasse A.
- Wat het niet zegt
- Klasse C betekent niet dat de meting fout is, maar dat er te weinig materiaal was om er conclusies aan te verbinden.
De vier lagen
De lagen bouwen op elkaar voort. Wie niet genoemd wordt, kan niet prominent of positief genoemd worden. Daarom weegt de eerste het zwaarst.
Vermeldingen
Laag 1, 40 punten- Wat het is
- Hoe vaak je naam valt in de antwoorden op onze vragen. In de markt heet dit mention rate.
- Hoe we het meten
- Als het aandeel van alle antwoorden waarin je genoemd wordt. Genoemd worden telt, ook zonder link naar je site.
- Wat het niet zegt
- Dit is niet hetzelfde als aangehaald worden als bron. Twee tools kunnen hier verschillende cijfers geven omdat ze verschillende vragen stellen.
Positie in het antwoord
Laag 2, 25 punten- Wat het is
- Waar in het antwoord je staat, van enige aanbevolen partij tot alleen genoemd in een bronnenlijst onderaan.
- Hoe we het meten
- Elk antwoord wordt met de hand ingedeeld in vijf niveaus. Die indeling wordt door twee mensen onafhankelijk gedaan.
- Wat het niet zegt
- Bovenaan staan in een antwoord dat maar zelden verschijnt, is minder waard dan halverwege staan in een antwoord dat er altijd is.
Toon
Laag 3, 20 punten- Wat het is
- Hoe je beschreven wordt, en of dat klopt. Onjuistheden kosten punten.
- Hoe we het meten
- De toon wordt gecodeerd en per onjuistheid gaan er punten af, met onderscheid tussen een verzinsel zonder bron, een fout die uit een bron komt, en een verkeerd vakgebied.
- Wat het niet zegt
- Een fout die uit een bron komt, los je op bij die bron. Klagen bij het AI-platform helpt daar niet.
Aanbevelingssterkte
Laag 4, 15 punten- Wat het is
- Hoe stellig je wordt aanbevolen, van actief aanbevolen met een reden tot genoemd met een voorbehoud.
- Hoe we het meten
- Ook met de hand gecodeerd, in dezelfde dubbele beoordeling als de andere lagen.
- Wat het niet zegt
- Voor zover wij weten meet geen andere aanbieder dit. Er is dus niets om het naast te leggen.
Je positie in de markt
Deze drie tellen niet mee in de score, omdat ze afhangen van wat de categorie toevallig oplevert. Ze zijn wel het nuttigst voor je actielijst.
Aandeel in vermeldingen
Telt niet mee in de score- Wat het is
- Jouw deel van alle vermeldingen in de meting, tegenover de concurrenten die we hebben meegenomen. In de markt heet dit share of voice.
- Hoe we het meten
- Als jouw vermeldingen gedeeld door alle vermeldingen van alle bedrijven in de vergelijkingsset. Wie in die set zit, staat in je rapport.
- Wat het niet zegt
- Het cijfer verandert zodra de vergelijkingsset verandert. Er bestaan zeker zes verschillende formules voor onder dezelfde naam, dus vergelijk het nooit tussen aanbieders.
Bronnendekking
Telt niet mee in de score- Wat het is
- Op hoeveel van de tien bronnen die het vaakst worden aangehaald jij staat, tegenover je best presterende concurrent.
- Hoe we het meten
- We tellen welke sites AI aanhaalt bij onze vragen, en kijken per bron of jij daar staat. Erbij staat wat een vermelding daar vraagt: een gratis profiel, een betaalde vermelding of redactioneel werk.
- Wat het niet zegt
- Zonder die laatste kolom is dit een wensenlijst. Een bron waar je alleen redactioneel binnenkomt, is iets anders dan een profiel dat je vanmiddag aanmaakt.
Onbezette vragen
Telt niet mee in de score- Wat het is
- De vragen waarop geen enkel bedrijf uit de vergelijkingsset genoemd wordt.
- Hoe we het meten
- Per vraag kijken we of er een naam uit de set in het antwoord voorkomt. Zo niet, dan is die vraag onbezet.
- Waarom dit ertoe doet
- Hier hoef je niemand te verdringen; verschijnen is genoeg. Voor een MKB-bedrijf is dit meestal de goedkoopste route naar de eerste vermeldingen.
Hoe zeker een cijfer is
Drie metingen over de meting zelf. Ze bepalen of we een cijfer überhaupt mogen rapporteren.
Waarnemingsdrempel
Minimaal 10 vermeldingen- Wat het is
- Het minimum aan vermeldingen dat we nodig hebben om iets over de andere lagen te mogen zeggen.
- Hoe het werkt
- Onder de tien vermeldingen rapporteren we alleen laag 1 en blijven de lagen 2 tot en met 4 leeg. Haalt een heel AI-systeem de drempel niet, dan valt het uit het gewogen totaal en staat in je rapport welk systeem is uitgesloten.
- Wat het niet zegt
- Onder de drempel zitten betekent niet dat je onzichtbaar bent, maar dat we te weinig materiaal hebben om er iets zinnigs over te zeggen.
Volatiliteit
Eigen uitkomst- Wat het is
- Hoe sterk je score per meetdag schommelt. Drie uitkomsten: verankerd onder de tien procent, wisselend tussen tien en vijfentwintig, vluchtig daarboven.
- Hoe we het meten
- Als variatiecoëfficiënt over de meetdagen: de spreiding gedeeld door het gemiddelde.
- Waarom dit ertoe doet
- Een vluchtige positie kun je zo weer kwijt zijn. Een verankerde positie houdt stand, ook als je even niets doet.
Overeenstemming tussen beoordelaars
Sinds v2.2- Wat het is
- De mate waarin twee mensen die dezelfde antwoorden los van elkaar beoordelen, tot hetzelfde oordeel komen.
- Hoe we het meten
- Met Krippendorff’s alpha over een steekproef van minstens vijftig antwoorden per meetprogramma. Vanaf 0,80 rapporteren we normaal, tussen 0,67 en 0,80 zakt je rapport een klasse, daaronder rapporteren we de lagen 2 tot en met 4 niet.
- Waarom dit ertoe doet
- Zestig van de honderd punten rusten op een oordeel. Zonder deze meting zou de onzekerheid van de beoordelaar nergens terugkomen.
Verder lezen
- Share of voice in AI-antwoorden
- Waarom dezelfde term bij zes aanbieders zes verschillende uitkomsten geeft, en wat je dan wel kunt vergelijken.
- Vermeldingen en mention rate
- Het verschil tussen genoemd worden en aangehaald worden als bron, en waarom dat verschil uitmaakt voor je acties.
- Hoe wij rapporteren
- Waar deze cijfers in je rapport staan, en welke controle je zelf kunt doen om na te gaan of ze kloppen.