Belangrijkste metrics
Belangrijkste metrics
Elk cijfer dat in je rapport en je portaal staat, hier per stuk uitgelegd. Wat het is, hoe we het meten, en wat het niet zegt.
Een cijfer dat je niet kunt uitleggen, kun je ook niet gebruiken om een beslissing op te baseren. Daarom staat bij elke metric ook waar hij ophoudt.
De uitkomst
Drie dingen die altijd bij elkaar horen. Zie je er een zonder de andere twee, dan mis je de helft van het verhaal.
Exacte tellingen
teller en noemer- Wat het is
- Hoe vaak je in het vaste panel bent waargenomen, per laag: genoemd, op welke positie, met welk sentiment, en hoe stellig aanbevolen. Elke laag staat apart, met teller en noemer, bijvoorbeeld 420 van 1.500 pogingen.
- Hoe we het meten
- Uitsluitend aan wat de AI-systemen daadwerkelijk antwoorden. Technische zaken op je site tellen hier niet in mee; die zitten in de diagnose en in de view Crawlactiviteit.
- Wat het niet zegt
- Er is geen totaalcijfer. De vier lagen worden niet opgeteld tot één score, omdat de branchestandaard bewust geen uitkomstformule voorschrijft en zo’n score niet te controleren is. Leg de tellingen ook niet naast die van een andere aanbieder: iedereen stelt andere vragen. En ze zeggen niets over je omzet of je marktaandeel. Besluit 5
Band
Altijd zichtbaar- Wat het is
- De marge waarbinnen je uitkomst ligt, bijvoorbeeld 41 tot 47 procent genoemd. Waar precies in die band je zit, weten we niet.
- Hoe we het meten
- Uit de werkelijke verschillen tussen de meetmomenten, niet uit een rekenformule. Antwoordt een systeem het ene moment anders dan het andere, dan wordt de band breder.
- Wat het niet zegt
- Een smalle band betekent niet dat je uitkomst goed is, alleen dat hij stabiel is gemeten.
Betrouwbaarheidsklasse
A, B of C- Wat het is
- Hoe zwaar je meting was, en dus hoeveel gewicht je eraan mag hangen. A is geschikt om beslissingen op te baseren, B geeft een richting aan, C is verkennend.
- Hoe we het meten
- Uit het aantal vragen, het aantal meetmomenten en het aantal vermeldingen dat we hebben gezien. Onder de vijftig vragen komt een meting nooit in klasse A. Recept De standaardopzet van 50 vragen op vijf meetmomenten levert 250 waarnemingen per systeem en valt in klasse: nog vast te stellen. Besluit 2
- Wat het niet zegt
- Klasse C betekent niet dat de meting fout is, maar dat er te weinig materiaal was om er conclusies aan te verbinden.
De vier lagen
De lagen bouwen op elkaar voort. Wie niet genoemd wordt, kan niet prominent of positief genoemd worden. Daarom rapporteren we ze in deze volgorde, elk met een eigen telling.
Vermeldingen
Laag 1: Presence- Wat het is
- Hoe vaak je naam valt in de antwoorden op onze vragen. In de markt heet dit mention rate.
- Hoe we het meten
- Als het aandeel van alle antwoorden waarin je naam in de tekst staat. Genoemd worden telt, ook zonder link naar je site. Een bron in de bronnenlijst met je naam in de URL telt hier niet mee; die hoort bij bronvermeldingen. Naam, domein en vestigingsplaats beoordelen we samen, zodat een naamgenoot niet als jouw vermelding telt.
- Wat het niet zegt
- Dit is niet hetzelfde als aangehaald worden als bron. Twee tools kunnen hier verschillende cijfers geven omdat ze verschillende vragen stellen.
Positie in het antwoord
Laag 2: Prominence- Wat het is
- Waar in het antwoord je staat. De schaal is vast: eerste, tweede, derde of vierde genoemd, genoemd buiten de top vier, genoemd zonder rangorde, of niet genoemd.
- Hoe we het meten
- Elk antwoord wordt met de hand ingedeeld op die schaal, door twee beoordelaars onafhankelijk van elkaar. De tekstvolgorde in een antwoord is niet vanzelf een aanbevelingsvolgorde; alleen als het systeem een rangorde uitspreekt, tellen we die.
- Wat het niet zegt
- Bovenaan staan in een antwoord dat maar zelden verschijnt, is minder waard dan halverwege staan in een antwoord dat er altijd is.
Sentiment en juistheid
Laag 3: Portrayal- Wat het is
- Met welk sentiment je beschreven wordt, en of wat er gezegd wordt klopt.
- Hoe we het meten
- Het sentiment wordt per passage beoordeeld, niet per antwoord als geheel. Zegt een antwoord niets over je, dan is dat ontbrekend, geen neutraal. Elke feitelijke uitspraak over je bedrijf wordt naast het feitenregister gelegd en krijgt een status: correct, aantoonbaar onjuist, verouderd, tegenstrijdig, verkeerde identiteit, niet ondersteund door bron, of niet verifieerbaar. In je portaal staan het aantal antwoorden en het aantal beoordeelde passages naast elkaar.
- Wat het niet zegt
- Een positief sentiment zegt niet dat de feiten kloppen; dat zijn twee aparte beoordelingen. En een fout die uit een bron komt, los je op bij die bron. Klagen bij het AI-platform helpt daar niet.
Aanbevelingssterkte
Laag 4: Persuasion- Wat het is
- Hoe stellig je wordt aanbevolen, van actief aanbevolen met een reden tot genoemd met een voorbehoud.
- Hoe we het meten
- Ook met de hand beoordeeld, in dezelfde dubbele beoordeling als de andere lagen.
- Wat het niet zegt
- Andere aanbieders meten dit ook, onder eigen namen en met eigen schalen. Onze schaal is van ons, dus leg het cijfer niet naast dat van een ander.
Je positie in de markt
Deze drie hangen af van wat de categorie toevallig oplevert. Ze zijn wel het nuttigst voor je actielijst.
Aandeel in vermeldingen
binnen de vergelijkingsset- Wat het is
- Jouw deel van alle vermeldingen in de meting, tegenover de concurrenten in de vooraf vastgestelde vergelijkingsset. In de markt heet dit share of voice.
- Hoe we het meten
- Als jouw vermeldingen gedeeld door alle vermeldingen van alle bedrijven in de vergelijkingsset. Wie in die set zit, staat in je portaal onder Positie. Bedrijven die een systeem uit zichzelf noemt maar die niet in de set zitten, tellen hier niet mee.
- Wat het niet zegt
- Het cijfer verandert zodra de vergelijkingsset verandert. Er bestaan zeker zes verschillende formules voor onder dezelfde naam, dus vergelijk het nooit tussen aanbieders.
Bronnendekking
werklijst, geen uitkomst- Wat het is
- Op hoeveel van de tien bronnen die het vaakst worden aangehaald jij staat, tegenover je best presterende concurrent.
- Hoe we het meten
- We tellen welke sites de systemen aanhalen bij onze vragen, en kijken per bron of jij daar staat. Erbij staat wat een vermelding daar vraagt: een gratis profiel, een betaalde vermelding of redactioneel werk.
- Wat het niet zegt
- Zonder die laatste kolom is dit een wensenlijst. Een bron waar je alleen redactioneel binnenkomt, is iets anders dan een profiel dat je vanmiddag aanmaakt.
Onbezette vragen
eigenschap van de markt- Wat het is
- De vragen waarop geen enkel bedrijf uit de vergelijkingsset genoemd wordt.
- Hoe we het meten
- Per vraag kijken we of er een naam uit de set in het antwoord voorkomt. Zo niet, dan is die vraag onbezet.
- Waarom dit ertoe doet
- Hier hoef je niemand te verdringen; verschijnen is genoeg. Voor een MKB-bedrijf is dit meestal de goedkoopste route naar de eerste vermeldingen.
Hoe zeker een cijfer is
Drie metingen over de meting zelf. Ze bepalen of we een cijfer überhaupt mogen rapporteren.
Waarnemingsdrempel
Minimaal 10 vermeldingen Recept- Wat het is
- Het minimum aan vermeldingen dat we nodig hebben om iets over de andere lagen te mogen zeggen.
- Hoe het werkt
- Onder de tien vermeldingen rapporteren we alleen laag 1 en blijven de lagen 2 tot en met 4 leeg. Haalt een heel AI-systeem de drempel niet, dan blijft het als ontbrekende waarneming zichtbaar en wordt het niet herverdeeld over de andere systemen. In je portaal staat welk systeem is uitgesloten en waarom.
- Wat het niet zegt
- Onder de drempel zitten betekent niet dat je onzichtbaar bent, maar dat we te weinig materiaal hebben om er iets zinnigs over te zeggen.
Volatiliteit
Eigen uitkomst Recept Besluit 3- Wat het is
- Hoe sterk je uitkomst per meetmoment schommelt. Drie uitkomsten: verankerd, wisselend en vluchtig. Verankerd is onder de tien procent, wisselend tussen tien en vijfentwintig, vluchtig daarboven.
- Hoe we het meten
- Als variatiecoëfficiënt over de meetmomenten: de spreiding gedeeld door het gemiddelde. We onderscheiden herhalingen binnen één meetvenster van verschillen tussen meetdagen.
- Waarom dit ertoe doet
- Een vluchtige positie kun je zo weer kwijt zijn. Een verankerde positie houdt stand, ook als je even niets doet. Het getal kent geen richting: of je vooruit of achteruit gaat, blijkt pas uit twee metingen waarvan de banden elkaar niet overlappen.
Overeenstemming tussen beoordelaars
Sinds v2.2 Recept Besluit 3- Wat het is
- De mate waarin twee mensen die dezelfde antwoorden los van elkaar beoordelen, tot hetzelfde oordeel komen.
- Hoe we het meten
- Met Krippendorff’s alpha over een steekproef van minstens vijftig antwoorden per meetprogramma. Vanaf 0,80 rapporteren we normaal, tussen 0,67 en 0,80 zakt je rapport een klasse, daaronder rapporteren we de lagen 2 tot en met 4 niet.
- Waarom dit ertoe doet
- Positie, sentiment, juistheid en aanbevelingssterkte rusten op een oordeel. Zonder deze meting zou de onzekerheid van de beoordelaar nergens terugkomen.
Verder lezen
- Share of voice in AI-antwoorden
- Waarom dezelfde term bij zes aanbieders zes verschillende uitkomsten geeft, en wat je dan wel kunt vergelijken.
- Vermeldingen en mention rate
- Het verschil tussen genoemd worden en aangehaald worden als bron, en waarom dat verschil uitmaakt voor je acties.
- Klantportaal
- Waar deze cijfers in je portaal staan, en welke controle je zelf kunt doen om na te gaan of ze kloppen.