Karl Groves punkterer mange førestillingar om loggstatistikk og brukaråtferd i ein artikkel på Boxesandarrows. I artikkelen "The Limitations of Server Log Files for Usability Analysis" slår han fast at slike loggfiler berre eignar seg til å seia noko om korleis webserveren oppfører seg, ikkje korleis brukarane oppfører seg.
Han har ein grundig gjennomgang av korleis loggfiler blir bygde opp og kva feilkjelder som finst. Dei er det mange av, og dei er forsåvidt kjende frå før. I følgje Karl Groves er det berre tidspunkt, dato og HTTP Request ein kan stola på av data i ei loggfil, alt anna hefter det stor usikkerheit ved.
Karl Groves har mye rett i sin kritikk av logg-basert analyse, men jeg opplever at han blir for kategorisk når han stiller gammeldags logg-analyse opp mot ekspertevaluering og brukertesting.
SvarSlettDessverre er det slik at flertallet av norske bedrifter fremdeles driver med gammeldags logganalyse, men svaret er ikke å avvise kvantitativ analyse. De fleste moderne webanalyse verktøy baserer seg nå på sidetaggete løsninger, ikke serverlogger, slik at stort sett alle svakheter med logg-analyse er adressert.
Seriøs analyse av kvantitative data fra et nettsted med moderne verktøy vil være til stor hjelp både i en ekspertvurdering eller en brukertest. Ved å på forhånd identifisere mulige problemområder kan en bedre fokusere den kvalitative undersøkelsen. For medium til store nettsteder med store mengder informasjon, kan det være svært så nyttig å få opp noen hypoteser kvantitativt om hva og hvor, slik at man kan bruke kvalitativ metode til finne ut hvorfor…
Eg er einig med deg i at Karl Groves fyrer med grovt kaliber her, og treffer ikkje berre blinken, men heile skiva.
SvarSlettPå ei anna side likar eg grunngjevinga hans og det er ei god pedagogisk framstilling av korleis web-serverar og deira logging fungerer.
Karl G seier også at innvendingane hans også gjeld sidebaserte løysingar:
"I do not discuss such programs, primarily because there is little consistency between them and ultimately they are just as poor at gathering real usability data as analytic tools which parse log files."
Denne typen avvising står ikkje heilt i stil med den elles pedagogiske framstillinga hans.