Bij 2 van de 4 puntjes wel ja.

Roteren van je publiek helpt wel natuurlijk, dit om te voorkomen wat je al hebt aangehaald.

Laat me een analogie gebruiken om duidelijk te maken hoe ik denk over het werken met een pool gebruikers:

“Dit is zoals 10 leeuwen gevangen nemen, deze opsluiten in een zoo, daarna deze te bestuderen en dan conclusies te trekken over ALLE leeuwen, ook de deze in het wild”

Ik heb niet de minste twijfel over jou expertise en kunde, jij zal de valkuilen ongetwijfeld wel vermijden. Maar niet iedereen heet ‘Ferry den Dopper’.

Persoonlijk probeer ik die pool van gebruikers te vermijden en zal ik het alleen maar doen wanneer het niet anders kan (budget beperkingen, gebrek aan tijd, te gevaarlijk om ze on site te evalueren, etc…).

Ik sluit me zeker aan bij je slot: wanneer je wilde leeuwen wil bestuderen, dan zal je naar de savanne moeten.

Met betrekking tot het langetermijngeheugen: ik wil juist niet rekenen op het geheugen van de gebruikers. Daarom ook een pool zodat je kunt roteren. Als gebruikers te vaak gevraagd worden voor feedback of testen, raken ze te bekend met de applicatie en kun je juist niet meer goed testen of de applicatie intuitief werkt. Alleen als je gericht wilt optimaliseren voor heavy users is een select gebruikersgroepje dat je regelmatig bevraagt, handig.

Ten slotte: er gaat inderdaad niets boven gebruikers te observeren in hun eigen omgeving

Toch een kanttekening bij puntje 8, het werken met een pool gebruikers.

Ik zeg niet dat het niet werkt, ik heb het trouwens ook al gedaan. Maar er zijn wel wat valkuilen.

• Je hebt het risico, dat hun chef zijn favoriete onderdanen stuurt naar de meeting (of juist niet, omdat ze moeilijk gemist kunnen worden).
• Die gebruikers moeten mondig zijn, in Nederland zal dat minder een probleem zijn, in België ga je toch wel regelmatig op stille muurbloemetjes botsen.
• Er moet een milieu aanwezig zijn binnen de organisatie waar kritiek spuien mag en kan. Bij een organisatie die bijvoorbeeld bezig is met een grote reorganisatie gaan er maar weinigen hun nek uitsteken. Ze gaan de controverse uit te weg en die wil je misschien nét horen.
• Met zo’n pool moet je rekenen op het lange termijn geheugen van de gebruikers. Dat is niet feilloos.
• Ze vertellen niet alles wat ze doen. Soms omdat ze niet willen of durven, soms omdat ze er niet aan denken.
• …

Er gaat niets boven deze gebruikers zelf te observeren in hun eigen biotoop. Daar zijn hun gedragingen het meest natuurlijk en zullen ze veel meer laten zien dan ze zelf kunnen vertellen.

Maar goed, ik weet ook wel dat contextuele taak analyses niet altijd kunnen (budget, veiligheidszaken, budget beperkingen of het bedrijf in kwestie wil er niet van weten wegens te, uhm, ‘nieuw’ … )