Surface: een Natural User Interface

Personal computing begon met een tekstgeoriënteerde interface, waarvan je de commando’s en overige syntax moest leren om de PC te kunnen bedienen. Met Apple en Windows kwam de Graphical User Interface (GUI), waarop commando’s vertaald waren naar menu’s en iconen, die je nog slechts hoefde te herkennen en aanklikken. De nieuwste ontwikkeling is de Natural User Interface (NUI), die directe manipulatie mogelijk maakt. De mogelijkheden van NUI, met name zichtbaar in de Microsoft Surface, spreken erg tot de verbeelding.  In een inspirerende sessie liet August de los Reyes op de afgelopen Mix Essentials 08 de principes zien achter het experience design van de Surface en van NUI.

De Surface

De Surface is één van de eerste ‘multi-touch’ computerinterfaces. Nu nog een tafelmodel, maar het zal een kwestie van tijd zijn dat multi-touch computing toegepast kan worden in handzame apparaten.

[youtube:http://www.youtube.com/watch?v=rP5y7yp06n0]

Promofilmpje van de Microsoft Surface. Ook leuk: de lange demo en de parodie.

MS heeft zich ten doel gesteld meer natuurlijke, intuïtieve ervaringen te creëren. De tablet-pc liet zien dat je een computer anders kon bedienen dan we gewend waren. Met gestures en strokes van een stylus. Ook bij de Zune wordt gebruik gemaakt van gestures, met de hand. En in Windows Vista zit veel spraakherkenning en -technologie (vooral ingestoken op toegankelijkheid). Doorlopend research naar meer ‘natural computing’ heeft geleid tot een visioen van een apparaat dat:

  • transparant en intuïtief is,
  • hand-, pen- en stemgestuurd is,
  • draagbaar is,
  • altijd beschikbaar en connected is,
  • eenvoudig is in vorm and profiel,
  • eenvoudig laat communiceren en delen,
  • een verlengstuk is van onze persoonlijkheid, en
  • creatief en onderhoudend is.

Daaruit resulteert o.a. dit filmpje:

[youtube:http://www.youtube.com/watch?v=V35Kv6-ZNGA]

Het type interacties die mensen in dit filmpje hebben en het idee dat ‘surfaces respond to us’ is precies het visioen dat het Surface designteam voor ogen had.

Natural User Experience

Tot nu toe heeft interacteren met een computer betekend dat mensen de taal van de computer moeten leren. Het is al veel eenvoudiger dan vroeger, maar nog steeds moeten we begrijpen hoe het apparaat werkt om ermee om te kunnen gaan. De komende decennia zullen we steeds meer proberen computers de taal van mensen te leren.

“The vision of Natural User Experience (NUE) is to deliver intuitive, seamless experiences that unfold through natural human input.”

Microsoft

De Graphical User Interface (GUI) maakt dus plaats voor de Natural User Interface (NUI). Dit betekent dat WIMP (Window, Icon, Menu, Pointing device) wordt vervangen door STaG (Speech, Touch and Gesture). Onderstaand schema laat nog even de evolutie zien van command line interfaces (CLI) tot NUI.

Inflection Attributes CLI GUI NUI
Metaphor Textual Graphical (visual representation of objects) Physical
Relationship Abstract (commando, action, system feedback on what happened) Indirect (e.g. hand as mouse) Direct (touch, movement, speech, proximity, etc.)
Control Directed (you have to know what you’re looking for, memorize commands) Exploratory (recognize) Contextual (providing just the right options suited to the context)
Flexibility High (all commands always at your disposal) High-Medium Low (few options, but focused)
Behavior Static Dynamic (transitions, animations, windows) Realistic

Het ontwerpen van de Surface

De los Reyes behandelt een aantal theoretische modellen voordat hij overgaat op de ontwerpprincipes van de Surface.

Zes bekwaamheden

In “A Whole New Mind: Moving from the Information Age to the Conceptual Age” stelt Daniel Pink dat de ‘information economy‘ verschuift naar een ‘experience economy‘. Hierin is het vermogen om met informatie en feiten om te gaan niet meer voldoende.  Een nieuw tijdperk vereist het kunnen omgaan met concepten, het spelen op emotie. Hiervoor zijn de volgende bekwaamheden nodig:

  1. Design: het vermogen om een product of proces te voorzien van esthetische of emotionele kwaliteiten die de gebruiker engageren (“pleasure, meaning, and beauty”).
  2. Story: het vermogen om een verhaal te creëren dat gebeurtenissen, mensen, ideeën en plaatsen verbindt in een boeiend geheel. Met verhalen is kennis over duizenden jaren doorgegeven.
  3. Symphony: het vermogen om verschillende stukken van multidisciplinaire perspectieven samen te voegen tot een betekenisvol en accuraat geheel. Deze vaardigheid relateert aan het ‘tekenen met de rechter hersenhelft’, focussen op relaties, metaforen en ‘big picture thinking’.
  4. Empathy: het vermogen om het perspectief, de worstelingen en de beleving van anderen te begrijpen.
  5. Play: het vermogen om bezig te zijn met humor en spelen. Spelen is, naast zijn vermogen om gevoelens te prikkelen, een waardevol economisch product in massamediaal and Internetgebaseerde entertainment.
  6. Meaning: het vermogen om voorbij te gaan aan materiële behoeften en op zoek te gaan naar een hoger (levens- of spiruteel) doel.

Vervolgens haalt De los Reyes het dualisme aan. Volgens het dualisme zijn lichaam en ziel, cultuur en natuur, subject en object gescheiden werelden. De los Reyes stelt dat intelligentie en emotie leven in co-existentie; ze staan niet los van elkaar. Onze manier van leren laat dit zien: we nemen het beste kennis op tijdens een ervaring. En emoties zijn een readout van een ervaring (James-Lange theorie).

Dit resulteert in de ‘2-Factor Design Theory’: eerst prikkelen, dan inprenten.

Emotie

Wat is in de experience economy nog de rol van producten? Of breder gesteld: wat is de rol van objecten? Als objecten ‘embedded’ intelligentie kunnen hebben (bv. rekenmachines), en je trekt voorgaande theorieën van het dualisme e.d. door, dan kunnen ze dus ook embedded emotie bevatten.

Veel van de ontwerpvisie van de Surface is gebaseerd op emotie.

Het Surface team heeft 5 kern-ontwerpprincipes gedefinieerd:

  • Natural & Intuitive: Bv. ‘Scatterview’, organische layout, alsof je foto’s op een tafel hebt die je met de hand manipuleert. We zijn al vertrouwd met deze ‘interface’.
  • Unique & Magical: Niet alles wat we ontwerpen hoeft een natuurgetrouwe, exacte tegenhanger in de echte wereld te hebben. We moeten ook de kracht en waarde van technologie aanwenden.
  • Social & Together: We hebben de gelegenheid om technologie in een omgeving te brengen dat het mogelijk maakt voor mensen om te ontmoeten en gelijktijdig te werken met de Surface.
  • Aware & Responsive: In staat zijn dingen te herkennen en daarop te reageren. Je kunt een object op het oppervlak leggen (bv. een mobiele telefoon, een getagd object of een kwast) en de Surface weet welke interacties hij daarop kan aanbieden. “Allow doing things that are contextual. The hardest thing is to provide the exact right options, to know what people want to do with particular objects.”
  • Premium & Authentic: Microsoft wordt hier langzaam steeds beter in. Dit draait om die laatste 10% van de user experience: de details, het vakmanschap dat de experience vloeiend en geweldig maakt.

Natural interface

Wat is nu de NUI van de Surface? De content is de interface. De focus lag op het direct werken met de content, in plaats van toolbars, menu’s en iconen. De ‘Scatterview’ is daar een mooi voorbeeld van: die werkt met stapels in plaats van folders.

Wat nog het dichtst in de buurt van een ‘shell’ komt, zijn de access points.


Video: Microsoft Surface Access Points

“It’s hard to design a simple, focused, intuitive interface. It’s easy to complicate things by adding (navigational) elements. These are the greatest design challenges.”

Daniel Makoski (Microsoft Surface team)

Laatste ontwerpweetjes

Het Surface team heeft veel gebruik gemaakt van paper prototyping. Het bleek een ideale methode om een interface te testen die je met de hand kunt manipuleren (gestures, enz.).

Toegankelijkheid voor een NUI is pionieren. “It’s very difficult to have access standards for a space where there are no standards yet. NUI provides the promise of allowing reaction to people and how they interact, whether it’s speech recognition or touch.”

Wat betekenen al die begrippen als Contact, Gestures, Manipulations enzovoorts? Het Surface team heeft een post gewijd aan Surface terminologie.

Waarin verschilt ontwerpen en ontwikkelen van Surface-applicaties met dat van desktop-applicaties?

  • Geen vaste boven-onder oriëntatie;
  • Meerdere ‘muiscursors’;
  • Meerdere gelijktijdige gebruikers;
  • Meerdere gebruikers contexts;
  • Meerdere gelijktijdige ‘drag & drop’ acties;
  • Traditionele manier van data invoeren gaat niet meer op.

Lees de uitgebreide uitleg hiervan in het artikel deel 1 en deel 2.

3 gedachten over “Surface: een Natural User Interface”

  1. August de los Reyes geeft op 21 oktober een presentatie tijdens de Design by Fire conferentie in Utrecht.
    Zijn presentatie draagt de titel 'Predicting the Past – A Design Vision for Microsoft Surface' en gaat in op het ontwerpen voor natural interfaces.

    Meer info op http://www.designbyfire.nl/

Reacties zijn gesloten.