Bert Bongers' PhD Thesis

I n t e r a c t i v a t i o n

Towards an e-cology of people, our technological environment, and the arts

PhD Thesis Defence and presentation, Tuesday 4 July 2006

Defence took place at the Vrije Universiteit Amsterdam.


Prof. Dr. Gerrit van der Veer: promotor, Vrije Universiteit Amsterdam
Prof. Dr. Hans van Vliet: promotor, Vrije Universiteit Amsterdam
Prof. Dr. Frances Brazier: Computer Science, Vrije Universiteit Amsterdam
Prof. Dr. Ir. Berry Eggen: Industrial Design, Eindhoven University of Technology
Prof. Dr. Ir. Anton Nijholt: Human-Computer Interaction, University of Twente
Prof. Ir. Kas Oosterhuis: Architecture, Delft University of Technology
Dr. Bill Verplank: Industrial Design, Stanford University

chair: Prof. Dr. A.E. Eiben, Dean of the Computer Science Department, Vrije Universiteit Amsterdam

Supported by the co-defenders ('paranimfen' in Dutch) Jos Mulder and Yolande Harris.

Presentation of research projects, exhibition with video, music and haptic feedback and drinks happened at STEIM, Studio for Electro-Instrumental Music, Amsterdam, from 17:00 - 21:00.
Installations: PicturePile (multimedia portfolio), Drum 'n Bass Stick, Extended Reading Table, Palpable Pixels and Trainflow (descriptions in Handout in the download section )

I am very grateful to STEIM for offering access to their spaces, infrastructure and equipment to support this event, and particularly the help of Nico Bes.

Availability: A hardcopy of the thesis (over 300 pages full colour) can be ordered worldwide through Printing on Demand. A low resolution version in PDF (5.4 Mb) available for download.


Very short summary of the thesis:

(voor Nederlands klik hier)

Bert Bongers approaches the relationship between people and technology as an electronic ecology, and proposes to design and develop the interactions based on experiences in the arts, music and architecture. This PhD Dissertation reflects his background and experience in engineering, human sciences, and the arts. It describes his research projects and developments of interfaces from the intimate scale of musical instruments to the spatial scale of architecture, from haptic feedback devices to video performances.
The frameworks presented in this book are based on these experiences, and are applied for the analysis and development of interaction, physical interfaces, and media. The design approach broadens the field of Human-Computer Interaction (HCI) to investigate the relationship between people and technology. Computers are becoming increasingly smaller and at the same time more networked, embedded in our whole technological environment, which is leading to an electronic ecology. We are part of this e-cology.
A modular approach to interface design for this complexity is proposed and applied. In addition to the general purpose standard interface, these Interaction Appliances are developed for specific functions. Haptic feedback devices have been developed and researched, in order to improve the interaction. In the interactivated environment a rich and multimodal interaction can take place between people and technology.

Contents Overview






Part I: Introduction

1. The e-cology - Interaction with our electronic environment

Part II: Stepping Stones

2. Musical Instruments ­ the intimate interface

3. Dynamic Architecture ­ the spatial interface

Part III: Foothills

4. Multimodal Human-Computer Interaction ­ interfacing with the e-cology

5. Haptic Display of Information and Feedback - giving meaning to what is felt

6. The Physical Interface Design Space (PIDS) ­ describing physical interaction

Part IV: Explorations

7. Art and e-cology ­ Interaction from the intimate to the architectural scale

8. Multimodal Interaction Styles ­ Interactivated environments

Part V: Conclusions and Aims

9. Interaction with the Electronic Environment ­ A shift in thinking: from devices to functions

10. Seeds ­ a research agenda



The thesis is available worldwide through Printing on Demand



The Vrije Universiteit is near the Amsterdam Zuid WTC station, follow the signs to VU. An illustrated description of the route is available in the download section (named NStoVU.pdf).

How to get from the VU to STEIM:
Coming out of the main entrance of the university go to the right, walk towards the metro station, take line 51 in the direction of the Central Station, get off at the Weesperplein, take the exit Sarphatistraat / Amstel, cross the river Amstel and turn right, third street on the left is the Utrechtsedwarsstraat and the STEIM entrance (no. 134) is about half way to the left!

An illustrated description of the route to STEIM is available in the download section (named VUtoSTEIM.pdf).

(Nederlands vertaling)


Interactivering - naar een e-cologie van mensen, onze technologische omgeving, en de kunsten.

Dit proefschrift handelt over de relaties en interacties tussen mens, technologie en de kunsten. De auteur beschrijft in enkele hoofdstukken zijn ervaringen als ontwerper en ontwikkelaar van nieuwe elektronische muziekinstrumenten, videokunst en interactieve architectuur. Deze ontwikkelingen vormen de basis van een nieuwe benadering van het vakgebied van Human-Computer Interaction (HCI). Enerzijds wordt HCI verdiept door bijvoorbeeld de interactie tussen een musicus en instrument of de interactie tussen mens en architecturale omgeving als inspiratiebronnen te nemen. Anderzijds wordt het vakgebied van HCI verbreedt zodat ook andere technologieën omvat worden. Computers worden steeds kleiner, en steeds meer ingeweven in onze directe technologische omgeving. Dit wordt wel 'ubiquitous computing' genoemd, de alomtegenwoordige computer. Deze technologische ontwikkeling heeft enorme sociale en maatschappelijke gevolgen. Hoe gaan we daar mee om? Een benadering wordt voorgesteld en uitgewerkt die dit geheel opvat als een elektronische ecologie, de 'e-cologie', waar mensen en hun technologische omgeving een geheel vormen. In dit proefschrift worden diverse raamwerken en categorieseringen gepresenteerd om de interactie tussen mensen en de technologische omgeving te onderzoeken en te ontwerpen, vanaf de fysieke en dicht bij het lijf gedragen interfaces (geïnspireerd door ontwikkelingen in de elektronische kunst en muziek) en de ruimtelijke interacties (geïnformeerd door de architectuur). Haptische terugkoppeling speelt hierbij een belangrijke rol, zo wordt aangetoond. Het ontwerpen van de interfaces vanaf de fysieke lagen tot de mentale lagen, heeft als doel het interactiveren van de technologische omgeving.

De contributies van dit proefschrift zijn hieronder omschreven.

A) Diverse raamwerken en taxonomieën voor onderzoek en ontwikkelingen van interactie zijn ontwikkeld, te weten: een categorisatie van technologieën en hun functies (A1, geïntroduceerd in Hoofdstuk 1 en toegepast in hoofdstuk 2 over muziekinstrumenten), een raamwerk voor het beschrijven van interactiestijlen (A2, deels gebaseerd op de interactieve architectuur beschreven in hoofdstuk 3, en verder ontwikkeld in Hoofdstuk 4), een ontwerpruimte of taxonomie voor fysieke interfaces (A3, beschreven en toegepast in Hoofdstuk 6) en een classificatie van media (A4, geïntroduceerd in Hoofdstuk 7 dat over nieuwe mediakunst handelt).

B) We are Multimodal: Een benadering van de bestudering van de menselijke perceptie en handelen in de context van multimodale interactie, met de nadruk op de somatische zintuigen (Hoofdstuk 4). In Hoofdstuk 5 worden diverse onderzoeksprojecten beschreven die het aanspreken van de menselijke tastzin mogelijk maken, en aangetoond wordt dat dit de interactie kan verbeteren. Verschillende nieuwe apparaten en technieken worden geïntroduceerd.

C) De e-cologische benadering: een ontwerpaanpak die de natuurlijke en kunstmatige omgeving samenbrengt. Deze elektronische ecologie of e-cologie kan ontstaan doordat de interactieve computertechnologie in de omgeving infiltreert. Hoofdstuk 8 geeft hier voorbeelden van.

D) Het voorstel om te werken met zogenaamde Interaction Appliances (interactie-apparaten) als modulaire en gedistribueerde interface elementen in de e-cologische ontwerpaanpak. Dit is gebaseerd op projecten beschreven in Hoofdstuk 7 (uit de video-kunst) en hoofdstuk 8 (architectuur), en uitgewerkt in Hoofdstuk 9.

E) Een agenda voor verder onderzoek, omschreven in hoofdstuk 10







Secret Section: Stellingen

De afdeling Informatica van de Vrije Universiteit doet niet aan stellingen bij proefschriften. Dat vind ik jammer, dus ik heb ze hier geplaatst.

In the Dutch tradition of PhD Thesis defence, it is common that the thesis is accompanied with stellingen. These are short statements or aphorism taken from the thesis, made up by the author about life in general, or quoted from elsewhere. They can get rather silly in some cases, and this is one of the reasons why our department at the VU is against stellingen. I was rather looking forward to this and only at the last minute I found out the attitude of our department. This is a pity, because I already assembled several statements. So here they are:


Een proefschrift zonder stellingen is als een fiets zonder fietsbel.

User Centered Design is a pleonasm

Today's pathological 'information overload' is not caused by the amount of information in itself, but by the way it is presented. It is an artifact of technological systems

Technology gets away with bad interfaces, but it could get much further with a good one

Competence-based learning puts too much emphasis on the (proof in the) pudding.

We are Multimodal

A suitable communication protocol for Interaction Appliances can have the same impact that MIDI has had for musical instrument design. This has to be developed.

Architecture was never meant to be static.

Usability tests are often about testing unusability

Moore's Law does not hold for the user interface.

Een computer zonder netwerk is als een fiets zonder wielen.