Breve histoire des interfaces (2) : télétype, écran matriciel, clavier/souris, tablettes

L’écran tel que nous le connaissons est une des inventions récentes de l’histoire de l’informatique. Il n’a pas toujours été là comme une évidence. A mesure que les ordinateurs vont prendre de l’importance dans le traitement et le stockage de l’information, l’ergonomie va être pensée et repensée par des milliers d’acteurs discrets.

Précédent | 2/11 | Suivant

Les télétypes

En 1956, Doug Ross propose de connecter une machine à écrire électrique Flexowriter à un ordinateur Whirlwind du MIT. L’expérience se révèle concluante après 5 mois de recherche.

Par la suite, la télétype, qui est employée depuis des dizaines d’années dans le domaine de la communication (on envoie et reçoit des textes via une machine à écrire électrique et connectée en réseau téléphonique), va servir pour monitorer l’activité des ordinateurs. C’est une des premiers interfaces de sortie dynamique, mais uniquement textuelle évidemment. Ici, le fameux modèle 33 (1963). Ils sont utilisés comme terminal, c’est à dire qu’il permettent d’interagir avec le calculateur à distance, sans être en eux-mêmes un ordinateur.

Le terme terminal désigne une machine connectée à un ordinateur central qui ne fait que transporter l’information en entrée et sortie. Plusieurs terminaux peuvent être connectés à une même unité centrale, qui gère le temps partagé pour les différentes demandes des utilisateurs. Le minitel français est un des plus connus des systèmes de terminaux. Un terminal n’est donc pas un ordinateur, c’est une machine minimale permettant d’accéder un ordinateur et d’interagir avec lui grâce à des commandes.
Les ingénieurs des grandes compagnies voyaient l’avenir de l’informatique dans le développement de très gros ordinateurs auxquels seraient connectés des milliers de terminaux. L’avantage est que quelques grosses machines centralisent l’information et son traitement, ce qui permet un contrôle et un entretien plus simple qu’un grand nombre d’ordinateurs indépendants. Le concept de Personal Computer, qui émerge dans les années 70, va surprendre ces grandes compagnies, IBM en tête. L’idée leur semblera complètement farfelue, et c’est ce qui explique qu’il se feront prendre de vitesse pas des compagnies plus petites sur ce terrain, comme Apple, et signeront sans trop y penser un contrat de licence pour le MS-DOS de Microsoft en 1981.

Le minitel, un terminal en fonction en France entre 1980 et 2012.
Le minitel, un terminal en fonction en France entre 1980 et 2012.

Premiers écrans CRT

L’écran CRT (pour Catode Ray Tube, le gros écran télé que l’on trouvait partout avant que les écrans plats le rende ringard) est l’évolution d’expérimentation débutées vers 1867 avec les tubes de Crookes. En 1897, Ferdinand Braun utilise pour la première fois un tube à rayons cathodiques pour étudier des phénomènes dynamiques, l’enregistrement de phénomènes électriques rapides.

Un tube de Crooks
Un tube de Crooks

Un fil électrique sans un tube en verre sous vide est soumis à une tension très élevée (100.000 volts). Il projette des électrons en direction d’un anode, qu’on récupère sur une surface couverte de phosphore pour que l’oeil puisse avoir le temps de la voir. On concentre et dirige ces rayons avec l’aide d’électro-aimants et on dispose d’un point lumineux qu’on peut faire varier en intensité. L’idée est de visualiser et quantifier des phénomènes électriques, parfois trop rapides pour être observés à l’oeil nu, mais dont la phosphorescence permet de garder la trace.
L’oscilloscope est un pas important dans l’évolution du CRT : en faisant bouger lentement de la gauche vers la droite le point, et le faisant osciller verticalement selon l’intensité du courant électrique, on peut observer une onde, et même mesurer son intensité avec des gradations dessinées sur l’écran.

A partir du moment ou un point lumineux précis peut être déplacé à grande vitesse sur un écran, deux applications vont avancer un court moment en parallèle : l’écran vectoriel et l’écran raster (ou matriciel).

L’écran vectoriel comme stockage

Inventé en 1946, le tube de Williams ne sert pas à visualiser une information mais à la stocker : c’est l’ancêtre de la mémoire vive. Il se trouve qu’il permet aussi de la visualiser sous la forme de point à la surface.
En 1948, l’équipe travaillant sur le prototype "The baby" utilise un tube de Williams pour à la fois afficher et pour stocker 2048 informations binaires.

En 1951, le Ferranti Mark 1 est le premier ordinateur commercialisé. C’est à dire produit en série pour une utilisation non spécifique. Il est lui aussi équipé d’un écran vectoriel qui permet de contrôler les informations binaires stockées en mémoire.

A l’université de Cambridge, en 1952, Alexander Douglas utilise un clavier rotatif de téléphone pour envoyer des instructions à un ordinateur EDSAC, pour jouer à OXO avec lui. La partie est affichée sur un écran vectoriel de 35 X 15 points.

Le OXO de 1952, sur tube de Crooks
Le OXO de 1952, sur tube de Crooks

En 1958, William Higinbotham programmera un jeu de tennis affiché sur un oscilloscope vectoriel (avec un ordinateur analogique Donner Model 30). Il y a même un son quand la balle est frappée.

Le jeu de tennis sur oscilloscope, en 1958
Le jeu de tennis sur oscilloscope, en 1958

En 1960 le PSP1-s offre pour 120.00 dollars un ordinateur avec un écran vectoriel, un clavier pour contrôler l’écriture et recevoir les résultats. C’est sur cette machine large dans ses possibilités que sera écrit le premier jeu vidéo recensé : "SpaceWar !"

Sage et le pointage sur écran

Le système SAGE, pour Semi-Automatic Ground Environment, est déployé par l’armée américaine pour contrôler et intervenir de manière semi-automatique dans l’espace aérien sur tout le territoire des Etats-Unis. C’est un gigantesque déploiement d’ordinateurs associé à des radars et des centres de traitement. L’idée est de pouvoir suivre toute l’activité aérienne et de pouvoir identifier une menace pour y riposter avec la plus grande rapidité possible.

Les images de militaires attablés face à des écrans géants montrant des portions de territoires couverts de signes et de trajectoires, dans les films hollywoodiens, sont en grande partie inspirés de son infrastructure.
Le système SAGE (Semi-Automatic Ground Environment) est reconnu pour être l’un des tout premiers réseaux numériques de l’histoire de l’informatique (mêlant capacités de calcul, interfaces de saisie, interfaces de lecture, téléphonie, modems, téléscripteurs, télégraphie).

Une centaines de terminaux permettent d’intéragir avec l’unité centrale, et chacun de ces terminaux est composé d’un écran vectoriel et d’un pistolet servant à sélectionner des points sur l’écran, de tagguer comme ami ou ennemi des objets volants, et de désigner comme cible un de ces objets, déclenchant la recherche du missile le plus plus proches, le calcul de sa trajectoire et envoyant l’ordre de sa mise à feu. Ce sera une des utilisations les plus poussées de cette technologie.

Une console SAGE, vers 1960
Une console SAGE, vers 1960

L’écran vectoriel sera employé dans les années 60 et 70. Il est précis et lumineux, mais il possède plusieurs inconvénients.
Il est difficile de lui adjoindre des couleurs, et surtout la vitesse de rafraichissement dépend du nombre d’éléments à dessiner, puisque chaque trait est tracé. Pour ces raisons, l’affichage de texte est limité, ainsi que les forme trop complexes. Pour les mêmes raisons, on ne peut pas "remplir" des surfaces, car ça signifierait balayer de larges zones avec le faisceau. Cette technologie fera place à l’écran matriciel dans les années 70.

Ce type d’écran est utilisé par Ivan Sutherland pour son Sketchpad, un logiciel développé en 1963 pour le dessin technique. Douglas Engelbart s’inspirera de ses concepts d’interface, le "cliquer-pointer" pour ses propres recherches.

Ivan Sutherland travaillant avec Sketchpad, 1961
Ivan Sutherland travaillant avec Sketchpad, 1961

L’écran CRT raster

Par opposition à l’écran vectoriel, les écran raster affichent l’information par un balayage constant de gauche à droite et de haut en bas. C’est pour faire court, l’écran de télévision. L’essor de l’écran matriciel est d’ailleurs en grande partie lié à la diffusion télévisuelle. La technologie est la même que l’écran vectoriel, sauf que le balayage de la surface est toujours le même, seule l’intensité du signal change pendant celui-ci. La finesse de l’image est comptée en nombre de lignes, soit le nombre de balayages horizontaux. En 1935, un émetteur d’ondes courtes installée sur la tour Eiffel diffuse quelques images en 180 lignes. Les années 40 vont voir la popularité de la télévision exploser.

L’informatique va mettre encore une vingtaine d’années à se saisir de cette technologie, en partie parce que ça ne fait pas sens pour les ingénieurs, qui manipulent des chiffres qu’ils préfèrent voir imprimés, sur des cartes ou des listings, et pas fugacement sur un écran. D’autre part, il faut penser l’organisation de ce nouvel interface, et ce sont des personnages comme Douglas Engelbart, qui vont travailler spécifiquement sur l’interface homme/machine dans les années 60’, qui vont faire des avancées de ce côté.

"Glass Teletype"

En effet, début des années 60, les premiers écrans matriciels sont vus comme une manière commode de remplacer le télétype. Ils sont plus rapide, plus silencieux et ne nécessite pas de chargement de papier, mais aucune autre fonction ne lui est demandée par rapport au listage papier, d’où le nom parfois donnée de "Glass Teletype". Ils se branchent sur le même mode que les télétypes, et reçoivent des messages textuels qu’ils affichent, sans couleur, ni typographie particulière. Dans la première partie des années 70, il vont cependant faire disparaître le télétype.

La multiplication des interfaces

La plupart des interfaces à boutons et diodes créées dans les années 60 et 70 dédiées sont spécifiques à un usage. L’ordinateur est interfacé à travers des systèmes multiples : en entrée, on a des boutons avec ou sans diodes, des interrupteurs, des claviers alphabétiques augmentés de signes spécifiques. Les ordinateurs sont monitorés avec des cartes, des listings papier, la glass teletype, l’écran vectoriel et quelques écrans CRT. Voici quelques exemples :

C’est industriellement un frein économique, chaque application industrielle demandant un assemblage spécifique, développé pour l’occasion, avec plus ou moins d’intelligence. La compétition entre les différentes compagnies (Bull, IBM, etc.) soutenues par leurs pays d’origine fait rage et des standards peinent à se mettre en place. De plus, plusieurs systèmes d’archivages coexistent : il n’est pas rare de retrouver à côté de machines flambant neuve une tabulatrice permettant de lire les bilans comptables de 10 ans d’age...

La question de l’ergonomie, c’est-à-dire l’étude scientifique des conditions de travail et des relations entre l’être humain et la machine, devient centrale. Des expériences comme le programme spatial Apollo vont booster à la fois la miniaturisation des composants et la recherche de système pensé avec facilité et sécurité.

Le Apollo Guidance Computer, l'ordinateur le plus petit et économe en énergie de son époque, et son panneau de contrôle.
Le Apollo Guidance Computer, l’ordinateur le plus petit et économe en énergie de son époque, et son panneau de contrôle.

Une des pistes envisagée est le passage à l’écran CRT, dont la technologie est éprouvée grâce au succès de la télévision. Mais la télévision est à l’époque une technologie analogique, il faut donc créer un interfaçage spécifique pour qu’un ordinateur puis piloter un tel écran. Et puis, il faut aussi savoir ce qu’on va y afficher, et comment. C’est un travail de design, de programmation et d’ergonomie très spécifique, qui va conduire à la création de métiers spécifiques.

Écran et souris

Douglas Engelbart, qui travaille au MIT sur des projets de recherches sur les interfaces humain/machine, est le premier à penser, designer et déposer le brevet de la souris comme moyen d’interagie avec l’écran CRT. La souris est évidemment intimement liée à l’écran, puisqu’il s’agit de déplacer un pointeur sur sa surface. La première souris est testée dans ses labos en 1964. Un test de la NASA confirme en 1965 que le système est l’interface la plus précise pour pointer un écran. Il faudra attendre encore des années avant qu’elle se popularise. William English, co-créateur de la souris quitte le Augmentation Research Center d’Engelbart pour le Xerox Park où il améliorera la souris en remplaçant les roues du prototype par une boule avec des capteurs.

William English, co-créateur de la souris, teste l'interface clavier-souris au Stanford Research Institute
William English, co-créateur de la souris, teste l’interface clavier-souris au Stanford Research Institute

La souris est paradoxalement un pas en arrière par rapport au crayon pointeur de l’écran vectoriel, avec lequel on touche l’écran à l’endroit où l’on veut intervenir. Il faudra attendre les années 2000 pour que l’écran tactile retrouve sa place dans l’histoire de l’interface homme machine grand public.

Contreculture, personal computer et sortie télé

De jeunes et ambitieux ingénieurs perçoivent le potentiel, au début des années 70, du "Personal computer". Organisés en "computer clubs", certains d’entre eux ont des motivations politiques : les ordinateurs sont des objets techniques puissants et couteux, uniquement détenus par l’état et les grandes compagnies, dominé par IBM et ses contrats officiels et secrets avec l’armée, ce qui leur parait un danger pour la population. Il est donc urgent pour eux de démocratiser l’usage de ordinateurs pour contrecarrer le complexe militaro-industriel et l’état. Beaucoup d’entre eux, issus des prestigieuses écoles, connaissent la situation de l’intérieur : le MIT par exemple travaille sur de nombreux projets sous contrat avec l’armée. Le paradoxe est évidemment que les millions de dollars injectés dans ces recherches permettent un accès au savoir et au matériel de pointe à tous ces jeunes chercheurs.

A l’encontre des politiques de développement privilégiant un matériel à la pointe de la puissance de calcul et orienté sur l’architecture centralisée du super-ordinateur et de ses terminaux, ils cherchent à créer des ordinateurs appuyés sur des puces beaucoup moins puissantes mais bon marché (comme la MOS 6502).
Du côté de la programmation, ces ordinateurs utilisent des programmes sous forme de bande papier. Pour séduire le public qu’ils essaient d’attirer dans les clubs, une interface graphique serait idéale, d’autant que l’informatique est déjà entrée dans les foyers avec des jeux comme Pong (1972) qui utilise la télévision et des télécommandes. Le matériel utilisé en recherche, les télétypes et les premiers écrans d’ordinateurs ont un prix beaucoup trop élevés pour un accès au commun des mortels. Les téléviseurs par contre sont abordables et disponibles dans la majorité des foyers. Ces concepteurs vont donc munir leur ordinateurs bon marché d’une sortie télé, en utilisant la puce directement comme carte graphique.

En 1976 sort le Apple 1, premier à utiliser une sortie télé, mais aussi le Intecolor 8001, le premier écran couleur grand public.

Le apple I, construit en 1976
Le apple I, construit en 1976

Les ressources déjà limitées de la puce doivent servir, avec cette nouvelle approche, à gérer l’espace de l’écran. Les premières interfaces sont purement textuelles (dans la continuité des télétypes), et il faudra attendre que la loi de Moore rende les puces plus puissantes et moins chères. A partir de la fin des années 70, le rapport entre le cout humain et le cout des machines commence à pencher en faveur des humains et il faut permettre aux utilisateurs de travailler plus rapidement et confortablement avec les machines. On va donc s’intéresser à l’adressage mémoire des pixels, pour afficher des points, des lignes, des formes cliquables sur l’écran.

Le Alto de Rank Xerox, développé à partir de 1973
Le Alto de Rank Xerox, développé à partir de 1973

Le Xerox Park et la métaphore du bureau

Xerox PARC (Palo Alto Research Center) est un centre de recherche et développement financé par Xerox créé en 1969, spécialisé en imprimerie et transmission de documents. Proche géographiquement de l’université de Stanford, il va jouer un rôle important dans le domaine des interfaces homme machine. De nombreux étudiants de Stanford et Berkeley y font des stages, encouragés par leurs professeurs, notamment Bill gates et Steve Jobs. C’est au PARC que ALTO, le premier ordinateur avec métaphore de bureau a été développé comme prototype à partir de 1972. Considéré comme prometteur, le projet est aussi très critiqué : une interface graphique consomme beaucoup de ressources de calcul, juste pour améliorer l’ergonomie de la machine. Mais la balance entre coût des machines et coût humain est en train de changer dans les années 70, et ça commence à valoir le coup de se pencher sur le rendement des opérateurs, et de réduire les coûts de formation de ceux-ci via des interfaces moins rustiques que la ligne de commande et les manuels pesant des kilos.
En 1978, Xerox offrira 50 Alto à quatre universités américaines dont le MIT.

Sur le Alto, un clic sur une icône est transformé en instruction "lancer l’application de traitement de texte". Steve Jobs perçoit le potentiel de cet interface intuitive, qui de plus est un personal computer, concept qu’il est en train de développer. Il réoriente le projet de son ordinateur Lisa, mais en chantier depuis 1978 et pour y intégrer une interface de bureau. Lisa est commercialisé en 1983, mais il est trop cher pour le marché. Jobs, qui se voit contraint d’abandonner le projet Lisa, reprend le projet Macintosh des mains de Jef Raskin, et impose l’usage de la souris. Le Macintosh, premier ordinateur grand public a intégrer la souris, sort en 1984 et sera un vrai boum commercial.

Le Apple Lisa, 1983, un des premiers ordinateurs personnels à posséder une souris et une interface graphique
Le Apple Lisa, 1983, un des premiers ordinateurs personnels à posséder une souris et une interface graphique

La carte graphique

Le processeur central est à ce moment toujours en charge de l’affichage de l’écran, ce qui ralentit les autres opérations de calcul et force les ingénieurs à trouver des solutions alambiquées pour accélérer le traitement. Avec l’augmentation du nombre de pixels, puis l’arrivée de la couleur (4 puis rapidement 16), il devient nécessaire de trouver une autre solution. Les ingénieurs imaginent de déléguer à d’autres puces le soin de s’occuper de l’affichage à l’écran. La carte graphique est née, et va monter en puissance dès la fin des années 80. Le nombre de points et le nombre de couleurs vont augmenter, puis la 3D va faire son apparition, demandant des cartes graphiques toujours plus puissantes, rivalisant dans la puissance de calcul avec les puces de la carte mère.

La combinaison écran / clavier / souris va subir des évolutions. Taille, précision, prix, performances. A part dans le domaine des loisirs où l’écran tactile apporte une ergonomie différente, cette combinaison reste dominante et l’interfaçage avec l’ordinateur pendant les années 80, 90 et 2000.

L’interfaçage sans contact

A partir des années 90, des idées d’interfaces plus "intuitives" apparaissent dans les revues d’informatiques. L’industrie explore des systèmes sans contacts. Ceux-ci apparaissent en fait dans la fiction, car la mise en oeuvre de tels systèmes est onéreux, peu pratique et au final peu fiable.

Gands connectés
Un des accessoires récurrents est le gand connecté, simple ou double. On trouve trace de ces interfaces imaginaires dans Johnny Mnemonic de Robert Longo ou encore dans Minority Report de Spielberg. Le problème principal pour son développement et adoption reste au final la sueur.
Nintendo met sur le marché son Power Glove en 1987, et le gand connecté a rarement dépassé le stade de gadget pour jeu vidéo. Des projets sont régulièrement proposés par la communauté DIY ou de petites startup.

La détection de gestes
L’autre grand axe de recherche est la reconnaissance de geste par caméra et senseurs divers. La kinect de Microsoft en est la version commerciale la plus connue, d’autant que le flux d’information va être rapidement décrypte par la communauté DIY, intéressé par son prix nettement en dessous des versions professionnelles.
La détection de geste pose de nombreux problèmes car outre le fait qu’il s’agit d’isoler une forme de son fond, à une échelle changeante, il faut ensuite analyser les mouvements pour les transformer en instructions. Les applications en dehors du jeu vidéo sont quasiment inexistantes à ce stade.
La recherche contemporaine dans ce domaine allie des caméras de haute définition et de l’intelligence artificielle pour l’analyse des gestes, mais dans des domaines de surveillance, et pas d’interfaçage. Cepedant, quelques interfaces destinées au grand public se battent encore pour l’atteindre, comme Leap Motion, un petit boitier connecté en USB et vendu à 500.000 unités.

Leap Motion
Leap Motion

Systèmes vocaux

Les années 90 voient aussi fleurir les projets de navigation vocale. C’est dans la téléphonie que son utilisation devient effective le plus rapidement : Il devient possible dès le milieu des années 90 de sélectionner les appels longue distance depuis une cabine téléphonique en donnant le nom d’un ville. Mais ces systèmes peuvent rarement à l’époque dépasser la reconnaissance de quelques mots dans un corpus limité. La reconnaissance doit être entrainée pour pouvoir reconnaitre une voix, sa tonalité et inflexions spécifiques. Les tentatives de dictaphones numériques, capables de transformer la parole en un fichier texte, demande des heures de paramétrage et un apprentissage nouveau de la parole pour l’utilisateur, sous peine de devoir traquer ensuite les homophonies dans le texte produit.
Actuellement la recherche avance à grand pas, mais plutôt dans le domotique domestique, hautement associée à une intelligence artificielle centralisée. Le boitier Alexa, par exemple, ne fait que détecter le son, le compresser et l’envoyer vers les serveurs d’Amazon, qui se charge de toute la partie reconnaissance et traitement de l’information.

L’écran tactile

Les supports tactiles sont en chantier depuis le début des années 70. C’est IBM, en 1972, qui lance le premier écran à reconnaissance de toucher, qui fonctionne avec des leds infrarouge entourant l’écran du PLATO IV. On ne peut toucher qu’un seul endroit à la fois, et la pression n’est pas reconnue.
Les recherches dans les années qui suivent vont donc s’orienter vers la capture de la pression et de la possibilité de détecter plusieurs touchers.
Durant les années 90, de multiples essais, notamment le Newton de Apple, vont se solder par des échecs commerciaux.

Plato IV, 1981
Plato IV, 1981

La première tablette tactile grand public, le GRiDPad de Samsung sera commercialisée en septembre 1989. Elle coute 3000 dollars, et sera surtout employée par la police et l’armée américaine. Il s’utilise avec un stylet spécifique. Techniquement, on est donc proche du pistolet des ordinateurs du système SAGE, qui date de 1956...

Le téléphone portable, qui se popularise dans les mêmes années, ne prend pas le risque du tactile avant les années 2000. C’est véritablement avec le Iphone, en 2007, que la téléphonie mobile va se parer du nom "Smartphone", qui sera rapidement synonyme d’écran tactile. Il s’agit de permettre une navigation au doigt, ce qui pose des problèmes de détection et de précision et a demandé des années de recherches, notamment logicielle pour filtrer les touches parasites.
Le vocabulaire gestuel de ce nouveau type d’interface va être un enjeu fort : il faut que le public puisse rapidement trouver "intuitive" l’accès à l’information après des années de clavier et souris. Les grandes firmes, bien que tentant de breveter les gestes, vont rapidement s’accorder sur le tap, le swipe, le pinch, etc.

Microsoft va se lancer dans le développement du projet Surface en 2009, et arrivera péniblement à commercialiser un premier produit avec stylet en 2012. Si les ambitions sont à l’époque énorme (on peut voir des publicités avec des tables écrans où l’on peut payer en déposant son téléphone sur la surface), la commercialisation est un échec. Le développement va finir par se retrouver dans une gamme plus adaptée au grand public, un ordinateur qui mélange l’usage de l’écran tactile auquel on peut adjoindre un clavier. Le développement de Window 10 a par ailleurs bénéficié de la recherche sur les interfaces adaptées au touch screen.

Microsoft Surface
Microsoft Surface

Dans le courant des années 2010, l’écran capacitif, la puissance des puces et la maturité de l’analyse logicielle permettent de stabiliser la technologie tactile. La baisse rapide des prix et l’appétit du public, associé à l’offre logicielle font décoller les ventes. On est en 10 ans après l’invention du terme "web 2.0" et l’informatique est complètement intégrée aux usages des classes moyennes et populaire, grâce au net et à la consommation de service en ligne. La tablette et le smartphone ne sont pas fait pour le travail d’écriture, et correspondent un usage par cliquer-pointer-glisser d’une informatique de loisir.
Alors qu’on annonce déjà la mort du PC, la vente de tablettes recule déjà depuis 2018.

Développement futurs

Impossible de savoir quel développement en cours va produire les usages communs de demain.
Citons pêle-mêle :
- la recherche des claviers dématérialisés, projetés en laser sur différentes surfaces
- la communication vocale assistée par intelligence artificielle
- l’analyse des comportements (conscients ou inconscients) via l’intelligence artificielle et le big data

Le succès de ces technologies n’est jamais garanti, il dépend des couts de productions, de l’offre logicielle, de l’ergonomie et de la réceptivité du public. Autant de choses impossible à paramétrer.

Un peu plus d’informations

Sur PCWorld.com
Sur ComputerHistory.org