COLORFUL SOUND

Le Colorful Sound Glove serait un gant qui permettrait aux personnes aveugles, daltonienne ou encore qui ne vois qu'en noir et blanc de percevoir les couleurs différemment : par le biais du son. Pour cela notre gant disposerait d'un capteur de couleur qui permettrait à ces personnes une fois qu'il touche une couleur d'entendre le son correspondant à celle-ci.

Au départ, nous nous sommes demandé comment permettre aux personnes qui ne voient pas les couleurs, qui n'en ont jamais vu ou qui les confondes, de percevoir enfin ces couleurs. Nous nous sommes rappelé du cours que nous avions eu dans une autre UE de design, celle de prototypage et où nous avions vu le premier homme cyborg, cet homme-là est achromate et c'est créé un dispositif greffé à son cerveau qui lui permettait de percevoir les couleurs qu'il a lui-même imaginée à travers une multitude de sons. Cela nous a inspirés mais nous avons pensé à un dispositif qui ne modifierait pas notre corps, que l'on pourrait mettre ou retirer quand on le voudrait. du coup notre projet s'est porté sur la perception des couleurs par les sons, par le biais d'un dispositif portable et retirable lorsqu'on le veut et discret. De là nous nous sommes posé des questions sur la forme du dispositif, comment le présenter aux personnes concernées, un dispositif adapté aussi, au départ nous étions parti sur un gant mais après discussion avec madame Guenand sur le fait qu'un gant retirerait un sens à une personne qui en a déjà un amoindri, et c'est aussi un dispositif encombrant. Nous avons réfléchi à un autre dispositif qui lui ne retirerait pas de sens du coup notre choix c'est porter sur un bracelet. Ensuite nous avons pensé à un moyen de faire reconnaître les sons associés aux couleurs. pour cela nous avons décidé de faire une vidéo où chaque couleur serait énoncée à la suite du son émis, ce serait un genre de tutoriel ou plutôt un mode d'emploi qui permettrait avant tout de familiariser les personnes avec les associations son-couleur.

L'objectif de ce projet est de permettre à différentes personnes d’interpréter les couleurs à partir d'un son et ce, selon leur imagination. Pour ce projet nous voudrions commencer avec un gant qui capterait 4-5 couleurs voire plus.

Finalement, c'est un bracelet qui capterai 5 couleurs

Pour ce faire, nous utiliserons de l'Arduino, nous aurons besoin d'un capteur de couleur dans notre cas c'est un RGB sensor TCS34725 et d'un buzzer. Nous utiliserons ensuite le logiciel Arduino afin de créer un code qui permettrait qu'à chaque fois que le capteur touche une couleur, un son précis lié à cette couleur sorte du buzzer.

MATÉRIAUX UTILISÉS

  • Découpeuse laser  
  • Arduino nano
  • Buzzer
  • RGB sensor tcs34725
  • Jumper femelle-femelle
  • Ordinateur
  • Planche de bois 3mm
  • Tissus
  • Bouton de pression
  • Colle extra forte
  • Fer à soudé
  • Etain
  • Caoutchouc
  • Feuille A3
  • Batterie externe
  • Languette de sac à dos
  • Papier souple
  • Peinture noir
  • Fil et aiguille
  • Polystyrène
  • PS cristal
  • Pistolet à colle chaude
  • Pistolet à air chaud

LOGICIELS UTILISÉS

Pour le programme

- Arduino

Pour les cartels

- GIMP

- Inkscape

Pour les découpes

- Inkscape

Pour ce qui est des projets de ce type déjà existants, il y a un homme, le premier cyborg humain un Suédois du nom de Neil Harbisson, qui s'est greffé un système, composé d'une puce et d'un capteur de couleur et qui lui permet d'entendre les couleurs grâce à la puce.

Il lui suffit de mettre un objet devant le capteur qui se situe au-dessus de sa tête pour qu'un son soit émis et qu'ils perçoivent les couleurs. Cet homme à un défaut de la vision, il ne voit qu'en noir et blanc.

L'oeil humain perçoit les couleurs grâce à des cellules photosensibles aux couleurs qui sont les cônes et d'autres cellules photosensible mais cette fois à la lumière grâce aux bâtonnets. Chez les personnes atteintes de daltonisme par exemple, c'est une déficience au niveau d'un des cônes de la rétine qui fait qu'ils ne perçoivent pas toutes les couleurs. Chez les personnes atteintes d'achromatopsie, comme le suédois, les cônes sont complètement atrophiés.

Nous nous sommes posé la question à savoir comment faire percevoir les couleurs par le biais d'un dispositif simple d'utilisation à des personnes présentant des déficiences oculaires.

Nous avons donc commencé par dessiner un peu le dispositif que nous imaginions à savoir un gant et où serons placés le capteur ainsi que l'Arduino.

Le capteur serait placé au niveau de l'index, et l'Arduino serait caché à l’intérieur du gant. Pour l'instant nous sommes en train de travailler sur le code car nous ne savons pas exactement comment le programmer.

Nous avons commencé à taper le code qui serait nécessaire à notre dispositif, en s'aidant des informations sur le capteur de couleur et le buzzer, nous avons fait face à de petits problèmes. Tels que la non-détection de certaines couleurs, trouver les données exactes de chaque couleur que le capteur détecte, arrêté le son du buzzer.

Nous avons continué à chercher le code, qui ne fonctionnait pas du tout car nous n'avions pas la bibliothèque adaptée à notre capteur de couleur du coup nous avons dû l'inclure au logiciel arduino et le mettre dans notre code afin qu'il soit pris en compte. De là, nous avons lancé un fichier exemple, qui à fonctionner du coup nous avons pu commencer à taper le code. Il a fallu se renseigner sur les branchements du capteur de couleur en faisant des recherches, une fois notre capteur de couleur et notre buzzer branché, nous avons lancé le code que nous avons tapé. Notre capteur détectait les couleurs rouge, jaune, verte et bleu et de là un son était à chaque fois associé à la couleur détectée.

Branchement du capteur de couleur à l'arduino

Nous avons vu ce jour-là notre professeur de design, nous avons discuté avec elle de l'avancée de notre projet et de la forme qu'il aurait: le gant. De là, madame Guenand nous a donné quelques conseils, du fait que le gant enlèverait un sens (le toucher) à une personne qui possède déjà une déficience oculaire (donc problème à un sens: la vue) ou qui ne vois pas. De là nous nous sommes posé la question savoir trouver un dispositif qui n'enlèverait pas de sens à la personne et lui permettrait tout de même de détecter les couleurs, nous avons donc pensons à un bracelet sur lequel seront posés le capteur de couleur et le buzzer, le capteur se retirerait du bracelet pour ce placer sur l'index et ainsi détecté les couleurs. Nous avons donc dessiné le bracelet que nous imaginions.

Dessin du Bracelet imaginé

Au départ nous étions sur un Arduino Uno de base, avec une breadbord mais ce dispositif était trop gros pour un bracelet. Du coup nous avons décidé de faire les branchements sur un arduino plus petit ou la breadbord ne serait pas nécessaire, nous avons donc pris un arduino nano. Nous avons lancé le programme sur l'arduino Nano et notre dispositif fonctionnait toujours. De là nous avons aussi réfléchi à un moyen de mettre notre bracelet sur batterie et non à brancher sur l'ordinateur.

Arduino utilisé pour notre projet

Nous avons pris une batterie de 11.1 volt, et essayez de brancher notre Arduino à la batterie. l'arduino s'allumait correctement, nous avons ensuite réfléchi à un moyen de tout relié à l'arduino pour cela nous avons dû faire quelque soudure pour relier le ground (-) du buzzer au ground du capteur, nous avons rallongé les fils de chaque composante afin qu'une fois branché à l'arduino et à la batterie le tout aille dans la poche et que notre mouvement ne soit pas encombré.

Fer à souder utilisé pour nos soudures

Etape de soudure

Nous avons découpé le bracelet en bois à la découpeuse laser, nous avons ensuite recouvert le bois de tissu, ce qui a légèrement rigidifié le bracelet, puis nous avons essayé d'intégrer des boutons de pressions au bracelet en les collants mais sans succès. Nous avons aussi découpé une boîte dans laquelle il y aurait l'arduino ainsi que deux petites boîtes dans les qu'elles ont mettrait le buzzer et le capteur de couleur.

Bracelet en bois découpé au laser

Bracelet recouvert de tissus

Boite découpé afin de ranger l'arduino et le capteur à l'interieur.

Nous avons essayé de coudre les boutons de pressions au bracelet mais ça c'est avéré impossible car le tissu était déjà bien collé au bracelet en bois. Une fois nos soudures terminées nous avons décidé de vérifier que tout fonctionnait. Malheureusement branché à la batterie, le capteur de couleur s'allumait mais ne détectait rien et le buzzer ne sortait aucun son, la carte chauffait donc nous l'avons enlevé de la batterie. Du coup nous avons essayé de branché tout ça à l'ordinateur et sur secteur afin de voir si tout fonctionnait et effectivement le capteur et le buzzer réagissaient. c'est peut-être donc dû à la batterie qui alimentait en 11.1 volt, il faut savoir que l'arduino nano peut être alimenté entre 6 et 20 volts ou en 5V (alimentation par ordinateur), il se peut aussi que cela est dû à un pin non fonctionnel (celle du buzzer la 13). Nous avons donc décidé d'essayer de changer de pin et de la mettre sur une PWM () si ça ne fonctionne toujours pas, nous essaierons avec une alimentation moins forte que la batterie de 11.1 V.

Finalement, nous avons recommencé le bracelet, nous avons retiré le bois, et utilisé un papier souple ainsi qu'une languette de sac à dos, nous avons cousu ensuite les boutons sur le bracelet. Nous avons changé l'idée de boitier pour le capteur car il était beaucoup trop encombrant, du coup nous l'avons réalisé à l'aide de polystyrène et de plastique rigide = PS cristal, puis nous avons tout peint en noir et assemblé. Enfin nous avons pu re-tester. Au final, nous utiliserons une batterie externe avec laquelle nous chargeons nos téléphones, pour alimenter notre projet.

Bracelet une fois recouvert de tissus et avec les boutons de pressions.

Bracelet assemblé et terminé.

#include "Wire.h"
#include "Adafruit_TCS34725.h"
Adafruit_TCS34725 tcs = Adafruit_TCS34725(TCS34725_INTEGRATIONTIME_50MS, TCS34725_GAIN_1X);
const byte PIN_BUZZER = 13;
void setup() {
Serial.begin(9600);
pinMode(13, OUTPUT); 
 Serial.println("== Début du programme ==");
}

void loop() {
  uint16_t clearcol, red, green, blue;
float average, r, g, b;
tcs.getRawData(&red, &green, &blue, &clearcol);
 
average = (red+green+blue)/3;
r = red/average;
g = green/average;
b = blue/average;
Serial.print("\tLUX:"); Serial.print(clearcol);
Serial.print("\tROUGE:"); Serial.print(r);
Serial.print("\tVERT:"); Serial.print(g);
Serial.print("\tBLEU:"); Serial.print(b);// put your main code here, to run repeatedly:

if ((r > 1.4) && (g < 0.9) && (b < 0.9)) {
  Serial.print ("\tROUGE");
  tone(13, 523.25);
  delay(100);
}
else if ((r < 0.95) && (g > 1.4) && (b < 0.9)) {
  Serial.print("\tVERT");
     tone(13, 554.37);
     delay(100);
}
else if ((r < 0.8) && (g < 1.2) && (b > 1.2)) {
  Serial.print("\tBLEU");
  tone(13, 587.33);
  delay(100);
}
else if ((r > 1.4) && (g < 1.0) && (b < 0.7)) {
  Serial.print("\tORANGE");
  tone(13, 622.25);
  delay(100);
  
}
else if ((r > 0.73) && (g < 1.24) && (b < 1.03)) {
  Serial.print("\tCOULEUR NON DETECTE");
  noTone(13);
  delay(100);
}
else if ((r > 0.17) && (g < 1.29) && (b < 0.56)) {
  Serial.print("\tJAUNE");
  tone(13, 698.46);
  delay(100);
}
else if ((r > 1.27) && (g < 0.63) && (b < 1.11)) {
  Serial.print("\tVIOLET");
  tone(13, 830.61);
  delay(100);
}
else{
  Serial.print("\tVERT FONCE");
  tone(13, 659.26),
  delay (100);
}
Serial.println("");
  delay (100);
}

L'expérience qu'on l'on souhaite faire vivre aux personnes qui utiliseront notre dispositif, est une expérience nouvelle, un moyen de percevoir des choses qu'ils n'arrivent pas à percevoir, nous voulons leur faire travailler leur imagination en interprétant une couleur par un son, ils auraient par là une vision propre à eux-mêmes de la couleur qu'ils entendraient du coup et non verraient. Notre dispositif n'est pas un moyen de substitution de la perception par la vue, mais plutôt un dispositif qui suppléerait à la vue. Les sujets coloreraient donc le monde a leurs façons.

L’œil est l’organe de la vision, il nous permet de capter la lumière et ainsi de distinguer formes et couleurs. La rétine possède des récepteurs qui permettent de décomposer les informations lumineuses en signaux électriques, alors envoyés au nerf optique (2ème nerf crânien/nerf sensitif). Ces récepteurs sont des photorécepteurs. Il en existe 2 types : les cônes et les bâtonnets. Les cônes existent sous trois formes : rouge, vert et bleu. Ils décomposent la lumière en couleurs. Les bâtonnets sont plus sensibles que les cônes mais ne permettent pas de distinguer les couleurs. Les images se forment sur la rétine, nous percevons des images par le biais de rayons lumineux. Avant d’atteindre la rétine, les rayons lumineux traversent les milieux transparents de l’œil : la cornée, l’humeur aqueuse, le cristallin et l’humeur vitrée.

Schéma de l'œil

Schéma représentant les photorécepteurs de la rétine

Chez les personnes atteintes d'achromatopsie, ce sont les cônes de la rétine qui sont atrophiés, ce qui fait que leur vision est uniquement en noir et blanc.

Simulation de la vision d'un achromate

Chez les personnes atteintes de daltonisme, le problème est dû à une déficience d'un des trois types de cônes, ce qui fait que leur vision des couleurs est altérée.

Simulation de la vision d'un daltonien deutéranope (absence dans la rétine des cônes de réception au vert)

Cette année nous avons eu l'occasion d'assisté à des cours sur la perception tenue par Charles Lenay et Gunnar Declerck, ce qui nous a permis de mieux comprendre ce qu'est la perception et nous a aidé à avancé dans nos projets. Nous avons aussi eux l'occasion d'assister à une exposition au Palais de la Découverte nommée "Illusions" certaines expérience nous ont inspirés pour notre projet.

La notion de perception est le rapport de l'homme avec le monde extérieur, c'est l'activité à travers laquelle un sujet fait l'expérience d'objet ou encore de propriétés présentes dans son environnement. Cette notion de perception renvoie au fait où l'individu a connaissance du monde qui l'entoure grâce aux informations transmises par ses organes sensoriels. Toutes les informations fournies par nos sens sont traitées par le cerveau. Pour identifier des objets ou bien des personnes, le cerveau les associe à ceux qui ont déjà un sens pour lui, en utilisant les connaissances stockées dans sa mémoire. Il est possible que l'information transmise par les sens soit interprétée de plusieurs façons différentes et ainsi le cerveau s'appuie sur l'hypothèse la plus probable.

Le cerveau se fie aussi à son expérience pour préciser ce qu'il est en train de percevoir : les dimensions, les distances, les poids etc. Il corrige les informations reçues par les sens par le biais de la mémoire. Certaines régions du cerveau se spécialisent dans la combinaison des informations fournies par tous nos sens ce qui permet une perception riche et intègre du monde qui nous entoure. Pour mieux illustrer ce phénomène de combinaison des sens, l'expérience "les sens s'entremêlent" du Palais de la Découverte, propose dans une première étape à regarder tout en écoutant la vidéo d'une personne répétant plusieurs fois la même syllabe. La seconde étape est d'écouter à nouveau en fermant les yeux. Résultat : les yeux fermés on entend la prononciation d'une seule syllabe et une fois les yeux ouverts on a l'impression d'entendre deux syllabes différentes prononcées. Cet exemple montre que la combinaison des sens va entrainer une modification de la perception.

Il est important de faire la différence entre la sensation et la perception. La sensation est avant tout une impression reçue par no sens : la vue, le toucher, l'ouïe, le goût et l'odorat. Dans un premier temps, les informations sensorielles vont être transmises au cerveau via les nerfs puis, un second temps, l'individu va établir un jugement en fonction de cette sensation. Il est donc nécessaire d'être conscient pour percevoir. La confrontation avec les données d'un questionnaire montre que la perception de la distance par exemple, paraît plus longue selon l'effort que le sujet fournit par rapport aux nombres de virages. C'est aussi le cas du temps qui paraît plus long si la tâche est ennuyeuse ou très peu variée, si l'attention est portée sur la vitesse de l'écoulement du temps, si le sujet est passif, si l'activité n'est pas familière

Nous avons vu que la perception n'est pas une chose qui nous arrive, mais une chose pour laquelle on agit. Il faut une action pour pouvoir percevoir, il est nécessaire d'être en action pour percevoir. Nous avons aussi vu la notion de substitution sensorielle qui en réalité est une suppléance sensorielle, on ne remplace pas on supplée.

Inspiration Exposition Illusions Palais De La Découverte

Nous avons eu l'occasion d'assisté à une exposition au palais de la découverte sur le thème des illusions, les différentes expériences présentées étaient censées tromper nos sens, l'exposition était organisée en 4 modules qui présentaient les différents types" de cerveau: "le cerveau sensible", "le cerveau interprétatif", "le cerveau sélectif", "le cerveau expert". Certains modules nous ont inspirés pour notre projet comme le module " cerveau expert" qui présentait une expérience nommée sens combinés, cette expérience consiste à regarder une vidéo tout en écoutant le son dans un premier temps, puis dans un second temps fermer les yeux et écouter la vidéo de nouveau. Dans cette vidéo on pouvait voir une personne répéter plusieurs fois la même syllabe. Quand on fermait les yeux on entendait cette personne répéter une seule syllabe alors qu'avec les yeux ouverts en même temps on avait l'impression que cette personne répéter deux syllabes différentes. Ce module du "cerveau expert" est inspirant du fait qu'il nous fait effectivement réfléchir à la combinaison de deux sens qu'aura notre dispositif, combinaison toucher-ouïe

Expérience sens combinés

Un autre module inspirant était le module "cerveau interprétatif, dans celui-ci la il y avait une expérience qui proposait une image qui représentait une sorte de serpent qui avait plusieurs serpents superposé les uns sur les autres. L'objectif ici, était de regarder l'image puis interpréter le nombre de couleurs différentes qu'on percevait. Trois couleurs différentes étaient exposées : rouge, jaune et bleu. Ainsi, on a vu qu'il y avait une superposition des couleurs. Dans certaines situations on va avoir tendance à voir les couleurs autrement, l'expérience était nommée "voisins influents", ce module était inspirant pour nous car ce module nous pousse à réfléchir aux contraintes de notre projet dans le sens où on pourrait se demander comment notre projet réagirait à une superposition de couleur comme dans l'expérience citée.

Expérience voisins influents

Pour faire nos cartels on a dû utiliser l'outil de modifications d'images GIMP qui a fait l'objet d'étude dans une UE design en L2.

Nous voulions un cartel avec un certain sens en exposant à la fois les problèmes rencontrés par les sujets concernés mais aussi la solution apportée par l'objet crée.

La première affiche se divise en 3 parties : deux parties grisées sans couleur qui englobe les côtés périphériques de l'arbre et une partie colorée qui recouvre le centre de l'arbre.

L'effet recherché était de créer une affiche qui rassemble un ensemble d'environnements perçu différemment en fonction des dysfonctionnements liés aux couleurs. Ainsi les 2 parties périphériques représentent la perception en noir et blanc qu'aurait un sujet atteint d'achromatopsie.

La partie centrale a un double sens, c'est-à-dire qu'elle expose la solution apportée par l'objet qui est une vision en couleur via le son et un peu d'imagination mais aussi le problème associer aux personnes atteintes de daltonismes ou cette fois-ci le sujet ne va pas percevoir cet arbre censé être vert de la bonne couleur.

Pour aller plus loin et bien faire comprendre notre idée, on a décidé de placer le titre et les phrases d'accroches d'une certaine façon, à la limite entre l'environnement grisé et l'environnement en couleur. De cette façon on comprend rapidement le choix de ce contraste.

L'arbre représente à la fois l'évolution progressive et la beauté d'où ce choix

Nous n'avons pas réussi à télécharger la première typo que nous voulions pour cette affiche, on a dû trouver une autre typo toujours dans le sens du « son » qui est la base de notre objet.

Dans la seconde affiche on a décidé de faire quelque chose de léger comme une sorte de poésie car la solution apportée par notre objet leurs permettraient de percevoir les choses différemment, d'une multitude de façon en créant leurs propres mondes, leurs propres histoires. Pour aller dans le sens de la première affiche on a placé comme motif des feuilles d'arbres multicolores car ce sont les sujets qui décident avec leur imagination de leur attribuer une couleur. On a décidé de ne pas reprendre la même typo utilisée pour le titre car elle est assez lourde et on ne comprend pas forcément ce qui est écrit quand elle est utilisée sous forme de paragraphe. On a donc choisi une typo qui ferait penser à une poésie.

Nous voulions faire des cartels en bois avec une écriture en braille pour les personnes non voyantes, mais malheureusement le temps nous a manqué ainsi que le fait que la découpeuse laser a été très utilisée et le filtre a fini par être plein.

Voici les fichiers SVG crées pour notre dispositif, ce sont les dessins vectoriels de toutes nos découpes.

Plan de nos boites en format .png et .SVG la boite pour l'arduino était de 5cm par 3cm avec une hauteur de 3cm celle de l'arduino et du buzzer étaient de 3cm par 3cm par 3cm

Plan de notre bracelet au format .png et .SVG le bracelet fait 25cm par 3cm