Présentation du projet

Et oui, on y est, l'ère où les robots remplacent les hommes. Les médiateurs du Fablab n'y coupent pas. Une petite télévision, venue tout droit de l'espace, débarque au Fablab et entend bien faire régner l'ordre. De l'espace ? L'allure de cosmonaute qu'elle affiche ne dupe personne et son look rétro a bien vite fait de nous renseigner sur sa véritable identité : ce n'est qu'un vieux téléviseur des années 70. Du moins, en apparence...

Objectif du projet :

L'objectif du projet est de réaliser un petit robot pour l'accueil des visiteurs du Fablab.

Il assurerait différentes fonctions :

Animation du FabLab
Information des visiteurs
Appel des Médiateurs

Cahier des charges :

Fonctions
FP1	Détecter l'arrivée de nouveaux visiteurs	Reconnaissance faciale/forme humaine
FP2	Interagir oralement avec un utilisateur sur la base de questions fermées => demander de répondre par oui ou non !	Reconnaissance vocale/micro	Oui/Non Yes/No
FP3	Effectuer des mouvements de rotation autour de sa base ( tête indépendante )	Motorisation de la base	Axe Z : 360°
FP4	Avoir différents modes de fonctionnement	Logiciel	Actif Pause Gentil/méchant
FP5	Emettre un signal sonore caractéristique audible dans tout le FabLab pour prévenir les médiateurs	Système de haut-parleur	Combien de DB ?
FC1	Tenir sur le comptoir à l'accueil du FabLab	Dimensionnement	Longueur : 30 cm Largueur : 30 cm Hauteur : 50 cm Taille de la télé ( 20x20x35)
FC2	Être nomade, facilement déplaçable et transportable	Dimensionnement,
FC3	Être alimentée électriquement	Branchement secteur ou batterie rechargeable ou charge induction	Volt, Ampère ?
FC4	Ne pas être trop énergivore	Consommation électrique/flux de données et Optimisation
FC5	Pouvoir être mis à jour et fonctionner de façon autonome	Connecteur USB / Logiciel

Une idée : servir de moniteur "design" = mode de fonctionnement

En mode moniteur : un mode veille = il ferme les yeux et dors, ouvre parfois un œil, baille ... : si mouvement de souris détecté, sortie du mode veille.

Oui mais l'idée n'est pas vraiment de créer un Périphérique. C'est plutôt de créer un système embarqué AUTONOME qui pourra être facilement déployé dans les quatre coins du Fablab pour pouvoir servir, par exemple, de bornes d'information pour les utilisateurs.

Alors dans ce cas =>affichage de l'écran stream ? Trop énergivore ...

Ou bien ! => modem ?

Modem-routeur : wifi ?

Mode robot activé

Si bornes d'information : connexion à un serveur et envoie de requêtes

=> Base de données / ChatBot

Prototype 0

Scénario :

Les médiateurs Fablab ne sont pas présents à l’accueil, le mode "Actif" est activé.

Un visiteur entre au FabLab.

Le Robot :

-Bonjour, bienvenu(e) au FabLab, êtes-vous enregistré(e) ?

-Oui/Non

Si oui : demandera dans une version ultérieure si l'utilisateur a besoin d'information.

Si non : siffle pour appeler un médiateur FabLab

Comment mettre à jour un système embarqué

Plan d'action :

Définir le besoin du client et construire un cahier des charges.
Valider le cahier des charges.
Effectuer une recherche biblio, solution open source
Déterminer le type de caméra à utiliser ( module intel kinect module 2 caméra : prétraitement du signal ? )
Identifier les différentes composantes du système et leurs fonctions.
Prévoir un dispositif de mises à jour du logiciel embarqué
Demander des idées => faire une affiche !! ( QR code, questionnaire ) : recruter des talents

Matériel et pré-requis :

- Hardware/Software ?

- optimisation => Justification des choix !!!

- Python ou C++ ?

langage assembleur ?

- écran LCD couleur pour visage

- motorisation : Arduino/raspberry ( latence ? )

- intégration du wifi ? communication via le réseau ?

- écran tactile => configuration/personnalité

- système de chargement batterie ? secteur ?

- système embarqué : raspberry pi

- Le design : celui de la télé mais pas la télé !!!

GNU/linux ou Raspberry Pi OS ( ex-raspbian )

Inventaire et estimation des coûts

Matériel	Fonction	Disponibilité	Coût	Autres infos
Arduino UNO	Motorisation	OUI? - Magasin Fablab	/	Rupture de stock ?
Raspberry Pi (Linux?)	Système embarqué	OUI	/	Quel modèle pour notre utilisation ? Raspberry Pi 4 modèle B ?
Caméra Module 2 8MP	Reconnaissance facial	OUI - Magasin Fablab	/	Fonctionne avec Raspberry Pi
Écran LCD Couleur Tactile	Visage, configuration/personnalité	NON
Moteur Pas à Pas	Motorisation	OUI	/	Fonctionne avec Arduino
Batterie	Energie électrique

Budget prévisionnel

Schéma de fonctionnement

Important ! Système de ventilation => éviter la surchauffe

-> raspberry !

Le DESIGN :

Inspiration

Soit le design de la Télé mais comment faire ?

Soit, inventer un design : demander des idées

-> Faire ce qui est possible au fabLab et qui rentre dans le budget

-> Inclure tous les systèmes à l'intérieur

Schématiser les différents design et les assembler comme un puzzle

Possibilité de cacher des systèmes dans la base : attention aux dimensions !

Pour la base de données :

conserver les questions posées sans réponse pour les ajouter à la base de données

est-ce que j'ai répondu à vos atteintes ? Non -> appel des médiateurs

Carnet de bord :

04/12/2024 : Définition des objectifs et des limites du projet. Première ébauche du cahier des charges
18/12/2024 : Etude bibliographique
06/01/2025 : Etude bibliographique, inventaire du matériel nécessaire et disponible, diagramme.
08/01/2025 : Finalisation du cahier des charges.
13/01/2025 : Répartition des tâches et budgétisation.

Vers l'infini et au-delà

afficher les utilisateurs dont le wiki n'est pas à jour
Un système de badges des cartes étudiantes ? => problème concernant la confidentialité des données
full système de communication ( GPT )
serveur déporté/renvoie de requête
système LoRaWAN ( antenne radio ) => biper les emplois étudiants ! Si un robot n'a pas réussi à répondre à la demande de l'utilisateur ( composante RF radiofréquence )

Spécificité plus techniques liées à l'optimisation :

- temps d'exécution des tâches

Choix d'un nom ?

Le FabBOT

Comments Alex:

Il faudrait commencer à réaliser des essais et tenter d'avoir un Minimum Viable Product afin d'avoir une 'base' sur laquelle itérée (il y aura d'autres problématiques que nous allons découvrir). Commencer avec quelque chose de très basique et ensuite itérer et améliorer, pas essayer d'avoir le produit final parfait au premier coup. Laisser l'esthétique et optimisation pour la fin, pas pour le début;

Il serait intéressant de commencer par exemple par tester YOLO, qui peut être utilisé localement (Python) et qui est utile pour la détection visuelle.

Ensuite il est possible d'interfacer avec une carte ESP32 via le port serial et on pourrait connecter des moteurs à une caméra et faire du tracking en temps réel. Cela peut être intéressant également pour la partie de reconnaissance vocal (on peut directionner le micro par exemple...).

L'ESP32 peut créer voir se connecter à un réseau wifi, donc pas besoin de LoRA. Les ESP-XIAO sont très petit, peut coûteux et peuvent être un choix sensé.

-> les ESP peuvent être des clients dans le serveur et recevoir les fameux pings quand quelqu'un est à l’accueil par exemple.

Ensuite le code Python peut interfacer, une fois il détecte quelqu'un, avec un modèle entraîné pour la partie de reco. vocal, et l'activer...

Une fois ceci réalisé, il serait désormais, et pas avant (à mon avis), une bonne idée de s'interroger sur la partie esthétique du projet/ produit final...

Premier essais:

tracking avec YOLO et sortie avec serial connecté à un arduino uno.

code: https://github.com/alexcrrera/fablabBot/blob/main/fabu.py

Le centre relatif de la détéction (le point rouge) est envoyé à l'arduino pour centrer la caméra. Il faudrait trouver une webcam et faire un support avec les servomoteurs du fablab (ceux qui sont labellés "servo ++", les "bleus" ne sont pas du tout suffisament puissant.