Euuhh

Code et présentation
https://github.com/ryarnyah/devoxx-euhh (ou https://tinyurl.com/devoxxeuhh)

Qui sommes nous


Pierre Morvan @ryarnyah 🏢 Zenika Paris	Louis Tournayre @_louidji 🏢 Zenika Lyon

🔥 nos domaines c’est le dev Back, le “DevOps”, pas l’IA…. (ni le dev Front) 🔥

Et on a pas vocation de faire ...

LOUIS
Mais alors pourquoi un talk à propos d'IA?
Et bien il y a quelques mois, Pierre et moi parlions des discours et des tics de langage, et du fait que n'ayant plus personne en présentiel nous manquions de feedback.
A défaut de trouver une réponse à votre absence, nous nous sommes dit: "Et si nous utilisions un système de reconnaissance vocale pour nous signaler nos tics de langage ?"
PIERRE
Vous imaginez bien que nous avons sauté sur l'idée pour en faire un abstract, s'amuser, apprendre, prototyper et maintenant partager.
C'est pour cela que nous allons vous parler de réseaux de neurones, de la "représentation" du son sous forme d'images et que nous aurons un (ou plusieurs) tics du langage qui viendra jouer les troubles-fêtes dans notre présentation.
Comme c'est plus YOLO, nous utiliserons cette présentation en guise de démo. Nous allons commencé par vous présenter les outils que nous avons utilisé pour faire du machine learning.

Teachable & under the hood => Keras/Tensorflow

Zoom sur les réseaux de neurones

Principes réseaux de neurones

LOUIS
Voici un exemple très grossier de reconnaissance de certains fruits.

Nous avons différents composants que appellerons neurones.
Chaque neurone va être spécialisé
Il va recevoir une ou plusieures informations en entrée et va renvoyer une autre information ou pas d'information du tout.

Dans notre exemple de la banane, une première couche (ou layer) de neurone est spécialisée dans la couleur reçoit l'image de la banane, seul le neurone jaune transmet un message aux neurones suivants.
Puis les neurones de forme reçoivent ce même message et seulement 2 neurones renvoient un autre message au système de classification.

Le système de classification va à partir des messages reçus dire que cet objet de couleur jaune ayant la forme d'un demi-cercle et d'un triangle est une banane.

THE neurone

L'entraînement & backpropagation

L'augmentation de données

La voix dans ce modèle

Voix, sa représentation et pourquoi

Convolutional Neural Networks (CNN)

CNN ⊆ Deep Learning

DL ⊆ Machine Learning

ML ⊆ Artificial Intelligence

Explication du flux de traitement

LOUIS
Comme l'a expliqué Pierre nous allons analyser le son en utilisant sa représentation sous forme d'image.

(+)Ces images sont transformées et arrivent au fil de l'eau. Elles sont ajoutées à une sorte de ruban visuel.
La section de fin de ce ruban est analysé en permanence pour rechercher nos motifs visuels qui correspondent au "Euhh" (et autres patterns classifiés). L'analyse est sur un motif suffisamment large pour prendre un "euhh" long sinon j'aurai des alertes à chaque fois que je dis cheveu ou pneu ou...
Cette analyse est donc faite sur une sort de fenêtre glissante sur notre ruban, avec une fenêtre de la même taille que le motif de notre modèle (même si on peut "tricher")

(+) Et donc si le "motif" "euhh" est détecté alors je peux déclencher mon affichage du Euhh.

[Suite: "et nous allons justement voir comment nous affichons dans nos slides le euhh une fois qu'il a été repéré"]

Du “euhh” entendu à 🐮, c'est 🤪 time

Intégration dans le browser

revealjs pour les slides au format web
tensorflow.js pour utiliser le modèle généré
et un peu de html et javascript pour lier cela

Mise en place de Tensorflow.js

Un "header" pour afficher les tics détectés

Durant de cette présentation

Aucun animal et aucun émoji n'ont été maltraités 💚

Et pour bien finir, votre demo

Teachable Machine

Un autre exemple d'usage : une web cam virtuel avec des Euhhhh

Tips www.tensorflow.org/hub/

🙏 ❓

Références

Exemple classification audio avec keras
https://www.tensorflow.org/tutorials/audio/simple_audio
Repos du code
https://github.com/ryarnyah/devoxx-euhh
Présentation online
https://ryarnyah.github.io/devoxx-euhh/
Backpropagation
https://www.youtube.com/watch?v=Ilg3gGewQ5U
TeachableMachine
https://teachablemachine.withgoogle.com/
OBS / MachineLearning
https://thecodingtrain.com/CodingChallenges/157-zoom-annotations.html