# Partie (III) Synthèse d'une image de posture d'une personne guidée par un squelette
## TP : Synthèse de l'image d'une personne guidée par une posture
**CE SUJET N'EST PAS TERMINE**
**DRAFT**
...
@@ -11,17 +11,17 @@ Ce TP vise à implémenter avec PyTorch le transfert de mouvement d'une vidéo s
...
@@ -11,17 +11,17 @@ Ce TP vise à implémenter avec PyTorch le transfert de mouvement d'une vidéo s
Le papier propose différents points pour améliorer la continuité temporelle et les visages, que nous ne regarderons pas.
Le papier propose différents points pour améliorer la continuité temporelle et les visages, que nous ne regarderons pas.
## Principe
### Principe général
En entrée, il faut une vidéo de la personne cible effectuant quelques mouvements. Remarque : des approches récentes peuvent se contenter d'une seule image, mais l'idée ici est de pratiquer, pas d'être sur le dernier papier existant.
En entrée, il faut une vidéo de la personne cible effectuant quelques mouvements. Remarque : des approches récentes peuvent se contenter d'une seule image, mais l'idée ici est de pratiquer, pas d'être sur le dernier papier existant.
À partir d'une 2e vidéo d'une personne source, l'objectif est de faire effectuer les mouvements de la personne source à la personne cible. Ceci se fait en produisant une nouvelle vidéo, image par image de la personne cible avec la pose/squelette extrait de la vidéo source. Pour extraire le squelette des vidéos, nous utilisons un réseau pré-entraîné avec la bibliothèque [Mediapipe](https://mediapipe-studio.webapps.google.com/studio/demo/pose_landmarker). Le code donné fait déjà ce travail.
À partir d'une 2e vidéo d'une personne source, l'objectif est de faire effectuer les mouvements de la personne source à la personne cible. Ceci se fait en produisant une nouvelle vidéo, image par image de la personne cible avec la pose/squelette extrait de la vidéo source. Pour extraire le squelette des vidéos, nous utilisons un réseau pré-entraîné de la bibliothèque [Mediapipe](https://mediapipe-studio.webapps.google.com/studio/demo/pose_landmarker). Le code donné fait déjà ce travail.
Le modèle de machine learning doit apprendre à partir des images de la vidéo comment produire une nouvelle image de cette personne dans une nouvelle posture donnée en paramètre. Si la vidéo de cette personne est suffisamment riche, et contient toutes les postures possibles, on pourrait simplement rechercher l'image dont le squelette est "similaire" (question 1). Ensuite, on va plutôt chercher à avoir un réseau qui va généraliser. Il sera capable de produire une image, même avec une posture qui n'a jamais vraiment été vue. Nous allons essayer un réseau direct, puis un GAN.
Le modèle de machine learning doit apprendre à partir des images de la vidéo comment produire une nouvelle image de cette personne dans une nouvelle posture donnée en paramètre. Si la vidéo de cette personne est suffisamment riche, et contient toutes les postures possibles, on pourrait simplement rechercher l'image dont le squelette est "similaire" (question 1). Ensuite, on va plutôt chercher à avoir un réseau qui va généraliser. Il sera capable de produire une image, même avec une posture qui n'a jamais vraiment été vue. Nous allons essayer un réseau direct, puis un GAN.
## Le code de départ
### Le code de départ
[Téléchargez l'archive du code initial ici]()
[Téléchargez l'archive du code initial ici]()
Il faut installer les classiques (numpy, pytorch), mais aussi OpenCV (cv2) et mediapipe.
Il faut installer les classiques (numpy, pytorch), mais aussi OpenCV (cv2) et mediapipe.
...
@@ -37,12 +37,40 @@ Les différents fichiers sont les suivants.
...
@@ -37,12 +37,40 @@ Les différents fichiers sont les suivants.
Dans les classes `GenXXX` le cœur du problème est la fonction
Dans les classes `GenXXX` le cœur du problème est la fonction
``` def generator(self, ske): ```
``` def generator(self, ske): ```
qui renvoie l'image de la personne cible avec comme posture le squelette `ske` recu en paramètre.
qui renvoie l'image de la personne cible avec comme posture le squelette `ske` recu en paramètre.
Cette génération se fait à partir du dataset comportant un ensemble de paire (image, squelette).
## Plus proche squelette
### Préparer les données
## Réseau directe
Lancez d'abord le script `VideoSkeleton` qui va produire les images à partir d'une vidéo. Avec les paramètres par défaut, le script produit 1400 images de la vidéo `taichi.mp4` qui comporte 14000 images.
## GAN
### Plus proche squelette
La solution basique est de chercher dans le dataset qu'elle est l'image dont le squelette associé est le plus proche de celui recherché. Ce point se code dans la fonction `GenNearest::generate`. Cette solution n'est pas efficace : consommation, mémoire, recherche qui peut être longue.
### Réseau direct
L'idée ici est d'entraîner un réseau basique qui produit une image à partir du squelette. Le squelette est représenté par un tableau de nombres. Dans le code `Skeleton`, vous pouvez choisir d'extraire le squelette de taille réduite : 13 articulations en 2D. Le réseau peut donc prendre 26 nombres en entrée et produire une image.
### Réseau produisant une image du squelette
Le papier propose de travailler avec une image intermédiaire où le squelette est représenté avec des bâtons. Cette image est simple à obtenir. Dans la classe `Skeleton`, la fonction `draw_reduced` prédit une telle image. Changer le réseau précédent pour qu'il prenne en entrée l'image à la place du squelette.
### GAN
Pour améliorer la qualité du générateur, le papier ajoute un réseau `discrimineur` qui détecte si l'image est une fausse image ou une vraie image. Ce principe est similaire au GAN, même si dans un GAN l'image d'entrée est du bruit.
