Prenez le contrôle de Kinect pour Windows SDK (Beta) - PowerPoint PPT Presentation

Prenez le contr le de kinect pour windows sdk beta
Download
1 / 33

  • 63 Views
  • Uploaded on
  • Presentation posted in: General

Prenez le contrôle de Kinect pour Windows SDK (Beta). Agenda. SDK & Architecture Buffer vidéo Buffer de profondeur Suivi de squelettes Gestion du son. SDK. Développé par Microsoft Research Utilisation non commerciale uniquement Windows 7 uniquement x86 x64 Managed et C++.

I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.

Download Presentation

Prenez le contrôle de Kinect pour Windows SDK (Beta)

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Prenez le contr le de kinect pour windows sdk beta

Prenez le contrôle de Kinect pour Windows SDK (Beta)


Agenda

Agenda

  • SDK & Architecture

  • Buffer vidéo

  • Buffer de profondeur

  • Suivi de squelettes

  • Gestion du son


Prenez le contr le de kinect pour windows sdk beta

SDK

  • Développé par Microsoft Research

  • Utilisation non commerciale uniquement

  • Windows 7 uniquement

    • x86

    • x64

  • Managedet C++


Architecture

Architecture


Prenez le contr le de kinect pour windows sdk beta

SDK

  • 3 flux disponibles

    • Image

    • Profondeur

    • Audio

  • Librairie NUI (Natural User Interface)

    • Détection automatique

    • Learning machine


Prenez le contr le de kinect pour windows sdk beta

SDK

using Microsoft.Research.Kinect.Nui;

using Microsoft.Research.Kinect.Audio;

kinectRuntime = new Runtime();

kinectRuntime.Initialize(RuntimeOptions.UseDepthAndPlayerIndex | RuntimeOptions.UseSkeletalTracking | RuntimeOptions.UseColor);


Initialisation du sdk

Démonstration

Initialisation du SDK


Agenda1

Agenda

  • SDK & Architecture

  • Buffer vidéo

  • Buffer de profondeur

  • Suivi de squelettes

  • Gestion du son


Buffer vid o

Buffer vidéo

  • Résolutions :

    • 640x480

    • 1280x1024

  • Formats :

    • RGB

    • YUV

  • Données fournies au travers d’un stream

  • Evénementiel / Pooling


Buffer vid o1

Buffer vidéo

public class ColorStreamManager

{

public BitmapSourceColorBitmap { get; private set; }

public void Update(ImageFrameReadyEventArgs e)

{

PlanarImage Image = e.ImageFrame.Image;

ColorBitmap = BitmapSource.Create(Image.Width, Image.Height, 96, 96, PixelFormats.Bgr32, null, Image.Bits, Image.Width * Image.BytesPerPixel);

}

}


Affichage du flux video

Démonstration – Kinect Light Sabre

Affichage du flux video


Agenda2

Agenda

  • SDK & Architecture

  • Buffer vidéo

  • Buffer de profondeur

  • Suivi de squelettes

  • Gestion du son


Buffer de profondeur

Buffer de profondeur

  • Résolutions

    • 320x240

    • 80x60

  • Données sous forme de stream

  • Evénementiel / Pooling

  • Stockage sur 13 bits

    • 10 bits pour la distance en millimètres depuis le capteur

    • 3 bits pour donner l’index de la personne reconnue


Affichage du flux de profondeur

Démonstration – Kinect Keyboard Simulator

Affichage du flux de profondeur


Agenda3

Agenda

  • Architecture

  • Buffer vidéo

  • Buffer de profondeur

  • Suivi de squelettes

  • Gestion du son


Suivi des squelettes

Suivi des squelettes

  • Reconnaissance immédiate

  • Evénementiel / Pooling

  • 4 squelettes détectés

    • Chaque squelette donne sa position


Suivi des squelettes1

Suivi des squelettes

  • 2 squelettes suivis (tracked)

    • Liste de joints (points de contrôles)

    • Chaque position donne également sa qualité (.w entre 0 et 1)

    • Notion de TrackingID


Points de contr les

Points de contrôles


Suivi des squelettes2

Suivi des squelettes

  • Service de filtrage des données

    • Correction

    • Lissage

kinectRuntime.SkeletonEngine.TransformSmooth= true;

varparameters = new TransformSmoothParameters

{

Smoothing = 1.0f,

Correction = 0.1f,

Prediction = 0.1f,

JitterRadius = 0.05f,

MaxDeviationRadius = 0.05f

};

kinectRuntime.SkeletonEngine.SmoothParameters= parameters;


Suivi du squelette

Démonstration - Kinect Keyboard Simulator

Suivi du squelette


Agenda4

Agenda

  • Architecture

  • Buffer vidéo

  • Buffer de profondeur

  • Suivi de squelettes

  • Gestion du son


Gestion du son

Gestion du son

  • Kinect c’est aussi:

    • Un groupe de 4 microphones (Microphone array)

    • Des algorithmes de

      • Réduction du bruit ambiant

      • Annulation de l’écho

    • Beamforming :

      • Trackingde la source sonore

    • Compatible avec Microsoft Speech API


Pour aller plus loin

Pour aller plus loin

  • http://msdn.microsoft.com/fr-fr/windows/sdk-kinect

  • http://blogs.msdn.com/b/eternalcoding/archive/2011/06/14/fr-prenez-le-contr-244-le-avec-kinect-pour-windows-sdk.aspx

  • http://channel9.msdn.com/coding4fun/kinect

  • http://msdn.microsoft.com/fr-fr/windows/sdk-kinect


Programme de l apr s midi

Programme de l’après-midi

  • Kinect2D et détection de la main

    • Mitsu Furuta / SENSORIT

  • Applications Kinectées, l’interaction à portée de main

    • Thierry Bouquain & Pierres-Yves Gardette / UCAYA

  • Intégration de Kinect SDK pour le pilotage dans une scène 3D temps réel

    • Benoit Laut / BEWISE

  • Kinect, Squelette et animations 3D

    • Simon Ferquel / INFINITE SQUARE

  • Une vision de la visio-conférence du futur

    • Niels Freier / WYGWAM

  • Ardrone& Kinect

    • Niels Freier & Mickael Thumerel / MS LABS EPITECH

  • Bière/Pizza


Questions

Questions ?


Gagnez de superbes tee shirts

Gagnez de superbes tee-shirts!

Résolution minimale du buffer de profondeur?


Gagnez de superbes tee shirts1

Gagnez de superbes tee-shirts!

Fréquence de rafraichissement de la vidéo en 1280x1024


Gagnez de superbes tee shirts2

Gagnez de superbes tee-shirts!

Donner les 3 valeurs possibles du TrackingStated’un squelette


Gagnez de superbes tee shirts3

Gagnez de superbes tee-shirts!

Combien de bits sont utilisés par pixel dans le buffer de profondeur pour identifier l’utilisateur courant ?


Gagnez de superbes tee shirts4

Gagnez de superbes tee-shirts!

Par quoi faut-il masquer 13bits pour obtenir les 3 bits de poids faible


Gagnez de superbes tee shirts5

Gagnez de superbes tee-shirts!

Combien de points de contrôles par squelette ?


Gagnez de superbes tee shirts6

Gagnez de superbes tee-shirts!

Nom de l’artiste qui réalise les dessins de nos tee-shirts


Gagnez de superbes tee shirts7

Gagnez de superbes tee-shirts!

Combien de développeurs présentsaujourd’hui


  • Login