1 / 33

Prenez le contrôle de Kinect pour Windows SDK (Beta)

Prenez le contrôle de Kinect pour Windows SDK (Beta). Agenda. SDK & Architecture Buffer vidéo Buffer de profondeur Suivi de squelettes Gestion du son. SDK. Développé par Microsoft Research Utilisation non commerciale uniquement Windows 7 uniquement x86 x64 Managed et C++.

rane
Download Presentation

Prenez le contrôle de Kinect pour Windows SDK (Beta)

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Prenez le contrôle de Kinect pour Windows SDK (Beta)

  2. Agenda • SDK & Architecture • Buffer vidéo • Buffer de profondeur • Suivi de squelettes • Gestion du son

  3. SDK • Développé par Microsoft Research • Utilisation non commerciale uniquement • Windows 7 uniquement • x86 • x64 • Managedet C++

  4. Architecture

  5. SDK • 3 flux disponibles • Image • Profondeur • Audio • Librairie NUI (Natural User Interface) • Détection automatique • Learning machine

  6. SDK using Microsoft.Research.Kinect.Nui; using Microsoft.Research.Kinect.Audio; kinectRuntime = new Runtime(); kinectRuntime.Initialize(RuntimeOptions.UseDepthAndPlayerIndex | RuntimeOptions.UseSkeletalTracking | RuntimeOptions.UseColor);

  7. Démonstration Initialisation du SDK

  8. Agenda • SDK & Architecture • Buffer vidéo • Buffer de profondeur • Suivi de squelettes • Gestion du son

  9. Buffer vidéo • Résolutions : • 640x480 • 1280x1024 • Formats : • RGB • YUV • Données fournies au travers d’un stream • Evénementiel / Pooling

  10. Buffer vidéo public class ColorStreamManager { public BitmapSourceColorBitmap { get; private set; } public void Update(ImageFrameReadyEventArgs e) { PlanarImage Image = e.ImageFrame.Image; ColorBitmap = BitmapSource.Create(Image.Width, Image.Height, 96, 96, PixelFormats.Bgr32, null, Image.Bits, Image.Width * Image.BytesPerPixel); } }

  11. Démonstration – Kinect Light Sabre Affichage du flux video

  12. Agenda • SDK & Architecture • Buffer vidéo • Buffer de profondeur • Suivi de squelettes • Gestion du son

  13. Buffer de profondeur • Résolutions • 320x240 • 80x60 • Données sous forme de stream • Evénementiel / Pooling • Stockage sur 13 bits • 10 bits pour la distance en millimètres depuis le capteur • 3 bits pour donner l’index de la personne reconnue

  14. Démonstration – Kinect Keyboard Simulator Affichage du flux de profondeur

  15. Agenda • Architecture • Buffer vidéo • Buffer de profondeur • Suivi de squelettes • Gestion du son

  16. Suivi des squelettes • Reconnaissance immédiate • Evénementiel / Pooling • 4 squelettes détectés • Chaque squelette donne sa position

  17. Suivi des squelettes • 2 squelettes suivis (tracked) • Liste de joints (points de contrôles) • Chaque position donne également sa qualité (.w entre 0 et 1) • Notion de TrackingID

  18. Points de contrôles

  19. Suivi des squelettes • Service de filtrage des données • Correction • Lissage kinectRuntime.SkeletonEngine.TransformSmooth= true; varparameters = new TransformSmoothParameters { Smoothing = 1.0f, Correction = 0.1f, Prediction = 0.1f, JitterRadius = 0.05f, MaxDeviationRadius = 0.05f }; kinectRuntime.SkeletonEngine.SmoothParameters= parameters;

  20. Démonstration - Kinect Keyboard Simulator Suivi du squelette

  21. Agenda • Architecture • Buffer vidéo • Buffer de profondeur • Suivi de squelettes • Gestion du son

  22. Gestion du son • Kinect c’est aussi: • Un groupe de 4 microphones (Microphone array) • Des algorithmes de • Réduction du bruit ambiant • Annulation de l’écho • Beamforming : • Trackingde la source sonore • Compatible avec Microsoft Speech API

  23. Pour aller plus loin • http://msdn.microsoft.com/fr-fr/windows/sdk-kinect • http://blogs.msdn.com/b/eternalcoding/archive/2011/06/14/fr-prenez-le-contr-244-le-avec-kinect-pour-windows-sdk.aspx • http://channel9.msdn.com/coding4fun/kinect • http://msdn.microsoft.com/fr-fr/windows/sdk-kinect

  24. Programme de l’après-midi • Kinect2D et détection de la main • Mitsu Furuta / SENSORIT • Applications Kinectées, l’interaction à portée de main • Thierry Bouquain & Pierres-Yves Gardette / UCAYA • Intégration de Kinect SDK pour le pilotage dans une scène 3D temps réel • Benoit Laut / BEWISE • Kinect, Squelette et animations 3D • Simon Ferquel / INFINITE SQUARE • Une vision de la visio-conférence du futur • Niels Freier / WYGWAM • Ardrone& Kinect • Niels Freier & Mickael Thumerel / MS LABS EPITECH • Bière/Pizza

  25. Questions ?

  26. Gagnez de superbes tee-shirts! Résolution minimale du buffer de profondeur?

  27. Gagnez de superbes tee-shirts! Fréquence de rafraichissement de la vidéo en 1280x1024

  28. Gagnez de superbes tee-shirts! Donner les 3 valeurs possibles du TrackingStated’un squelette

  29. Gagnez de superbes tee-shirts! Combien de bits sont utilisés par pixel dans le buffer de profondeur pour identifier l’utilisateur courant ?

  30. Gagnez de superbes tee-shirts! Par quoi faut-il masquer 13bits pour obtenir les 3 bits de poids faible

  31. Gagnez de superbes tee-shirts! Combien de points de contrôles par squelette ?

  32. Gagnez de superbes tee-shirts! Nom de l’artiste qui réalise les dessins de nos tee-shirts

  33. Gagnez de superbes tee-shirts! Combien de développeurs présentsaujourd’hui

More Related