1 / 23

& Presentano: BUILD live – Torino Introduzione a Microsoft Kinect

& Presentano: BUILD live – Torino Introduzione a Microsoft Kinect. Gianni Rosa Gallina gianni.rosagallina@bepseng.it http://embeddedlounge.blogspot.com. Marina Sabetta marina.sabetta@studenti.polito.it. Agenda. 2 / 21. Cos’è Microsoft Kinect ? Cosa si può fare con Kinect ?

zody
Download Presentation

& Presentano: BUILD live – Torino Introduzione a Microsoft Kinect

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. & Presentano:BUILD live – Torino Introduzione a Microsoft Kinect Gianni Rosa Gallina gianni.rosagallina@bepseng.it http://embeddedlounge.blogspot.com Marina Sabetta marina.sabetta@studenti.polito.it

  2. Agenda 2 / 21 • Cos’è Microsoft Kinect? • Cosa si può fare con Kinect? • L’hardware • La tecnologia • Video • Body tracking • Audio • Microsoft Kinect SDK • Architettura • Come siusa

  3. 3 / 21 • E’ un dispositivo embedded, costituitoda: • un insiemedisensori audio/video: • Videocamera RGB • Sensoridiprofondità 3D • Microfoni • software proprietario per: • Computer Vision • Tracciatura del corpo • Riconoscimentofacciale • Riconoscimentovocale • Pensato per la console Microsoft Xbox 360, in mododapermettereunamodalitàdigiocosenza controller e coinvolgente • Ha fatto la sua prima apparizioneufficialenel 2009, prima era noto con ilnome in codiceProject Natal. Cos’è Microsoft Kinect?

  4. 4 / 21 Cosa si può fare con Kinect? Fonte: http://kinect.dashhacks.com

  5. 5 / 21 SENSORI PROFONDITA’ 3D L’hardware VIDEOCAMERA RGB MOTORINO INCLINAZIONE MICROFONI

  6. 6 / 21 L’hardware http://www.ifixit.com/Teardown/Microsoft-Kinect-Teardown/4066

  7. 7 / 21 Cavo USB e alimentazione Il motorinodiinclinazionerichiedepiùcorrentedi quanta le sole porte USB possanofornire Si ha un connettoreproprietariochecombina USB standard e maggiorepotenzadialimentazione La versionediKinectacquistabile stand-alone forniscequestoalimentatoreesterno, che è NECESSARIO per poterlacollegareanche ad un PC disviluppo.

  8. 8 / 21 • Fruttodidecennidiricercheaccademiche, dell’industria, diMicrosoft Research e del gruppo Xbox nel campo dellaComputer Vision • Basatasullesoluzionitecnologichedell’israelianaPrimeSense • I problemicheKinectrisolve: • Trovauna o piùpersone in unascena, ignorando lo sfondo • Riconoscegliarti e igiunti, associandolialla persona corretta • Trova e tracciaigestidellepersone • Mappaigestisusignificati e comandi • Inoltre: • Riconosce le facce • Riconosce la voce • (Permetteanchedigiocare!) La tecnologia

  9. 9 / 21 La tecnologia

  10. La tecnologia 10 / 21 • Machine Learning • Valutamiliardidipossibili posture del corpoumanosulla base di 32 segmenticonnessi (scheletro) • Ognifotogramma • A 30 fotogrammi al secondo • Consumandomeno del 10% di CPU Sembramagia ma… è Computer Vision + Data Analysis +IntelligenzaArtificiale

  11. 11 / 21 La tecnologia Algoritmodivisione Real-Time Human Pose Recognition in Partsfrom a Single Depth Image Jamie Shotton, Andrew Fitzgibbon, Mat Cook, Toby Sharp, Mark Finocchio, Richard Moore, Alex Kipman, Andrew Blake http://research.microsoft.com/apps/pubs/default.aspx?id=145347

  12. 12 / 21 • Non dimentichiamol’audio! • I problemicheKinectrisolve: • Isola la voce dalrumoredifondo • Riduce/eliminariverberiedechidovutiall’ambientecircostante • Rilevadirezionalmente la sorgente audio • Riconosceilparlato La tecnologia Sembramagia ma… è Batteriadimicrofoni + DSP + Data Analysis +IntelligenzaArtificiale

  13. 13 / 21 La tecnologia • Algoritmi audio • Presentazione al MIX 2011 diIvan Tashev • http://channel9.msdn.com/events/MIX/MIX11/RES01 • E’ l’architectdellamaggior parte del processing audiodiKinect • Ha introdottonotevoliavanzamentinel campo del processing audio in real-time e attualmentestalavorando al problemadell’identificazione del parlatore

  14. 14 / 21

  15. 15 / 21 • Microsoft Research ha rilasciatounaversione beta del Kinect SDK per Windows il 16 giugno: http://research.microsoft.com/kinectsdk • L’SDK installa: • i driver per isensoriKinect • API diprogrammazione C++ e .NET (C# / VB.NET) • documentazione • applicatividiesempio + codicesorgente • Attenzione! SOLO Windows 7 (x86 / x64), NON in macchinavirtuale • Per poterusare le librerieKinectsuunamacchina NON disviluppo, occorrecomunqueinstallarel’SDK e tutte le sue dipendenze • In questomomentol’SDKsipuòutilizzare solo per scopipersonali o diricerca. NON sipossonorealizzareprodotticommerciali. Windows Kinect SDK

  16. 16 / 21 • I sensoridiKinectinviano al sistematreflussididati: • Flusso video • Puòesserevisualizzato come unanormale webcam. Sonodisponibili due risoluzioni: 640x480 @ 30fps e 1280x1024 @ 15fps • Flussodiprofondità • E’ unamatricediinterii cui valoriindicano la profonditàspaziale (in mm) diogni pixel di un flusso video a 320x240. Puòessereinterpretato come video B/N oppure, con qualcheelaborazioneaggiuntiva, sipuòrenderecolorato • Flusso audio • E’ l’audioprovenientedallabatteriadimicrofoni, combinato in un unicoflussodidati Architettura

  17. 17 / 21 Quando Kinect sta tracciando una persona, vengono frequentemente forniti allo sviluppatore informazioni sullo scheletro riconosciuto. Lo scheletro consiste nei seguenti 20 punti chiave, igiunti: Tracciatura del corpo

  18. 18 / 21 Come si usa? • Sonodisponibili due namespace: • Microsoft.Research.Kinect.Nui • per accedereaiflussi video, profondità e body tracking • Microsoft.Research.Kinect.Audio • per accedereaidati audio • Per usare le librerieKinect in un’applicazione .NET, è necessarioincludere solo una reference alla DLL Microsoft.Research.Kinect.dll • Prima dipoterutilizzare la libreria NUI, bisognainstanziare un oggettodellaclasseRuntime, specificandoiflussi a cui sivuoleaccedere • Successivamente, bisognaaprireiflussi audio/video prima dipoterliutilizzarenelproprioapplicativo, specificandonetipologia, risoluzione e altriparametrispecificidiogniflusso

  19. 19 / 21 Come si usa? La libreria NUI funziona ad eventi: ogniqualvoltaisensorihannodeidatidisponibili, vengononotificatideglieventi a cui bisognaregistrarsi per poterricevereedutilizzare le informazioni: DepthFrameReady Rende disponibile la matrice dei dati di profondità acquisiti dai sensori IR SkeletonFrameReady Rende disponibili i dati dei giunti di uno o due corpi completamente tracciati. I dati sui giunti possono essere validi o meno, è necessario verificarne lo stato prima di utilizzarli in elaborazioni successive. VideoFrameReady Rende disponibile il fotogramma acquisito dalla webcam

  20. 20 / 21 Come si usa? Per gestirel’audio, invece, è sufficienteinstanziare un oggettoditipoKinectAudioSource: Con questooggettosipossonoavere: • idati audio veri e propri(16KHz, 16bit PCM) • da un singolomicrofono o dallabattariacompleta • con opzionalecancellazione del rumore e dell’eco (AEC) • informazionisulladirezionedellasorgente(beamforming) • se attivato, idativengonorecuperatiregistrandosiall’eventoBeamChanged • l’informazione è espressa in gradiradianti: 0 nellaposizionefrontalerispetto al sensoreKinect; <0 a sinistra, >0 a destra. • È disponibile, come per igiunti, un parametro per stabilire la qualitàdell’informazione • integrazione con le Speech API di Windows per fare riconoscimentovocale

  21. 21 / 21 • Coding For Fun – Kinect Toolkit • http://c4fkinect.codeplex.com/ • KinectGestures (Blog diDavid Catuhe) • http://blogs.msdn.com/b/eternalcoding/archive/2011/07/04/gestures-and-tools-for-kinect.aspx • Alimentatore per Kinect (Microsoft Store) • http://www.microsoftstore.com/store/msstore/en_US/buy/pageType.product/externalRefID.9A4CFC08 • KinectVS2010 Templates • http://kinectcontrib.codeplex.com/ • Lingueaggiuntive per Speech Recognition / Text To Speech • http://www.microsoft.com/download/en/details.aspx?displaylang=en&CTT=1&id=3971 • Video, esempi, training (Channel9) • http://channel9.msdn.com/coding4fun/kinect/ • http://channel9.msdn.com/Series/KinectSDKQuickstarts • Blog di Gianni Rosa Gallina • http://embeddedlounge.blogspot.com Risorse aggiuntive

  22. DEMO

  23. Domande & Risposte • Gianni Rosa Gallina • gianni.rosagallina@bepseng.it • http://embeddedlounge.blogspot.com • Marina Sabetta • marina.sabetta@studenti.polito.it

More Related