Εργαστήριο: Προγραμματισμός του αισθητήρα Kinect για κιναισθητικό έλεγχο με στη γλώσσα προγραμματισμού C# (Visual Studio, Kinect SDK 1.8)

Ο  προγραμματισμός του αισθητήρα Kinect για κιναισθητικό έλεγχο με στη γλώσσα προγραμματισμού C# (Visual Studio, Kinect SDK 1.8) προϋποθέτει ότι οι φοιτητές έχουν διδαχθεί C# (αν και παρουσιάζονται κάποιες επιπλέον έννοιες).

Το εργαστήριο επικεντρώνεται στα εξής: Εγκατάσταση απαραίτητων προγραμμάτων και παραδείγματα επίδειξης. Προγραμματισμός σε Visual Studio, C# (WPF) και Kinect SDK για αξιοποίηση των δεδομένων της κάμερας χρώματος, της κάμερας βάθους και σκελετού (skeleton data). Ανίχνευση κινήσεων σώματος και χειρονομιών του χρήστη μέσα από ανάπτυξη απλής μηχανής αναγνώρισης χειρονομιών. Χρήση των δεδομένων ήχου της συστοιχίας μικροφώνων του kinect. 

Η πιο σημαντική καινοτομία που φέρνει το kinect είναι ότι επί της ουσίας πρόκειται για μια κάμερα βάθους (depth camera). Με άλλα λόγια το kinect μπορεί να εκτιμά με μεγάλη ακρίβεια την απόσταση κάθε σημείου από αυτό, κατ’ αντιστοιχία με το ανθρώπινο μάτι! Επιπλέον, το kinect SDK δίνει τη δυνατότητα πρόσβασης σε κλάσεις με δεδομένα ανθρώπινου σκελετού (σημεία αρθρώσεων στο 3Δ χώρο), προσώπου, αλλά και τοπικά εντοπισμένου ήχου (σε συνδυασμό δηλαδή με μηχανή αναγνώρισης φωνής μπορούν να αναπτυχθούν σχετικές εφαρμογές). Το kinect μπορεί να χρησιμοποιηθεί (και ήδη χρησιμοποιείται, ερευνητικά) για ευρεία γκάμα εφαρμογών όπως: αναγνώριση χειρονομιών και στάσεων σώματος για κιναισθητική αλληλεπίδραση, βοηθητική τεχνολογία για ΑμΕΑ, αναγνώριση προσώπου (εκφράσεων, συναισθημάτων, εκφοράς λόγου, κ.α.), αναγνώριση αντικειμένων (και διαχείριση σκηνών, π.χ. για κινηματογραφία), ανάλυση κίνησης (για κινηματογραφία, παιχνίδια, κ.α.) και βαδίσματος, 3Δ ανίχνευση (scanning) αντικειμένων (για διαχείριση νεφών σημείων, ή/και μετάπειτα αναπαραγωγή και 3Δ εκτύπωση), 3Δ όραση σε ρομπότ (για αποφυγή εμποδίων), τηλεπαρουσία, κ.ο.κ. Πριν την έλευση του kinect όλες οι παραπάνω εφαρμογές αντιμετωπίζαν τρομερούς περιορισμούς επειδή χρησιμοποιούσαν 2Δ υπολογιστική όραση. Η σχετική έρευνα και τεχνολογική ανάπτυξη είναι ραγδαία σε όλες τις παραπάνω κατευθύνσεις με τη χρήση του kinect.

Λέξεις κλειδιά: C#, Visual Studio, Kinect, Kinect SDK. 

VisualStudioCKinectv15.pdf