Μάθημα : Προηγμένες Τεχνολογίες Αλληλεπίδρασης και Εφαρμογές (Φυσικές Διεπαφές Χρήστη-Natural User Interfaces, NUIs) [open]
Κωδικός : 511252
511252 - Koutsabasis Panayiotis
Ενότητες - Εργαστήριο: Προγραμματισμός του αισθητήρα Kinect για κιναισθητικό έλεγχο με στη γλώσσα προγραμματισμού C# (Visual Studio, Kinect SDK 1.8)
-
Θεματικές Ενότητες
-
1. Θεωρία: Εισαγωγή στις Φυσικές Διεπαφές Χρήστη
-
2. Θεωρία: Διεπαφές κιναισθητικού ελέγχου και διεπαφές με χειρονομίες (Kinesthetic and gestural user interfaces)
-
3. Θεωρία: Πολυαπτικές διεπαφές για μεγάλες οθόνες και επιτραπέζιες διεπαφές (multitouch interfaces for large displays and tabletops)
-
4. Θεωρία: Αλληλεπίδραση με το βλέμμα (gaze interaction)
-
5. Θεωρία: Φωνητικές διεπαφές (voice user interfaces)
-
6. Θεωρία: Διεπαφές εγκεφάλου-υπολογιστή (brain-computer interfaces)
-
Εργαστήριο: Προγραμματισμός του αισθητήρα Kinect για κιναισθητικό έλεγχο στη γλώσσα προγραμματισμού Processing και τη βιβλιοθήκη simpleOpneNI library.
-
Εργαστήριο: Προγραμματισμός του αισθητήρα Kinect για κιναισθητικό έλεγχο με στη γλώσσα προγραμματισμού C# (Visual Studio, Kinect SDK 1.8)
-
1. Θεωρία: Εισαγωγή στις Φυσικές Διεπαφές Χρήστη
Εργαστήριο: Προγραμματισμός του αισθητήρα Kinect για κιναισθητικό έλεγχο με στη γλώσσα προγραμματισμού C# (Visual Studio, Kinect SDK 1.8)
Ο προγραμματισμός του αισθητήρα Kinect για κιναισθητικό έλεγχο με στη γλώσσα προγραμματισμού C# (Visual Studio, Kinect SDK 1.8) προϋποθέτει ότι οι φοιτητές έχουν διδαχθεί C# (αν και παρουσιάζονται κάποιες επιπλέον έννοιες).
Το εργαστήριο επικεντρώνεται στα εξής: Εγκατάσταση απαραίτητων προγραμμάτων και παραδείγματα επίδειξης. Προγραμματισμός σε Visual Studio, C# (WPF) και Kinect SDK για αξιοποίηση των δεδομένων της κάμερας χρώματος, της κάμερας βάθους και σκελετού (skeleton data). Ανίχνευση κινήσεων σώματος και χειρονομιών του χρήστη μέσα από ανάπτυξη απλής μηχανής αναγνώρισης χειρονομιών. Χρήση των δεδομένων ήχου της συστοιχίας μικροφώνων του kinect.
Η πιο σημαντική καινοτομία που φέρνει το kinect είναι ότι επί της ουσίας πρόκειται για μια κάμερα βάθους (depth camera). Με άλλα λόγια το kinect μπορεί να εκτιμά με μεγάλη ακρίβεια την απόσταση κάθε σημείου από αυτό, κατ’ αντιστοιχία με το ανθρώπινο μάτι! Επιπλέον, το kinect SDK δίνει τη δυνατότητα πρόσβασης σε κλάσεις με δεδομένα ανθρώπινου σκελετού (σημεία αρθρώσεων στο 3Δ χώρο), προσώπου, αλλά και τοπικά εντοπισμένου ήχου (σε συνδυασμό δηλαδή με μηχανή αναγνώρισης φωνής μπορούν να αναπτυχθούν σχετικές εφαρμογές). Το kinect μπορεί να χρησιμοποιηθεί (και ήδη χρησιμοποιείται, ερευνητικά) για ευρεία γκάμα εφαρμογών όπως: αναγνώριση χειρονομιών και στάσεων σώματος για κιναισθητική αλληλεπίδραση, βοηθητική τεχνολογία για ΑμΕΑ, αναγνώριση προσώπου (εκφράσεων, συναισθημάτων, εκφοράς λόγου, κ.α.), αναγνώριση αντικειμένων (και διαχείριση σκηνών, π.χ. για κινηματογραφία), ανάλυση κίνησης (για κινηματογραφία, παιχνίδια, κ.α.) και βαδίσματος, 3Δ ανίχνευση (scanning) αντικειμένων (για διαχείριση νεφών σημείων, ή/και μετάπειτα αναπαραγωγή και 3Δ εκτύπωση), 3Δ όραση σε ρομπότ (για αποφυγή εμποδίων), τηλεπαρουσία, κ.ο.κ. Πριν την έλευση του kinect όλες οι παραπάνω εφαρμογές αντιμετωπίζαν τρομερούς περιορισμούς επειδή χρησιμοποιούσαν 2Δ υπολογιστική όραση. Η σχετική έρευνα και τεχνολογική ανάπτυξη είναι ραγδαία σε όλες τις παραπάνω κατευθύνσεις με τη χρήση του kinect.
Λέξεις κλειδιά: C#, Visual Studio, Kinect, Kinect SDK.