Subject

Multimodal Interaction

1. Course Title Multimodal Interaction
Multimodal interaction
2. Code m23_s_023
3. Study Programme
4. Organizer of the study programme (unit, institute, department or division) Faculty of Computer Science and Engineering
5. Degree level (first, second, third cycle) Second cycle
6. Academic year / semester 10 / Summer
7. Number of ECTS credits 6
8. Teacher Katarina Troyanets Dineva, Suzana Loshkova
9. Prerequisites for enrolling in the course
10. Objectives of the course programme (competences) Луѓето користат различни сетила и системи за меѓусебна комуникација, симултано (лице во лице конверзација) или алтернативно (со користење на говор, пишување, гестикулација, допир). Традиционално комуникацијата со компјутерите се одвивала преку тастатура и глушец и компјутерот одговарал најчесто со визуелни стимули во форма на текст или слики. Целта на курсот е да ги воведе студентите во новите начини на интеракција со компјутерските системи што овозможуваат подорбување на искуството или ефикасноста на интеракцијата со истите (контрола со звук, звучна интеракција, препознавање на гестови, екрани на допир, таткилни интерфејси, надградена реалност).
11. Course content Дизајн на мултимодална интеракција. Дизајн, моделирање и анализа на мултимодални влезни уреди која вклучува: препознавање на говор, препознавање и следење на црти и изрази на човечко лице, препознавање на гестови, интеркација без допир, сензори на памени телефони и во паметни околини. Мултимодални излезни уреди која вклучува: синтеза на говор, интеркација преку звучни објекти, тактилни интерфејси. Надградена реалност. Автоматска анализа на мултимодално однесување.
12. Learning methods Lectures supported by slide presentations, interactive lectures, practical classes (using equipment and software packages), teamwork, case studies, guest lecturers, independent preparation and defence of a project assignment and seminar paper, and learning in an electronic environment (forums and consultations).
13. Total available time 6 ECTS x 30 hours = 180 hours
14. Distribution of available time 60 + 0 + 45 + 45 + 30 = 180 hours
15. Forms of teaching activities
15.1. Lectures - theoretical instruction 60 hours
15.2. Exercises (laboratory, auditory), seminars, teamwork 0 hours
16. Other forms of activities
16.1. Project assignments 45 hours
16.2. Independent assignments 45 hours
16.3. Home study 30 hours
17. Assessment method
17.1. Tests 15 points
17.2. Seminar paper / project (presentation: written and oral) 45 points
17.3. Activities and learning 15 points
17.4. Final exam 0 points
18. Grading criteria (points / grade)
up to 50 points5 (five) (F)
from 51 to 60 points6 (six) (E)
from 61 to 70 points7 (seven) (D)
from 71 to 80 points8 (eight) (C)
from 81 to 90 points9 (nine) (B)
from 91 to 100 points10 (ten) (A)
19. Requirement for obtaining a signature and taking the final exam completed activities
20. Language of instruction Macedonian and English
21. Method for monitoring the quality of teaching internal evaluation and survey mechanism
22. Literature
22.1. Required literature
1. Irena Croning & Robert Scoble | The Infinite Retina | Packt | 2020
2. Jason Jerald | The VR Book | ACM Books | 2016
3. Helen Papagiannis | Augmented Human | O`Reilly | 2017
4. Cornel Hilman | UX for XR User Experience Design and Strategies for Immersive Technologies Hillmann, Cornel. UX for XR (Design Thinking) | apress | 2021
22.2. Additional literature
No. Author Title Publisher Year