Subject

Big Data and Distributed Data Analytics

1. Course Title Big Data and Distributed Data Analytics
Big Data and Distributed Data Analytics
2. Code m23_s_211
3. Study Programme
4. Organizer of the study programme (unit, institute, department or division) Faculty of Computer Science and Engineering
5. Degree level (first, second, third cycle) Second cycle
6. Academic year / semester 10 / Summer
7. Number of ECTS credits 6
8. Teacher Милош Јовановиќ, Вангел Ајановски
9. Prerequisites for enrolling in the course
10. Objectives of the course programme (competences) Целта на курсот е студентот да се запознае со концептите на големи податоци, и процес на нивна анализа од дистрибуирано масовно складирање, до дистрибуирано масовно процесирање (во живо во текот на собирање или по собирањето) и анализи на резултатите од процесирањето на податоците со цел поддршка на одлучување, бизнис подобрување и подобрување на текови и процеси.

Competencies the student is expected to acquire upon completion of the course:
- да познава техники и методи за масовно дистрибуирано складирање на големи податоци
- да познава техники и методи за масовна дистрибуирана подготовка на големи податоци за идна обработка
- да познава техники и методи за масовно и дистрибуирано процесирање и анализа на големи податоци
- да ги примени стекнатите знаења во конкретен реален проект за складирање, обработка и процесирање и анализа на дистрибуирани и големи податоци
- да ги оспособи идните архитекти да проектираат дистрибуирани решенија за управување со податоци,
- да ги оспособи софтверските инженери да проектираат софтверски решенија во облак кои се базираат над диструбирани бази податоци,
- да им ги презентира фундаменталните принципи и техники на идните истражувачи од областа, и да им даде основа за идна самостојна истражувачка работа
11. Course content Topics covered in this course:
- Вовед во големи податоци. Потреба и вредност на големи податоци. Големи податоци од социјални мрежи.
- Моделирање на големи податоци и статистичка обработка на големи податоци.
- Пребарување и рударење на големи податоци.
- Научни апликации со големи податоци.
- Приватност, интегритет и заштита на големи податоци.
- Вовед во дистрибуирано процесирање податоци.
- Алатки, алгоритми и техники за програмирање за процесирање на големи податоци, како HDFS, MapReduce, Zookeeper, HBase и други.
- Дизајн и архитектура на дистрибуирани податоци и дистрибуирани системи на бази податоци.
- Процесирање прашалници во дистриубирана средина.
- Диструбуирана контрола на конкурентен пристап и концепти на евентуална конзистентност.
- Управување со дистрибуирани бази податоци.
- Процесирање прашалници во дистриубирана средина
- Стриминг на податоци и пресметување во облак
- Управување со NoSQL за големи податоци. Graph Analytics.
12. Learning methods - Lectures and exercises with case-based discussions, analysis of various available examples - Computer-assisted learning - E-learning and distance learning - Group research and development - Use of relevant software tools - Project development and defense
13. Total available time 6 ECTS x 30 hours = 180 hours
14. Distribution of available time 30 + 30 + 15 + 90 + 15 = 180 hours
15. Forms of teaching activities
15.1. Lectures - theoretical instruction 30 hours
15.2. Exercises (laboratory, auditory), seminars, teamwork 30 hours
16. Other forms of activities
16.1. Project assignments 90 hours
16.2. Independent assignments 15 hours
16.3. Home study 15 hours
17. Assessment method
17.1. Tests 0 points
17.2. Seminar paper / project (presentation: written and oral) 90 points
17.3. Activities and learning 30 points
17.4. Final exam 15 points
18. Grading criteria (points / grade)
up to 50 points5 (five) (F)
from 51 to 60 points6 (six) (E)
from 61 to 70 points7 (seven) (D)
from 71 to 80 points8 (eight) (C)
from 81 to 90 points9 (nine) (B)
from 91 to 100 points10 (ten) (A)
19. Requirement for obtaining a signature and taking the final exam 50% of the activities and the initial version of the project
20. Language of instruction Macedonian, English
21. Method for monitoring the quality of teaching internal evaluation and survey mechanism
22. Literature
22.1. Required literature
1. Viktor Mayer-Shonberger, Kenneth Cukier | Big Data: A Revolution That Will Transform How We Live, Work, and Think | Eamon Dolan/Houghton Mifflin Harcourt; Reprint edition | 2014
2. Eric Siegel | Predictive Analytics: The Power to Predict Who Will Click, Buy, Lie, or Die, 2nd ed. | John Wiley & Sons | 2016
3. M. Tamer Özsu, Patrick Valduriez | Principles of Distributed Database Systems, 4th ed. | Springer | 2020
4. Saeed K. Rahimi, Frank S. Haug | Distributed Database Management Systems: A Practical Approach | Wiley-IEEE Computer Society | 2010
5. Jure Leskoec, Anand Rajaraman, Jeffrey D. Ullman | Mining of Massive Datasets, 3rd ed. | Cambridge University Press | 2020
6. Селекција на значајни и актуелни истражувачки трудови од областа –дадени во печатена или електронска форма
7. Електронска документација од страниците на производителите на системите кои се користат во активностите
22.2. Additional literature
No. Author Title Publisher Year