Паралелност кај проблеми на машинско учење, со особен фокус на длабоко учење. Графички процесори (GPU) и тензор процесори (TPU) и практична употреба во машинско учење. Паралелност на ниво на податоци. Поделба и дистрибуирање на податоците, синхронизација на модел и ажурирање на модел. Паралелна редукција. Проблем на дистрибуирана пресметка на градиент. Паралелност на ниво на модел: хоризонтална (интраслојна поделба на модел, паралелност на ниво на тензор) и вертикална паралелност (меѓуслојна поделба на модел, pipeline паралелност). Напредни концепти на паралелно и дистрибуирано учење. Федеративно учење. Зачувување на безбедноста и приватноста со употреба на федеративното учење. Алгоритми за агрегација на модел. Хоризонтално, вертикално и поделено (split) федеративно учење. Персонализација на модели. Евалуација на перформанси и ефикасност на паралелно и на дистрибуирано учење.
- Teacher: Daniel Denkovski
- Teacher: Бојана Величковска