В видео Мария Ковалева, ведущий специалист по исследованию данных Sber AI, рассказывает как в команде Kandinsky обучают большие трансформеры для генерации видео: какие техники используют для эффективной утилизации кластера из огромного количества GPU. Обсуждается DDP, FSDP, activation checkpointing, tensor & sequence parallel и другие алгоритмы. На практической части мастер-класса Мария показывает, как ускорить инференс и генерацию видео, распараллелив трансформер через библиотеку pytorch с помощью алгоритма tensor parallel.