Образовательные программы, симуляция геологических процессов и антропологические исследования — все это в сфере интересов VR-лабораторий при крупных вузах. Чтобы узнать чем заняты разработчики в университетских кампусах, мы пообщались с директором по развитию Digital Media Lab при Казанском федеральном университете.
Крупные вузы становятся мощными центрами экспертизы по смешанной реальности благодаря тесным связям с международным академическим сообществом и талантливым инженерам. Казанский федеральный университет — один из первых вузов России, запустивший собственные инициативы по VR/AR-практикам и предложивший студентам магистерскую программу по смешанной реальности. С 2013 года при Институте информационных технологий и интеллектуальных систем (ИТИС) действует лаборатория Digital Media Lab.
Наука, производство, магистерская программа
Виталий Абрамов
Рассказывает Виталий Абрамов, КФУ:
Digital Media Lab — это настоящая научно-производственная лаборатория в самом прямом значении этого термина. Как и любая другая лаборатория, Digital Media Lab создана чтобы решать образовательные и исследовательские задачи и участвовать в производственных проектах.
Мы занимаемся одновременно и наукой и развитием практик: все-таки ИТИС — практико-ориентированный институт, чьи интересы прямо связаны с прикладным применением технических решений. Буквально лет 10 назад его модель была необычна для России, а теперь она довольно часто встречается: важность создания коммуникационной среды для подготовки профессионалов осознается повсеместно.
Студенты к нам попадают на втором курсе. Как это обычно бывает в вузах: второкурсники выбирают специализацию — кафедру, к которой прикрепляются и начинают работать в узкой нише. Далее они работают с профессорами, параллельно идет общая практика, далее госэкзамен и защита диплома и на выходе — специалист.
У нас вместо кафедр — лаборатории. Как правило, все они практико-ориентированные и работают под шефством крупных компаний, например, Oracle или Microsoft, иногда это крупные местные игроки, типа ICL. Студент выбирает лабораторию, которая не дает общую экспертизу, но заточена на узкую практику и оставляет студенту конкретные компетенции, актуальные для технологической отрасли.
Мы поняли, что мы технический институт и не хотим нагружать бакалавров гуманитарными знаниями. Потому оставили самое основное: программирование в Unreal и моделирование в Blender и Maya.
Бакалавр после первого курса уже более-менее подготовлен, знает, что такое объектно-ориентированное программирование, умеет сверстать страничку, и у него есть знания классических языков типа Java. Перед вторым курсом он может попасть к нам на практику. Не важно, какая у него мотивация: мечта заниматься VR/AR, делать игры или это просто творческий человек, который хочет пойти в digital-искусство и создавать аудиовизуальные инсталляции.
На летней практике наш специальный генератор, как распределительная шляпа в Хогвартсе, выдает задание — какой проект взять в производство. Если это игра, то определяется жанр, сеттинг, дополнительная фишка. Студент берет этот проект и делает.
Примеры проектов студентов с практики DML 2020
Как правило, он еще не знает инструментарий, не знаком глубоко с Unity или Unreal. Но он должен за 2 недели практики выдать результат. Показать, что готов плыть и осваивать инструмент, собирать команду, структурировать проект, выходить на какой-то осязаемый продукт. Если это получается успешно, то студент зачисляется в нашу лабораторию, может посещать пары.
Раньше мы давали много предметов для бакалавров, это был широкий спектр курсов от программирования до анимации. Давали digital-живопись, классическую живопись, теорию нарратива, звук, геймдизайн. Сейчас все это сжалось в два основных направления, поскольку мы поняли, что мы технический институт и не хотим нагружать бакалавров гуманитарными знаниями. Потому оставили самое основное: программирование в Unreal, моделирование в Blender и Maya.
Программа занимает 3 курса. Студенты сдают семестровки, в которых должен быть виден конкретный результат: игра или любой другой аудиовизуальный проект. И часть в процессе отсеивается — это нормально.
Серьезные игры и международные контакты
Как любая другая лаборатория, мы занимаемся наукой. В сфере наших интересов серьезные игры и edutainment-проекты. Наиболее близкий пример: режим музея в Assassins Creed: Origins, в котором отключена боевая система, нет агрессии, зато есть исследования и экскурсии, посвященные Древнему Египту.
К примерам еще можно отнести некоторые авиасимуляторы и стратегии. Сейчас такие игры не очень развиты, хотя это, безусловно, интересное и крутое направление, дающее богатые возможности для образования: можно создавать интерактивные учебники, иммерсивные курсы, обучать через развлечение.
Серьезная игра (serious game) или прикладная игра (applied game) — программа, использующая игровые механики не для развлекательных целей. Серьезные игры применяются для обучения, моделирования процессов, терапии и т.п.
Технологии VR/AR — это новый уровень для серьезных игр, новая степень иммерсивности, лучше раскрывающая их образовательный потенциал. С этой же точки зрения нас очень интересует BСI (brain-computer interface) в связке с VR, которая может мощно продвинуть множество исследований в медицине, психологии, социологии. Есть чисто программистское направление Real Time Computer Graphic — рендеринг в реальном времени, который также открывает много возможностей для создания красивых сцен в VR, серьезных игр, крутых демонстраций.
| «Болгар»: «серьезная игра», созданная Digital Media Lab совместно с казанскими историками и археологами. Это масштабная реконструкция древней столицы Волжской Булгарии, возникшей как городище в конце первого тысячелетия нашей эры и ставшей в XIII веке крупным торговым центром, одним из ключевых опорных пунктов Золотой Орды.
В процессе реконструкции города использовались археологические памятники и артефакты. Разработка NPC опиралась на антропологический материал: 3D-художники использовали модели черепов людей, найденных в местных захоронениях. Был воссоздан быт, аутентичные костюмы и городская среда раннего средневековья. Проект полностью пересобирался несколько раз — по мере того, как историки приносили разработчикам новые данные. Использовался движок Unity. Болгар должен был стать частью образовательной программы школьников в Татарстане, но по каким-то причинам готовый проект в массы не пошел. Сейчас он доступен, как дополнение к музейной экспозиции Болгара, и дает возможность прогуляться по древней волжской столице, увидеть ее такой, какой она была 7 столетий назад |
Есть крупные коллаборации с CERN, крупнейшей в мире лабораторией физики высоких энергий, которая по совместительству является еще авторитетным центром ИТ-компетенций. С ними мы работали над визуализацией мозга млекопитающих. Проект не сильно удачный и долго не продлился, но зато эта коллаборация позволила нам узнать, как VR/AR-компетенции развиты в европейских научных центрах.
Я преподавал в Бирмингеме для студентов 1-2 курсов и организовывал митапы для профессоров (так называемые «research talks»), и многие мои английские коллеги отмечали, что мы далеко продвинулись в Mixed Reality. Они видели наши наработки и говорили: «Вау! Откуда у вас на это деньги?» — и я видел некую иронию в этом, ведь у них бюджет на исследования в 10 раз больше, чем у нас. Очевидно, отсутствие бюджетов мы компенсируем усердием и чисто русской находчивостью.
Несмотря на то, что Россия все-таки находится в едином информационном поле со всем остальным миром, многие границы в академических коммуникациях мы преодолели относительно недавно. Было время, я не мог сходить со своим коллегой Леонардом попить пива только потому, что он гражданин другой страны. Приходилось уведомлять университет о своих намерениях и согласовывать сам факт неформального контакта. Хорошо, что это предписание продлилось всего полгода, и после протестов в научной среде его отменили.
Чем больше ты можешь охватывать задач, тем больше у тебя студентов, тем больше стимула для роста новых лабораторий.
Кстати, с Леонардом Йохандом мы не только пили пиво, но и развивали интересный проект по обучению нейронной сети. И это тоже часть работы нашей лаборатории: мы помогали Леонарду добывать «dataset» по различным визуальным данным — цвет, размер, расстояние и так далее. Нейросеть сопоставляла эту метаинформацию с видимым изображением и училась делать правильные заключения для вывода данных в дополненной реальности. Для этого мы генерировали высокореалистичные секвенции в реальном времени с подключенным RTX.
В проекте очень пригодились возможности движка Unreal, который помог нам разобраться с множественными настройками графики.
Мы всеми силами участвуем на международных конференциях и делимся экспертизой, опытом внедрения, рассказываем про свое оборудование, делаем статьи для научных журналов, которые попадают в индекс Scopus, описываем инсайты и метрики. Сейчас из-за пандемии, к сожалению, многие работы приостановились — часть из них было сильно завязано на встречах с зарубежными коллегами.
«Scopus» или «Cко́пус» — библиографическая и реферативная база данных и инструмент для отслеживания цитируемости статей, опубликованных в научных изданиях.
Благодаря тому, что лаборатория интегрирована в глобальный технологический мир, сам университет также может считаться международным центром ИТ-компетенций. КФУ находится в авангарде технологий, участвует в рейтингах, по которым получает финансирование, что открывает новые возможности для роста и охвата задач. Чем больше ты можешь охватывать задач, тем больше у тебя студентов, тем больше стимула для роста новых лабораторий.
Университет как заказчик VR-проектов
Нас, как студию, часто приглашают в производственные проекты, у нас мощно прокачана экспертиза в графических движках (Unreal и Unity) и есть приличный опыт в MR-проектах. Иногда зовет государство и крупный бизнес, и чаще всего они заказывает у нас исследования по VR и разработку прототипов.
Но, конечно, один из приоритетных заказчиков для нас является ВУЗ. Мы уже выпустили ряд продуктов, которые прошли апробацию в КФУ, их можно масштабировать на разные образовательные практики, вполне реально предлагать другим вузам. В целом VR хорошо проникает в университеты, там есть все условия для хороших VR-практик. С ними гораздо легче, чем со школами, они не так сильно ограничены в формальных возможностях использования разных инструментов. Чтобы попасть с технологией в школы, нужно не только оборудовать классы, но и решить массу задач с нормативными актами, учебными планами, методическими материалами.
Медики
В КФУ есть сильное медицинское направление, с которым мы разрабатывали два серьезных проекта. Первый — biotech-лаборатория в быстром формате. Это виртуальная среда, в которой можно показывать, как проводятся эксперименты. Часть процессов в биологии протекают медленно и ждать результатов опытов приходится долго. В VR-среде можно ускорить процедуры, заранее увидеть все реакции. Для студентов и исследователей это хорошая возможность получить пре-лабораторный опыт — они приступают к сложным процедурам предварительно подготовленными.
Визуальная биотехническая лаборатория
Второй проект, более мощный и ресурсоемкий — VR-среда для хирургических практик. Это иммерсивный тренажер для подготовки медиков к хирургическим операциям. Они, например, могут потренироваться делать кесарево сечение или аппендэктомию. Конечно, это никак не формирует мышечную память — ничто, кроме реальной практики, пока не может этого дать — но отлично работает для отработки алгоритмов операций. Будущий медик запоминает ключевые этапы, понимает, что может пойти не так, учится принимать решения.
Тесты показывают, что метод работает: медики, прошедшие обучение в VR, в среднем быстрее и увереннее выполняют проверочные работы, чем те, кто изучал только теорию. Повторные тесты, которые всегда проводятся спустя определенное время, показывают, что знания усваиваются надежно и не «выветриваются».
Демонстрация виртуального тренажера по хирургии
Продукт уже готов к запуску: мы прошли процедуру одобрения у заказчика — в данном случае это специалисты нашего вуза. Хирурги одобрили методику и технологию, детали отработали на тестовой группе, начали закупать оборудование. Но, опять же, из-за пандемии все осложнилось. Надеюсь, к середине этого года процесс разморозится.
Нефтяники
Есть разработки для студентов-нефтяников, связанные с симуляцией геологических процессов и функционирования сложного оборудования. В нефтедобыче достаточно дорогих технологий, чувствительных к ошибкам — мы помещаем некоторые из них в VR-шлем, и это помогает неплохо обучать будущих инженеров.
Например, с помощью трубы горения — установки для моделирования термических методов нефтедобычи — можно детально исследовать процессы, которые происходят в толще земных пород во время добычи тугоплавких углеводородов. Мы научились показывать студентам, что происходит в установке, демонстрировать геологические процессы — буквально даем заглянуть внутрь.
Труба горения в КФУ
Для внешних заказчиков из нефтяной отрасли мы делаем исследования и прототипы. Например, для одной нефтяной компании мы проводили исследование о целесообразности разработки инструмента для оперирования робототехническими средствами в VR. Предполагалось, что это будет мобильная виртуальная диспетчерская для промышленных роботов и дронов. Такая диспетчерская в реальной жизни может занимать целый минивэн, а мобильная — взял рюкзак с вычислительным блоком, подключил очки — и вперед.
Когнитивные процессы
Чтобы говорить об эффективности VR-решений в обучении, нужно иметь на руках объективные метрики. Тесты и проверочные задания — это субъективные измерения. Мы задумались, как оценивать влияние иммерсивности на когнитивные процессы объективно — так появился совместный проект с Cerevrum. Это резидент Сколково, разрабатывающий программы обучения софтскилам для сотрудников крупных организаций, банков и холдингов.
Опыт работы с Cerevrum перерос в уже в наш собственный проект — НейроРеалити, который направлен как раз на оценку эффективности обучения. Как это выглядит: на человека, который выступает как объект исследования в VR-среде, устанавливаем нейродатчики, снимаем показания ЭКГ, дыхания и т.п. Он попадает в виртуальную сцену, в которой моделируется ситуация, а приборы измеряют все его показатели: реакцию мозга, пульс и давление — фактически все те же параметры, что и на полиграфе. Таким образом, мы выстраиваем картину поведения человека, адекватность реакций, эмоциональность и с высокой точностью даем ответ, например, нахамит ли операционист покупателю в той или иной ситуации.
Это фактически возможность залезть в голову человеку и создать его психологический профиль. Сейчас подобный проект мы прорабатываем с Росатомом. Мы еще не приступили к производству, но уже продемонстрировали концепцию топ-менеджменту компании в рамках цифровых недель Росатома, которые в этот раз прошли в онлайн-формате.
Шоурил Digital Media Lab
Рынок кадров и точки роста
Когда наша история только начиналась, в Казани еще не было мейджоров с геймдев-рынка, которые могли бы поддержать лабораторию, создать спрос на ее ресурс. Поэтому, по сути, мы сами создали свою маленькую «кремниевую долину»: ВУЗ создал вокруг себя экосистему, в которой ребята сами развивались, открывали студии, поддерживали друг друга. Так вокруг нас собралась собственная геймдев-индустрия, готовая принимать новых людей.
Сегодня геймдеву в России практически не учат. Кроме нас, можно найти магистерские программы в ИТМО, ВШЭ, ТГУ, МГУ, ДВФУ — и еще, может быть, нескольких мест. Государство не стимулирует эту историю, на рынке и так сильно не хватает кадров, а людей с VR-компетенциями и того меньше.
Из крупных холдингов еще пока никто не приходил к нам с предложениями или инициативами по направлению Mixed Reality. Мы, конечно, открыты к предложениям, но пока все делаем сами.
Крупные геймдев-компании, конечно, готовы взять новичков и обучить, но потом внутри начинается жесткий отбор: на выходе остаются бриллианты, а остальные отправляются обратно на рынок труда. Маленькие компании не могут себе позволят обучать VR-специалистов, потому стараются брать готовых мидлов, которых, опять, же надо еще найти.
Конечно, кадрами начал интересоваться и корпоративный сектор: но сейчас, чтобы получить специалиста по VR, крупные холдинги чаще всего хантят кого-то из геймдева. Определенно, запрос у enterprise-сектора на таких специалистов есть, но он еще не созрел до такой степени, чтобы мотивировать компании участвовать в подготовке узко-специализированных кадров. Еще пока никто из холдингов не приходил к нам с предложениями или инициативами по поддержке направления Mixed Reality.
Потому мы все делаем сами: развиваем VR-комьюнити, поддерживаем друг друга, обмениваемся опытом. Я ездил к Андрею Карсакову, у него похожая лаборатория в ИТМО, читал лекцию для его студентов. Также у нас недавно читали онлайн-лекции Владимир Стишкин из Газпрома и Лидия Ятлюк из Модум Лаб. На таком обмене экспертизой и держимся.
Виталий Абрамов на экспертной сессии в Доме Инноваций Газпром Нефть. На фото также Владимир Стишкин (Газпром), Олег Радченко (Cerevrum) и Григорий Дядиченко (источник: Facebook)
Самые болезненные вопросы связаны с финансированием: никто особо не понимает, для чего и как нужен VR, куда это все будет развиваться. Потому есть перебои с финансирования, тяжело получать гранты — академические запросы пока не догоняют наши темпы. А это нужно не столько для поддержания оборудования в актуальном состоянии, сколько для удержания людей.
Зарплаты сотрудников немаленькие, ВУЗ закрывает только половину потребностей. Вторую часть более-менее покрывают производственные проекты, гранты. Это как-то позволяет нам держать преподавательский штат, которых иначе давно бы уже растащили в бизнес.
А еще в нашей VR-отрасли остро не хватает какой-то широко употребимой UX-экспертизы. Нет удобно спроектированного фреймворка, доступного для всех. Очень хочется им заняться и тем сделать добро для всей отрасли.
* * *
Конечно, в текущем виде VR не придет в каждый дом. Но отчетливо видна перспектива в нейроинтерфейсах, MR для производственных задач, социальных проектов и умных пространств. Технология 100% будет расти, в том числе и благодаря густому комьюнити. Так что, глядишь, лет через 15 мы за хлебом не сможем выйти без какого-нибудь решения, дополняющего реальность. И в этом Digital Media Lab — с поддержкой внутри вуза и снаружи — планирует сыграть посильную роль.
Беседовал: Павел Овчинников