Polacy opracowali technologię, która według ich twierdzenia jest pierwszym na świecie, pozwalającym na szybkie odtworzenie cyfrowej wersji człowieka, mającej zachowanie identyczne jak jej naturalny odpowiednik. Potrafią oni za pomocą algorytmów automatycznie przetwarzać dane 3D/4D tworząc cyfrowe modele skanowanych postaci. Dzięki temu, zatrudnienie grafików, modelarzy i animatorów jest zbędne. Projekt Mnemosis zapewnia znaczne oszczędności czasu i pieniędzy, a także wyższą jakość przetwarzania danych.
Iwona Guzik i Michał Wiaderek ponad 17 lat temu założyli agencję Stars Impresariat, która jest obecnie największą tego typu w Polsce, posiadającą bazę liczącą ponad 300 tys. osób i tysiące produkcji na swoim koncie. Poszukując sposobów na szersze wykorzystanie potencjału swojej agencji, Iwona i Michał w 2018 r. wpadli na pomysł, aby odtwórców z bazy "eksportować" na cały świat poprzez stworzenie bazy modeli 3D. W tym czasie nawiązali znajomość z profesorem Robertem Sitnikiem, specjalistą w obrazowaniu 3D/4D. Jego zainteresowania naukowe dotyczą nie tylko odwzorowania rzeczywistości w trójwymiarze, ale także rozwijania algorytmów do przetwarzania tych danych oraz wykorzystania ich w medycynie, inżynierii, rozrywce, wirtualnej i wzbogaconej rzeczywistości oraz dokumentacji dziedzictwa kulturowego. Pomysł tworzenia bazy modeli 3D ewoluował w kierunku stworzenia bazy modeli 4D, a następnie rozwinął się w projekt Mnemosis, który pod koniec 2019 r. pozyskał grant z NCBiR (Narodowe Centrum Badań i Rozwoju), co pozwoliło na rozpoczęcie prac badawczych.
Jak deklaruje Iwona Guzik "rozwiązanie opracowywane przez Mnemosis nie ma bezpośredniej konkurencji. Na rynku działa szereg firm, które zajmują się poszczególnymi etapami i zagadnieniami opracowywanej technologii. Oferują skan statyczny człowieka, zwykle całego ciała, czasem z oddzielnym skanowaniem mimiki twarzy w wyższej rozdzielczości". Zatrudnianie grafików, modelarzy i animatorów w celu uzyskania kompletnej ścieżki przetwarzania jest powszechną praktyką, jednak proces związany z tym zazwyczaj jest bardzo kosztowny i wymaga włączenia wielu specjalistów oraz długiego okresu, od kilku tygodni do kilku miesięcy. Mnemosis w rozmowie ze mną potwierdziło, że opracowało algorytmy do automatycznego przetwarzania danych tak, aby wyeliminować żmudną i czasochłonną postprodukcję skanów. Jest tylko kilka podmiotów, które oferują usługę skanowania 4D (skany 3D w czasie z wysoką częstotliwością, ale nie szybszą niż Mnemosis, a po ukończeniu labu niższej jakości). Wśród nich możemy wyróżnić chociażby Volucap. Te firmy są w stanie przeprowadzić akwizycję danych 3D z częstotliwością do kilkudziesięciu razy na sekundę. W ten sposób produkują strumień danych 4D, który stanowi końcowy rezultat. Jak wskazuje prof. Robert Sitnik, "Mnemosis idzie o dwa kroki dalej implementując algorytmy, które na podstawie strumienia danych 4D tworzą automatycznie cyfrowe modele skanowanych postaci, zachowując specyfikę ruchu i cechy charakterystyczne mierzonych postaci. Równolegle z nagraniem powierzchni ciała modela Mnemosis zbiera charakterystykę ruchu danej postaci".
W kategorii konkurencyjnego rozwiązania należy jeszcze rozważyć technologię Metahuman od Epic Games. To kreator postaci, który pozwala w stosunkowo krótkim czasie stworzyć postać dla silnika czasu rzeczywistego Unreal Engine 5. Po niedawnej aktualizacji (technologia Mesh2Metahuman) możliwe jest "upodobnienie" tworzonej postaci do konkretnej osoby poprzez załadowanie skanu 3D twarzy. Jak wskazuje prof. Robert Sitnik "Jednak taka postać tylko przypomina pierwowzór, porusza się nienaturalnie i jest niskiej jakości stąd możliwości jej wykorzystania są bardzo ograniczone, nie mówiąc nawet o wykorzystaniu jej w grach Triple-A czy produkcjach filmowych". Na moje pytanie o realny efekt działań tej technologii wskazuje, że "faktycznie jako konkurencję możemy uwzględnić również pojedynczych artystów sprzedających swoje modele na platformach takich jak turbosquid.com czy firmy zatrudniające dziesiątki grafików (np. https://kevurugames.com/game-art/3d-art/), którzy ręcznie wytwarzają postaci do gier i animacji. Czas konieczny na wytworzenie takiej postaci to tygodnie a nawet miesiące pracy, a rezultat nigdy nie będzie wyglądał naturalnie i foto-realistycznie. W szczególności ruch tak przygotowanej postaci wygląda sztucznie".
Model biznesowy twórców technologii opiera się na dwóch liniach produktowych – modele 4D (m.in. dla gamingu, TV/filmu, animacji, VR, metaversów) oraz rozwiązania do analizy ruchu (m.in. dla sportu i medycyny). Nie ukrywam, że to drugi z obszarów zastosowań technologii szczególnie mnie interesuje. Jednym z kierunków rozwoju medycyny jest dzisiaj wykorzystywanie biomarkerów, które pozwalają nam nie tylko na wczesną diagnostykę chorób, ale również na ich predykcje. Kąt odbicia światła na naszej twarzy pozwala zdiagnozować przyszłe choroby układu krwionośnego. Sposób reagowania naszych oczu na światło pozwala przewidzieć kilka lat wcześniej chorobę Stwardnienia Rozsianego i chorobę Parkinsona. Liczę, że takie technologie pomogą nam również w tym obszarze rozwoju technologii.
Odwiedziłem siedzibę startupu Mnemosis, w której wykonano skan mojej twarzy. Celem było pokazanie realnej mocy technologii i jej efektów. W momencie pisania tego tekstu mogę z całą pewnością potwierdzić, że trwało to kilka minut. Startup nie posiada algorytmu pozwalającego modyfikować głos, tym samym mój cyfrowy bliźniak będzie przemawiał głosem wypowiadanym naprawdę przeze mnie. Na efekty musimy jednak jeszcze trochę poczekać.
Autor: Maciej Kawecki
