Fotogrametria. Zawieść się też trzeba umieć

Wpis, jaki od lipca bardzo chciałem popełnić. Co mnie powstrzymywało, to płonna nadzieja. Jakaś część we mnie liczyła, że zabawa z ustawieniami aplikacji pozwoli uzyskać lepsze rezultaty. Połowa sierpnia jednoznacznie przekreśliła tę nadzieję. A mowa o „RealityScan – 3D Scanning App” od Epic. Aplikacja zainteresowała mnie, jako fana i powoli specjalistę od fotogrametrii. Natknąłem się na informację o niej w czerwcu i w końcu pobrałem na swój telefon. W tym momencie to Samsung Galaxy S20. Więc nie jakaś tam byle zabawka, a swego czasu, flagowy aparat serii. Dlaczego to ma znaczenie? Bo telefon i jego aparaty to, jak najbardziej, rozwiązanie mogące dawać profesjonalne, produkcyjne rezultaty w fotogrametrii. Udowodniły to choćby modele, jakie przygotowałem w maju. Tylko trzeba wiedzieć jak to robić i żywiłem, płonne, nadzieje że propozycja od firmy Epic może na coś się przydać. A wniosek po wykonaniu blisko 20 różnych modeli jest prosty. Jakościowo są one o kant d*** rozbić. W swoich wcześniejszych wersjach aplikacja była narzędziem mogącym uzyskany skan 3D wysłać do serwisu sketchfab. Dla niewtajemniczonych, to cyfrowy sklep w jakim można przeglądać bardzo bogaty katalog modeli 3D. Można je też naturalnie za pieniądze kupić. I taki zakup zastosować w różnych scenariuszach i projektach. Sklep był docelowo miejscem, w jakim można było zamieścić zeskanowany RealityScan’em obiekt. W wersji aplikacji jaką można teraz pobrać ze sklepu Google Play (i o ile wiem z AppStore Apple także) można teraz wyeksportować model do formatu .glb. Tak pozyskany model można wprowadzić do wielu różnych programów do 3D. I to właśnie odblokowanie tej propozycji zadecydowało o moim zainteresowaniu. Wcześniej nie byłem skłonny bawić się tym rozwiązaniem, bo nie dawało ono opcji dalszej pracy z pozyskanym modelem. Pozwalało tylko model wgrać na wspomniany sklep. Nie powiem, że nie miał tu też znaczenia film, jaki o tym opublikował twórca, youtuber askNK. Którego filmów już NIE polecam. W sumie, nie uważałem go też nigdy za dobrego twórcę. Mniejsza.

Wrażenia

Jak więc wygląda praca z RealityScan – 3D Scanning App” od Epic? O tym za chwilę. Po pierwsze uświadomię wszystkim, że to rozwiązanie chmurowe. To znaczy, że obliczeń na pozyskanych zdjęciach nie dokonuje ani twój telefon, ani twój komputer, a serwer Epic’a gdzieś na świecie. Więc, aby korzystać z tej technologii trzeba założyć (lub zalogować się na już istniejące) konto w ramach usług internetowych Epic. Trzeba także, naturalnie, zaakceptować Warunki Usługi. W nich znów jest sekcja dotycząca zdjęć jakie w ramach aplikacji się wykona.

You also hereby grant Licensor a non-exclusive, fully-paid, royalty-free, irrevocable, perpetual, transferable, sublicensable license to retain, reproduce, modify and otherwise use the photos, videos, images and other scans you capture with or otherwise import into the Software and related metadata (“Scans”) for the limited purpose of training and improving the Software and other products and services of Licensor and its affiliates. For clarity, this license does not give Licensor permission to incorporate your Scans into a product, service or advertisement. However, you may opt out of granting this license in the Software’s settings.

I tym sposobem w sumie zrzekamy się wyłącznego prawa do efektów swojej pracy. To już standard współczesnej twórczości internetowej i nie będę nad tym w żaden sposób ubolewał. Daję tylko jednoznacznie do zrozumienia co tu się dzieje. A w sumie wyjdzie, że nie jest to warte funta kłaków. Aplikacja. Tak? O tym to mówiłem. Przy pierwszym uruchomieniu odtwarza kilka pomocnych wskazówek. Takich samouczków dla mniej zorientowanych. Korzysta następnie z aparatu urządzenia mobilnego. Gdy rozpoczniemy skanowanie odtwarza w jego wnętrzu obraz oglądany przez obiektyw i… robi zdjęcia. Wskażę, że robi to sama. Operujący urządzeniem nie robi zdjęć, tylko chodzi i przesuwa aparat wokoło skanowanego obiektu. Po kilkunastu zdjęciach oprogramowanie zaczyna nakładać na widziany obraz z aparatu same zdjęcia już wykonane. Dokładniej ich pozycję w przestrzeni. I pokazuje tzw. chmurę punktów w kolorach od zieleni po czerwień. Kolor zielony ukazuje przestrzeń gdzie detali jest dużo i skan potencjalnie będzie miał dobrą jakość. Pomarańczowy i czerwony sugeruje, aby wykonać więcej zdjęć w tych obszarach, dla poprawy jakości skanowania. Po zakończeniu procesu dokonuje się „obramowania” punktów za pomocą dość prostego rzutowania. Mówi się aplikacji i algorytmom, gdzie dokładnie jest obiekt. Algorytm to w końcu głąb i nie potrafi odróżniać elementów skanu. Pokaże wszystkie pozyskane punkty, także te niebieskie, jakie są niebem dla przykładu. Po wykonaniu skanu zdjęcia razem z instrukcjami wysyłane są na serwer chmurowy. Użytkownik dostaje możliwość nazwania swojego projektu i musi cierpliwie poczekać aż procesowanie pozyskanych danych się zakończy. W moim doświadczeniu nie trwało to bardzo długo. Pliki finalne z modelem bywały gotowe po 15 lub 20 minutach. Pobierałem je na telefon. Potem wysyłałem na dysk sieciowy (Google Drive) i mogłem na nich pracować już na swoich maszynach do obliczeń.

Ograniczenia

Nie jest jednak tak dobrze. Aplikacja ma swoje ograniczenia. Po pierwsze robi 250 zdjęć. Można zrobić mniej, ale to górna granica. Z doświadczenia wiem, że to zazwyczaj wystarczy, ale powiedźmy sobie szczerze to może też być za mało. Obiekty jakie skanowałem w maju i czerwcu zazwyczaj skanowałem 300 zdjęciami. Innym ograniczeniem jest brak wpływu na te zdjęcia. Aplikacja robi je sama, bez jakiejkolwiek konsultacji. Ma w swoich ustawieniach tylko dwa tryby wykonywania tych zdjęć. Pierwszy „Smooth,” który jest opisany jako przystosowany do szybszego generowania siatki. I drugi, „Detailed,” który dać ma więcej poligonów, ale i wydłuża czas generowania modelu. Przetestowałem oba. Nie widzę różnicy: ani w modelach, ani w czasie ich opracowania przez serwery usługi.

Efekty? Mizerne

W końcu powiedźmy o uzyskanych modelach. Mam na wyrenderowanych obrazach dla was 12 modeli. Te, które zdecydowałem się tu pokazać, skanowano w środku dnia w pomieszczeniu. Nie sięgałem po sztuczne światło, bo do fotogrametrii nie jest potrzebne idealne oświetlenie (choć może pomóc). Obiekty mogłem zeskanować dobrze z każdej strony i to dość dokładnie. Ilość wykonanych zdjęć prawie zawsze to limit 250. Dodam też, że z racji wielkości przedmiotów mogłem je skanować także z góry i „z poziomu gruntu.” Wykonane chmury punktów sugerują na serio dobrze zrobione skany. Tzw. polycount modeli waha się od 90 000, przez 120 000, 200 000 i 250 000 po nawet 1 000 000, choć ten ostatni to śmieszna część tej historii. O tym za chwilę. A efekt? Bardzo słaby. Zobaczcie sami. Jeśli chcecie zobaczyć modele lepiej polecam otworzyć obraz pierwszy tutaj i obraz drugi tutaj, w osobnych zakładkach, w rozdzielczości 4K (3840 x 2160). Co widać dokładnie, modele są poszarpane na krawędziach, prawie każdy, który jest wyższy ma niezachowane górne krawędzie. W przypadku roślin, jakie skanowałem w lipcu widać błędy w listowiu. Liście mają potężne dziury, podobnie jak doniczki. W drugich skanach, jakie wykonałem w sierpniu (w ten sam dzień, w jaki pisałem ten wpis) także jest źle. Bałwanek (maskotka na drugim obrazie) ma bardzo dobrze widoczne wgłębienia w strukturze. Wygląda to po prostu koszmarnie. Te modele nie są do realnego użytku w jakichkolwiek projektach, nie mówiąc już, że żadnym nie chciałbym się chwalić w sklepie takim, jak sketchfab. A z ostatnim to już serio było zabawnie. Oto obraz numer 3, w większej rozdzielczości tutaj. Nie zgadniecie, co na nim miało być. A miała to być kolorowa, nie ułożona kostka Rubika. Po pierwsze, na zdjęciu jej nie znajdziecie, choć robiłem ten skan dokładnie tak samo jak pozostałe. Wybrałem ograniczenia tak, aby wskazać kostkę. I.. To co na zdjęciu, to było wszystko na co było stać algorytm… to złapać i zbudować model wszystkiego co kostkę otaczało. A po samej kostce, która była na szarym materiale w środku zdjęcia, nie ma nawet śladu.

Wniosek

Jak chcesz coś zrobić dobrze, to nie ma co. Nie daj sobie wmówić, że rozwiązania wielkich korporacji mogą Ci jakoś pomóc. Na pewno nie może ci pomóc w fotogrametrii „RealityScan – 3D Scanning App” od Epic. To aplikacja dająca nieprodukcyjne, niskiej jakości rezultaty. I jest jeszcze obarczona ryzykiem, że wykonana przez Ciebie praca trafi do wielkiego zbioru danych, jakim Epic zrobi „sobie dobrze” a już na pewno niewiele Ci pomoże. Jedyne, co może da się z niektórych z tych modeli zrobić, to jakoś odratować je techniką znaną jako retopologia. Zrobiłem to z figurką aniołka na początku przygody z fotogrametrią. Efekt tego procesu można zobaczyć tutaj. Polega ona na uproszczeniu siatki bardzo szczegółowej (patrz ta po lewej stronie obrazu) do o wiele prostszej, ale nadal posiadającej wiele charakterystycznych części formy skanowanego obiektu (po prawej). Do niczego innego modele z RealityScan się po prostu nie nadają. Aplikację odinstaluję i w nadchodzących dniach będę dalej pracował nad moimi projektami. Tylko skupiając się na zdjęciach, jakie mogę zrobić sam. Myślę, że brak jakości w finalnych skanach z opisywanego narzędzia to efekt całkowitego braku ustawień dotyczących budowania chmury punktowej i późniejszej siatki. Aplikacja nie daje żadnych realnych opcji, aby modyfikować te obliczenia. To tylko pozbawia kontroli nad tym co się realnie dzieje. A efekty tego właśnie Wam zademonstrowałem.