NPC w grach jak żywe. Wszystko dzięki NVIDII

Technologia ACE, która tworzy realistyczne i interaktywne postacie niezależne za pomocą sztucznej inteligencji, jest teraz jeszcze lepsza dzięki nowemu zestawowi NeMo SteerLM.

Podczas targów Computex 2023, firma NVIDIA zaprezentowała ACE (Avatar Cloud Engine), innowacyjne narzędzie zdolne do tworzenia NPC za pomocą zaawansowanej struktury opartej na AI. Stworzone w ten sposób postacie niezależne znajdują zastosowanie w różnych aplikacjach, w tym grach i Omniverse. Głównym celem technologii jest osiągnięcie bardziej realistycznego zachowania i reakcji autonomicznych na działania gracza. Można to porównać do proceduralnego generowania postaci niezależnych, jednak z wykorzystaniem AI.

NVIDIA ACE pokazuje przyszłość gier dzięki realistycznym, wiarygodnym i interaktywnym postaciom niezależnym

NVIDIA przedstawia następujący podział fundamentów swojego modelu:

• NVIDIA NeMo – służy do konstruowania, dostosowywania oraz wdrożenia modeli językowych z wykorzystaniem poufnych danych. Rozległe modele językowe mogą być adaptowane poprzez historię postaci i wydarzeń, a także chronione przed rozmowami niewydajnymi lub nieodpowiednimi dzięki funkcji NeMo Guardrails.
• NVIDIA Riva – zapewnia automatyczne rozpoznawanie mowy i konwersję tekstu na mowę, umożliwiając płynną komunikację w czasie rzeczywistym.
• NVIDIA Omniverse Audio2Face – pozwala na natychmiastową kreację wyrazistej animacji twarzy postaci w grach, synchronizowanej z dowolnym przekształceniem mowy. Audio2Face posiada interfejsy Omniverse dla silnika Unreal Engine 5, co umożliwia deweloperom bezpośrednie dodawanie animacji twarzy do postaci MetaHuman.

NVIDIA ACE działa poprzez odbieranie poleceń głosowych gracza, które są na początku przekształcane na dane za pośrednictwem modelu speech-to-text w technologii Riva. Następnie tekst jest przekazywany do NeMo, obszernego modelu językowego (LLM) opartego na sztucznej inteligencji. NeMo generuje odpowiedź dla gracza i znowu przekazuje ją do Riva w celu przekształcenia tekstu z powrotem w mowę. Te dane są następnie przetwarzane przez silnik Omniverse Audio2Face, który generuje autentyczną animację twarzy odpowiadającą tekstowi wypowiadanemu przez NPC. Tak w skrócie można opisać działanie technologii ACE.

W celu dalszego wzmocnienia potencjału technologii ACE, NVIDIA wprowadziła nowy zestaw narzędzi NeMo SteerLM. Ten dodatkowy model językowy dodaje konfigurowalne parametry i atrybuty do silnika ACE, aby rozszerzyć jego funkcjonalność. Przykładowo, można sprawić aby postać autonomiczna reagowała w konkretny sposób, oparty na określonych cechach, zamiast polegać na wcześniej zaprogramowanych reakcjach. Twórca może zdecydować, aby odpowiedź NPC była np. humorystyczna, sarkastyczna, pełna gniewu itd..

Obecnie wykorzystywana technologia wciąż znajduje się we wczesnym stadium rozwoju. Pierwszymi grami korzystającymi z NVIDIA ACE mają być tytuły takie STALKER 2 i Fort Solis.