Chociaż to NVIDIA jest liderem w przypadku centrów danych do pracy z AI, to sytuacja może niedługo wyglądać zupełnie inaczej w zastosowaniach na mniejszą skalę.
Szybkość generowania tokenów przestaje być najważniejszym parametrem w świecie lokalnej sztucznej inteligencji. Tak przynajmniej przekonuje AMD, które zestawiło platformę Ryzen AI Halo z konkurencyjnym NVIDIA DGX Spark. W przygotowanym przez producenta teście rozwiązanie z procesorem Ryzen AI Max+ 395 zakończyło pełne zadanie agenta AI o 15% szybciej, mimo że sprzęt Zielonych był sprawniejszy w generowaniu odpowiedzi.
Test AMD pokazuje w jakim kierunku zmierza lokalne AI
Czerwoni zwracają uwagę, że agent AI robi znacznie więcej niż zwykły czatbot. Musi m.in. analizować dokumenty, wykonywać OCR, dzielić dane na fragmenty, tworzyć embeddingi, wyszukiwać informacje, generować odpowiedź i na koniec ją zweryfikować. W wykorzystanym przez firmę scenariuszu HEPA aż siedem z ośmiu etapów wykonywanych było przez CPU, a GPU odpowiadało wyłącznie za generowanie.
Tutaj Ryzen AI Max+ 395 miał pokazać swoją przewagę. Część związana z procesorem zajęła platformie AMD 152,1 sekundy, podczas gdy DGX Spark potrzebował 229,9 sekundy. Oznacza to przewagę na poziomie 34%. Całe zadanie zakończyło się po 311,6 sekundy na sprzęcie AMD oraz 367,1 sekundy na platformie NVIDII. AMD wylicza ponadto, że koszt wykonania pojedynczego takiego zadania może być o 27% niższy.
Oczywiście do wyników warto podchodzić z pewnym dystansem. Benchmark HEPA został przygotowany przez samo AMD, a testowane komputery różniły się nie tylko procesorami, ale także architekturą i środowiskiem programowym. Ryzen AI Halo korzystał z llama.cpp poprzez Vulkan, podczas gdy NVIDIA DGX Spark wykorzystywał CUDA. Sam test dobrze pokazuje jednak kierunek, w którym zmierzają lokalne systemy AI – w przypadku agentów wydajność całej platformy może okazać się ważniejsza niż sama szybkość GPU.
Najnowsze Komentarze