Ze względu na popularyzację AI procesor graficzny NVIDIA Hopper H100 cieszy się dużym popytem, a firma robi wszystko, aby zwiększyć produkcję wspomnianego układu. Chiński entuzjasta postanowił sprawdzić wydajność tego GPU w zwykłym komputerze domowym
Procesor graficzny NVIDIA H100 to bardzo drogi układ. Można spotkać jednostki kosztujące od około 30 000 USD (122 000 PLN) do nawet 50 000 USD (203 000 PLN) . Tak więc cztery takie karty graficzne kosztowałyby ponad 100 000 USD (406 000 PLN), co jest kwotą z pogranicza szaleństwa dla przeciętnego użytkownika.
Co więcej aby przetestować te GPU w konfiguracji x4 w zwykłym PC, konieczne było wykonanie specjalnych nakładek w technologii druku 3D i dodanie wentylatorów, w celu zapewnienia odpowiedniego chłodzenie karty. Jest ona bowiem stworzona z myślą o serwerach, a więc wyposażona wyłącznie w pasywny radiator. Karta graficzna NVIDIA GeForce GTX 1650 Ti została również wykorzystana jako dodatkowa karta graficzna, ponieważ H100 nie oferuje żadnych wyjść wyświetlacza i jest przeznaczona do użytku jako akcelerator obliczeń.
NVIDIA Hopper H100 to obecnie najszybszy na świecie procesor graficzny do obliczeń HPC i AI
Zastosowany wariant NVIDIA H100 to wersja z 80 GB pamięci VRAM i złączem PCIe. Całość wyposażona w 114 procesorów strumieniujących z pełnych 144 SMs w GPU GH100 i 132 SMs w H100 SXM. Układ jako taki oferuje 3200 FP8, 1600 TF16, 800 FP32 i 48 TFLOPs mocy obliczeniowej FP64. Posiada również 456 jednostek tensor i teksturujących z 24 jednostki ROP.
Ze względu na budowę NVIDIA H100 tylko 2 z TPC są dostępne dla standardowych zadań przetwarzania grafiki, podczas gdy cały blok GPU jest przeznaczony głównie do zadań obliczeniowych. Karta wyposażona jest w 80 GB pamięci VRAM typu HBM2e (2,0 Gb/s) na 5120-bitowej szynie danych, a TDP wynosi 350 W.
Zaczynając od testów porównawczych, karta została najpierw przetestowana w ramach testów porównawczych Stable AI Diffusion i chociaż H100 był w stanie wygenerować obraz w ciągu 2,82 sekundy, nadal był wolniejszy niż RTX 4090. Główny problem wynikał z Xformerów, które nie obejmowały wsparcia dla H100, dlatego też zdecydowano się na użycie innego modelu, Donut.
Narzędzie Donut wykorzystało silniki transformatorów znajdujące się w procesorach graficznych Hopper H100 w wersji pytorch 2.0.01, a także umożliwiło obsługę CUDA 11.8. Wydajność w tym przypadku była całkowicie odwrotna, a H100 zapewniał o 30% wyższą prędkość niż układy NVIDIA Geforce RTX 4090 i NVIDIA RTX 6000 Ada. Wykorzystano również do czterech układów GPU H100, aby zobaczyć wydajność skalowania i wygląda na to, że dwa układy H100 oferowały dalsze 43% przyspieszenie, ale w przypadku łączenia 3 czy 4 układów wyglądało to dużo gorzej. Wygląda na to, że standardowe komputery PC po prostu nie są w stanie wykorzystać tak wielu układów GPU H100.
W benchmarku VITS, H100 zapewnił o 23% wyższą wydajność w porównaniu z układami GPU NVIDIA GeForce RTX 4090 i NVIDIA RTX 6000 Ada. Jest to bardzo wymagający pod względem pamięci test i zwiększenie rozmiaru partii nie wpływa na wydajność H100, ponieważ posiada on już 80 GB pamięci, ale GeForce RTX 4090 pozostawał w tyle przy większym rozmiarze partii ze względu na ograniczone 24 GB pamięci VRAM.
Następnie mamy duży model LLAMA w ChatGPT z łącznie 65 miliardami parametrów, z którymi NVIDIA H100 sobie poradził bez problemu. GeForce RTX 4090 może uruchomić tylko modele do 6 miliardów parametrów. Pokazuje to, że przynajmniej w przypadku LLM, GPU do gier nie są rozsądną opcją i lepiej jest zaopatrzyć się w dedykowany akcelerator. W ostatnim zestawie testów porównawczych wykorzystano obciążenia HPC, takie jak LAMMP (28 marca 2023 r.), a GeForce RTX 4090 ani RTX 6000 Ada nie mogły się równać z H100 PCIe, który pokonał oba układy.
Ale jak karta radzi sobie w grach? Tutaj użyto programu 3DMark Time Spy i tytułu Red Dead Redemption 2. Wynik? NVIDIA H100 wypada w grach gorzej niż AMD Radeon 680M, który jest zintegrowanym GPU. Problem wynikał z niedostatecznego wykorzystania i niezoptymalizowanej natury sterowników. Należało się tego spodziewać, ponieważ H100 jest rozwiązaniem pod HPC/AI, w związku z czym nie posiada dedykowanych sterowników do obsługi gier.
W grze Red Dead Redemption 2, karta została uruchomiona z ustawieniami 1080p High i DLSS „Balanced” i nadal zapewniała poniżej 30 FPS. Pobór mocy karty wynosił poniżej 100 W, co pokazuje znaczne niewykorzystanie NVIDIA H100.
Tak więc NVIDIA H100 jest świetną kartą do obciążeń AI i HPC i to wszystko. Jest to bardzo drogi akcelerator, ale ponieważ nie ma konkurencji, która mogłaby mu dorównać, zielony zespół może szaleć z cenami, dopóki AMD i Intel nie zaoferują bardziej konkurencyjnych rozwiązań.
Najnowsze Komentarze