Już niedługo możemy zobaczyć gry oferujące możliwość porozmawiania na żywo z postaciami pobocznymi. Wszystko za sprawą nowego AI od Zielonych.
Firmy NVIDIA i Mistral AI wypuściły wspólnie nowy, mały model językowy, który ma cechować się dokładnością znaną z najpopularniejszych rozwiązań, jak ChatGPT od OpenAI, przy jednocześnie minimalnym rozmiarze na dysku. Znany pod nieco przydługą nazwą Mistral-NemMo-Minitron 8B, jest to miniaturowa wersja wcześniejszego NeMo 12B. W porównaniu z poprzednikiem, ilość parametrów została zredukowana z 12 do 8 miliardów.
Nowy model językowy prowadzi w aż 9 benchmarkach dla AI
Jak wyjaśnia Bryan Catanzaro, wiceprezes ds. badań nad głębokim uczeniem w NVIDII, zmniejszenie zostało osiągnięte dzięki dwóm różnym metodom optymalizacji AI. Zespół pracujący nad nowym modelem użył procesu, który łączy tzw. „pruning” i „distillation”. Pierwszy z kroków eliminuje elementy mające najmniejszy wpływ nad dokładność, ale spory na rozmiar modelu. Drugi zaś to ponowny trening na mniejszym zestawie danych.
Zmiany pozwoliły deweloperom na trenowanie sztucznej inteligencji na ułamku pierwotnych informacji, co przyniosło nawet 40-krotne oszczędności w kosztach obliczeniowych modelu. Zazwyczaj rozwiązania tego typu muszą balansować między rozmiarem, a dokładnością. Jednak dzięki nowym technikom opracowanym przez NVIDIĘ i Mistral AI, modele językowe będą teraz w stanie łączyć najlepsze cechy z obu tych światów.
Mistral-NeMo-Minitron 8B wygrywa w aż dziewięciu benchmarkach dla modeli językowych w porównaniu z innymi rozwiązaniami o podobnej puli parametrów. Ilość zaoszczędzonej mocy obliczeniowej jest na tyle duża, że model będziemy mogli uruchamiać lokalnie na laptopach i komputerach stacjonarnych. Korzystanie w ten sposób oznacza, że jego działanie jest szybsze i bardziej bezpieczne w porównaniu do usług działających w chmurze.
Najnowsze Komentarze