Zieloni nie zwalniają tempa i cały czas są pionierami pod względem nowych technologii korzystających z dobrodziejstw AI. Tym razem dostarczyli użytkownikom program pozwalający na pogawędkę z komputerem.
NVIDIA zaprezentowała nową funkcję dla swoich GPU o nazwie Chat with RTX. W porównaniu do ChatGPT, rozwiązanie to działa lokalnie i nie wymaga połączenia z internetem. Dostępne jest dla posiadaczy kart GeForce RTX 3000 oraz RTX 4000. Program oparty jest o technologię TensorRT-LLM, generowanie rozszerzonego pobierania (RAG) oraz akcelerację RTX.
Do poprawnego działania Chat with RTX niezbędna jest karta graficzna wyposażona w 8 GB pamięci VRAM
Chat with RTX od NVIDII stwarza możliwość wykorzystania mocy naszych kart graficznych do zadań związanych ze sztuczną inteligencją w domowym zaciszu. Dotychczas głównym zastosowaniem AI, z którego można było korzystać lokalnie, było generowanie obrazów przy pomocy modeli takich jak Stable Diffusion. Natomiast pole prywatnych chatbotów tkwiło daleko w tyle, przede wszystkim jako ciekawostka dla entuzjastów. Wszystko ze względu na ogromną ilość danych i zasobów, potrzebnych do ich poprawnego funkcjonowania.
Oczywiście, rozwiązanie NVIDII nie jest pierwszym tego typu. Jednak jak to z każdą nową technologią bywa, skonfigurowanie jej dla zwykłych użytkowników może stanowić wyzwanie. Swoim rozwiązaniem Zieloni wyraźnie chcieli uprościć ten proces poprzez stworzenie pojedynczej aplikacji, która działa na komputerze i z którą wchodzimy w interakcję przez przeglądarkę. Sprawia to, że cały proces jest znacznie łatwiejszy, zwłaszcza dla laika.
Chat with RTX to więcej niż zwykły model tekstowy. Może on uzyskać dostęp do różnych formatów plików, w tym *.txt, *.pdf, *.doc/docx i *.xml. Wykorzystuje możliwości popularnych modeli językowych LLM takich jak Mistral czy Llama2 do generowania odpowiedzi, a także może korzystać z zasobów online, takich jak filmy na YouTube.
Na chwilę obecną NVIDIA ogłosiła, że program oficjalnie będzie działał wyłącznie na systemach z kartami graficznymi z serii GeForce RTX 3000 i RTX 4000, bez wzmianki o nieco starszych GeForce RTX 2000. Dodatkowo, do poprawnego funkcjonowanie niezbędne jest co najmniej 8 GB pamięci VRAM. Oznacza to, że edycje kart ze zmniejszoną ilością VRAM, jak na przykład GeForce RTX 3050 6 GB nie będą wystarczające. Zainteresowani tym tematem znajdą wszystkie informacje na oficjalnej stronie NVIDII.
Najnowsze Komentarze