Grok 3 - kolejna generacja modelu AI może się okazać rewolucyjna. Elon Musk wykorzysta tysiące układów NVIDIA H100

Wyścig związany ze sztuczną inteligencją wciąż nabiera tempa. Kolejne firmy zakupują coraz więcej akceleratorów graficznych, które mają za zadanie wprowadzić na rynek modele AI o jeszcze większych możliwościach. Sporo wskazuje na to, że już wkrótce jednym z bardziej liczących się graczy na rynku zostanie startup xAI, za którym stoi Elon Musk. Wszystko przez nadchodzący model Grok 3, którego szkolenie odbędzie się na ogromnej ilości układów od NVIDII.

Elon Musk poinformował, że nadchodząca generacja modelu AI o nazwie Grok 3 będzie wytrenowana z użyciem gigantycznej ilości układów graficznych od NVIDII. Samo tylko szkolenie będzie kosztować ponad 3 mld dolarów.

Grok - Elon Musk prezentuje konkurencję dla ChatGPT. Chatbot będzie jednak bardziej wyluzowany i odpowie na każde pytanie

Grok jest dużym modelem językowym (LLM), który pod koniec 2023 roku został wprowadzony przez Elona Muska, jako chatbot dla Twittera (dzisiejszego X). Początkowo mogli z niego skorzystać jedynie subskrybenci planu X Premium, jednak z czasem jego kod został upubliczniony w serwisie GitHub (licencja Apache 2.0). Aktualnie model AI może również analizować grafiki i wykresy oprócz samego tekstu (Grok-1.5V). W sierpniu 2024 roku ukaże się Grok 2, który do treningu wykorzysta 20 tys. układów NVIDIA H100. Dla porównania model GPT-4, z którego nadal w pewnym stopniu korzysta ChatGPT, był szkolony z użyciem 25 tys. słabszych układów NVIDIA A100 przez 90-100 dni. Nadchodzi jednak nowa generacja Grok 3, która ma wykorzystać aż 100 tys. chipów NVIDIA H100, a warto zaznaczyć, że jeden taki akcelerator kosztuje od 30 do 40 tys. dolarów. Mówimy więc o naprawdę sporej kwocie, a przy tym bardzo dużym przeskoku, jeśli chodzi o możliwości modeli AI, a co za tym idzie samej sztucznej inteligencji. Inwestycja jest ogromna i do tej pory nie było nic podobnego.

Elon Musk składa pozew przeciwko OpenAI. Wymierzony jest w Sama Altmana, choć z równie wielką siłą uderza w Microsoft

Cały projekt będzie pochłaniał jednak naprawdę sporo energii, albowiem jeden chip NVIDIA H100 może pod obciążeniem pobierać nawet 700 W. Mówimy tu więc o poborze mocy na poziomie 70 MW (megawat). Realna wartość będzie zapewne dużo wyższa, ponieważ w podanych wyliczeniach nie uwzględniono innych komponentów, jakie znajdują się w serwerach obliczeniowych. Wkrótce możemy więc doczekać się rewolucji pokroju wprowadzenia ChatGPT na rynek, natomiast dopóki Grok 3 nie zadebiutuje, można jedynie snuć przypuszczenia. Dla lepszego kontekstu: NVIDIA A100 to układ wykonany w 7 nm procesie technologicznym (N7 TSMC) z 40 GB pamięci HBM2e oraz wydajnością FP16 na poziomie 78 TFLOPS. Natomiast NVIDIA H100 to akcelerator stworzony przy użyciu 5 nm procesu TSMC z 80 GB pamięci HBM2e lub HBM3 (w zależności od wersji) o mocy 204,9 TFLOPS (FP16).

Grok 3 end of year after training on 100k H100s should be really something special

— Elon Musk (@elonmusk) July 1, 2024

NVIDIA H100