Intel Gaudi 3 - na rynku zadebiutował kolejny akcelerator AI. Układ jest znacznie przystępniejszy cenowo niż NVIDIA H100

Choć rynek sprzętu do obsługi sztucznej inteligencji jest obecnie całkowicie zdominowany przez NVIDIĘ, to inne firmy technologiczne także pracują nad własnymi akceleratorami. Należy do nich także Intel, który właśnie wprowadził na rynek układ Gaudi 3. Rozwiązanie to oferuje dobrą wydajność w określonych zastosowaniach i jest znacznie bardziej przystępne cenowo niż akcelerator NVIDIA H100. To oznacza, że może znaleźć odpowiednią bazę klientów.

Akcelerator Intel Gaudi 3 oferuje w przypadku modeli LLaMA 3 8B i LLaMA 2 70B lepszą wydajność niż NVIDIA H100. Fakt ten, w połączeniu z niższą ceną, może sprawić, że sprzęt znajdzie swoich odbiorców.

Karty graficzne dobijają do ściany wydajności. Ratunkiem według NVIDII jest sztuczna inteligencja, napędzająca np. technikę DLSS

Intel zapowiedział akcelerator Gaudi 3 w kwietniu bieżącego roku. Teraz wreszcie trafił on na rynek. Nie jest to układ, który należy lekceważyć, ponieważ znajdzie on z pewnością zastosowanie w systemach, które nie wymagają topowej wydajności. Od strony technicznej mamy tutaj do czynienia z rozwiązaniem o budowie chipletowej. Oferuje w sumie 64 rdzeni procesorowych Tensor (Tensor Processor Cores), 8 matrycowych silników multiplikacyjnych (Matrix Multiplication Engines) oraz 96 MB pamięci SRAM, o przepustowości 19,2 TB/s. Akcelerator został wyposażony także w 128 GB pamięci HBM2E, ułożonej w osiem stosów. Jej przepustowość to 3,67 TB/s. Nowy układ Intela oferuje znacznie lepszą specyfikację niż jego poprzednik, czyli Gaudi 2. Rozwiązanie poprzedniej generacji posiadało zaledwie 24 TPC, 2 MME i 96 GB pamięci HBM2E.

OpenAI - wiemy coraz więcej o zupełnie nowym procesorze do obsługi sztucznej inteligencji

Szczytowa wydajność obliczeniowa FP8 układu Gaudi 3 wynosi 1835 TFLOPS, przy TDP na poziomie 600 W. W porównaniu do H100 można liczyć na 9% lepszą wydajność wnioskowania przy użyciu modelu LLaMA 3 8B. W przypadku modelu LLaMA 2 70B różnica wynosi aż 19%. Największą zaletą nowego akceleratora Intela jest jednak jego cena. Pojedynczy układ kosztuje około 15,6 tys. dolarów. W przypadku NVIDIA H100 należy liczyć się obecnie z wydatkiem ponad 30 tys. dolarów za egzemplarz. Przy zastosowaniu modelu LLaMA 3 8B oznacza to 80% lepszy stosunek wydajności do ceny niż w przypadku najpopularniejszego akceleratora NVIDII i 100% lepszy stosunek przy wykorzystaniu modelu LLaMA 2 70B. Fakt ten jest nie bez znaczenia dla mniejszych podmiotów, które chciałyby wejść na rynek AI. Oczywiście wiele może tutaj zmienić debiut akceleratorów z rodziny Blackwell, jednak z pewnością będą one sporo droższe niż powszechnie wykorzystywany obecnie układ H100.