Z punktu widzenia kosztów niezbędnej infrastruktury IT, ChatGPT jest najprawdopodobniej najdroższą usługą świata dostępną dla “zwykłych ludzi” (czyli cywili nie będących naukowcami).
Co więcej, wg przewidywań firmy Nvidia, koszty infrastruktury obsługującej różne projekty AI mają w kolejnych latach mocno rosnąć. Sama Nvidia, która ma ok. 84% udziałów w rynku infrastruktury dla AI, oficjalnie spodziewa się zwiększenia swojej kapitalizacji w ciągu kolejnych 20 lat o szokującą kwotę ponad 300 miliardów dolarów, właśnie dzięki sprzedaży produktów dedykowanych do obsługi AI.
Wracając jednak do OpenAI, co wiemy o kosztach infrastruktury obsługującej ChatGPT i DALL·E:
- przetwarzanie oparte jest na kartach graficznych Nvidia A100, których koszt w zależności od wersji szacowany jest na 10-15 tysięcy dolarów za sztukę
- najprawdopodobniej OpenAI nie kupuje gotowych serwerów Nvidia DGX A100, tylko same karty w hurtowej ilości i samodzielnie składa z nich serwery
- jeszcze w 2020 roku w użyciu było ok. 20 tysięcy takich kart graficznych, a w 2023 ma ich być (i w momencie pisania tych słów prawdopodobnie już jest) ponad 30 tysięcy
- cała infrastruktura składa się z ponad 7500 serwerów, zarządzanych częściowo przez Kubernetesa, a częściowo MPI
- w użyciu jest ok. 200 tysięcy wewnętrznych adresów IP – co w jakimś stopniu determinuje ilość niezbędnego sprzętu sieciowego
- rozbudowa trwa przez cały czas
na początek zakup sprzętu
Spróbujmy policzyć całościowy koszt najpierw w najbardziej oszczędnym wariancie, czyli:
- 10 tysięcy dolarów za jedną kartę A100
- 20 tysięcy kart
- serwery, RAM, macierze do składowania danych, sprzęt sieciowy, szafy, systemy wentylacyjne, systemy zasilania, miejsce w budynkach odpowiedniej klasy, łącza do Internetu itd. – wobec braku szczegółowych danych przyjmijmy że to tylko +20% kosztów samych kart A100
A więc: (10000 * 20000) * 120% = 240 milionów dolarów. To jest absolutne minimum.
Załóżmy jednak bardziej realistyczne liczby:
- 15 tysięcy dolarów za kartę A100 w najbardziej “wypasionej” wersji
- 30 tysięcy kart
- cała reszta sprzętu, miejsca, łącz itd. – przyjmijmy +60% kosztów samych kart
Mamy (15000 * 30000) * 160% = 720 milionów dolarów. To jest naszym zdaniem dość realistyczna kwota:
- plus-minus 100 milionów (bo nie znamy wielu szczegółów)
- minut rabaty, jakie OpenAI (lub Microsoft) dostały od Nvidii
- plus podatki
co z energią elektryczną?
Koszty nie kończą się na zakupie, prąd również kosztuje:
- pojedyncza karta A100 ma nominalne zużycie 400W
- wg oficjalnych danych, cały proces rozwoju modeli LLM dla samego tylko GPT-3 pochłonął 1287 MWh energii
A więc przy 30 tysiącach kart planowanych na rok 2023, do zasilania samych tylko kart graficznych potrzebne jest 12 MW mocy. Dla porównania, 1300 MW zużywa cała Warszawa z populacją 1.86 miliona mieszkańców (wg danych za rok 2019).
W Polsce w 2023 uśredniony koszt 1 kWh wynosi ok. 1 zł, co bardzo upraszcza obliczenia. Sam tylko prąd niezbędny do wytrenowania GPT-3 (poprzednika ChatGPT) kosztowałby prawie 1.3 miliona złotych. I to:
- dla samych tylko kart graficznych, nie licząc pozostałych elementów serwera, oraz wszelkiej pozostałej infrastruktury sieciowej, storage, chłodzenia itd.
- nie licząc też prądu zużywanego przez cały personel pracujący nad usługami i firmą jako taką
- nie licząc bieżącej eksploatacji (czyli właściwej usługi dla użytkowników)
a co z kosztem osobowym?
OpenAI zatrudnia potężną kadrę naukową. Sam tylko Ilya Sutskever zarobił 1.9 miliona dolarów w 2016 roku. Zarobki całego personelu naukowego w 2022 roku są szacowane na ok. 200 milionów dolarów (rocznie!).
Do tego należy doliczyć:
- personel IT zajmujący się składaniem fizycznej infrastruktury, administracją gotowych serwerów i usług, bezpieczeństwem IT itd.
- moderatorów (pracujących dla pośredników, prawdopodobnie m.in. w Malezji) zajmujących się ręczną analizą treści w sytuacjach, gdy nie radzi sobie z tym sam ChatGPT
- wszelki pozostały personel związany z obsługą firmy jako takiej, siedzib, centrów danych itd.
czy to wszystko?
Oczywiście nie. Do wszystkich powyższych kosztów dochodzi bieżąca eksploatacja i długofalowe utrzymanie:
- łącz do Internetu (przypuszczalnie co najmniej kilkadziesiąt gigabitów)
- awarie i inne nieplanowane wymiany sprzętu (tylko wymiany, nie licząc rozbudowy!)
- planowane zużycie sprzętu (np. nośniki)
- koszty związane z infrastrukturą budowlaną – nie tylko prądu, łącz i klimatyzacji, ale też takie rzeczy jak zapewnienie parkingów i dróg dojazdowych (OpenAI w dużej części korzysta z centrów danych Microsoft Azure i sporo tego typu kosztów współdzieli z innymi usługami należącymi do Microsoftu – nie oznacza to jednak, że te koszty znikają)
Ciężko to wszystko precyzyjnie wycenić z uwagi na ilość niewiadomych – można się jednak generalnie spodziewać, że przy opisanej wyżej skali działalności, eksploatacja i długofalowe utrzymanie generują koszty rzędu kilku, być może kilkanastu milionów dolarów rocznie.
czy istnieją droższe usługi?
Tak, ale są to usługi o mniej lub bardziej ograniczonym dostępie:
- do celów militarnych (co najmniej w USA i Chinach), dostępne tylko dla wojska i osób związanych z rządem
- do celów badawczych (realizujące różne projekty, często również dla wojska, choć nie tylko – np. symulacje pogody, albo efektów potencjalnych katastrof naturalnych), dostępne tylko dla naukowców na uczelniach, oraz klientów tych badań
- platformy chmurowe, traktowane i liczone jako całość: Amazon Web Services, Microsoft Azure, Google Cloud, Alibaba Cloud
- wybrane usługi CDN, liczone jako całość: Cloudflare i Akamai
Usługi OpenAI z kosztami idącymi w setki milionów dolarów rocznie są najprawdopodobniej najdroższymi w utrzymaniu usługami na świecie, spośród wszystkich usług internetowych dostępnych dla klientów prywatnych.