A cég kutatási irányáról szóló iparági jelentések szerint a Micron állítólag egy újfajta, GPU-hoz közeli NAND flash-en dolgozik, amelyet úgy terveztek, hogy sokkal közelebb kerüljön a grafikus processzorokhoz, mint a hagyományos tároláshoz. Ahelyett, hogy az adatokat a GPU-ból több lépéssel a vezérlők és protokollok lánca mögött parkolná le a meghajtóban, ez a vaku közvetlenül a GPU-csomagon vagy annak áramköri lapján élne, és gyors pufferként működik a memória és a háttértár között.
Az ötlet a mesterséges intelligencia hardverének egy nagyon specifikus problémájára ad választ: hatalmas nagy nyelvi modellek futtatására anélkül, hogy egyre növekvő köteg drága memóriachipekre lenne szükség. Ha ez sikerül, a GPU-hoz közel álló NAND flash megváltoztathatja az AI-gyorsítók felépítését a következő néhány termékgeneráció során.
Mi is valójában a Near-GPU NAND Flash?
A jelenlegi GPU-memóriahierarchiák szinte minden más feletti sebességre épülnek. A nagy sávszélességű memória (HBM) közvetlenül a számítási eszköz mellett helyezkedik el, hatalmas sávszélességet kínálva, de magas gigabájtonkénti költséggel. Ezzel szemben a rendszeres rendszertárolás olcsó és sűrű, de messze van, több szoftver- és hardverrétegen keresztül érhető el, amelyek olyan késleltetést növelnek, amelyet az AI-gyorsító sem akar a következtetés során.
A közel GPU NAND flash a középső réteg a két szélsőség között. Kisebb sűrűségű NAND cellákat használna, mint a fogyasztói SSD-kben található szabványos TLC vagy QLC flash, így némi kapacitással sokkal gyorsabb olvasási időt, jobb I/O-t és nagyobb tartósságot biztosít. A cél nem az, hogy a HBM-et vagy a DRAM-ot lecseréljék, hanem az, hogy a GPU-k nagy, közepesen gyors, potenciálisan több száz gigabájtot biztosítsanak, amely közvetlenül a csomagon található, nem pedig kábelen vagy buszon.
Miért van szükségük a nagy mesterséges intelligencia modelleknek új memóriaszintre?
A nagy nyelvi modellek folyamatosan nőnek, és a futtatásukhoz szükséges memória a paraméterek számával skálázódik. Ha egy modell adatai meghaladják a rendelkezésre álló GPU-memóriát, a rendszereknek vagy több GPU-ra van szükségük a terhelés szétosztásához, vagy elfogadják a teljesítményhiányt, amely a lassabb tárhelyről szállítja az adatokat. Mindkét lehetőség költséges, akár hardverben, akár elpazarolt számítási ciklusokban mérve, amelyek az adatok megérkezésére várnak.
A közel GPU NAND flash célja, hogy enyhítse ezt a korlátot. Azáltal, hogy minden GPU-nak hozzáférést biztosítanak egy nagy, gyors helyi készlethez, amely jobban viselkedik, mint egy memória, mint egy hagyományos meghajtó, a következtetési munkaterhelés sokkal hatékonyabb kapacitást tud felhasználni anélkül, hogy a HBM vagy a DRAM arányos növelését igényelné. Mivel a masszív modellek következtetési munkaterhelését gyakran a memóriakapacitás köti, nem pedig a nyers számítási átvitel, ez a középső szint lehetővé teheti, hogy egy adatközpont nagyobb modelleket fusson kevesebb GPU-n, mint amennyi egyébként szükséges lenne, csökkentve ezzel az amúgy is korlátozott mesterségesintelligencia-hardverellátást.
Hogyan áll szemben a HBM és a rivális koncepciókkal
A Micron nem egyedül kutatja ezt a teret. Az SK hynix és a SanDisk is megvitatták a High Bandwidth Flash (HBF) néven ismert kapcsolódó koncepciót, amely hasonlóképpen a NAND-alapú memóriát közelebb helyezi az AI-következtetési feladatok számításaihoz. A memóriaipar átfogó irányvonala hasonlónak tűnik: a HBM és a DRAM megtartása a leggyorsabb, leginkább késleltetésérzékeny munka érdekében, és vezessen be alatta egy új flash-alapú réteget a tömeges adatokhoz, amelyeknek továbbra is gyorsaknak kell lenniük, csak nem HBM-gyorsaknak.
| Memória szint | Tipikus szerep | Relatív sebesség | Gigabájtonkénti relatív költség |
|---|---|---|---|
| HBM / GDDR7 / LPDDR6 | Elsődleges GPU munkamemória | Legmagasabb | Legmagasabb |
| Közel-GPU NAND vaku (javasolt) | Gyors puffer nagy modelladatokhoz | Közepestől magasig | Mérsékelt |
| Szabványos TLC/QLC SSD tárhely | Tömeges rendszertárolás | A három közül a legalacsonyabb | Legalacsonyabb |
A fellebbezés egyértelmű. A közel GPU NAND flash észrevehetően kevesebbe kerülne, mintha több HBM-et vagy DRAM-ot adnának hozzá, miközben továbbra is úgy méreteznék, amire egy adott rendszernek ténylegesen szüksége van, ahelyett, hogy rögzített, drága memóriakonfigurációkra kényszerítené a vásárlókat.
Mit jelenthet az ipar számára
Ezek közül még egyik sem közelít a szállítási termékhez. A Micron a GPU-hoz közeli NAND flash feltárása továbbra is a kutatási szakaszban van, és nincs megerősített idővonal arra vonatkozóan, hogy mikor, és hogy eléri-e a kereskedelmi GPU-kat vagy az AI-gyorsítókat. Ennek ellenére az irány azt tükrözi, hogy a memória- és tárológyártók hogyan közelednek a mesterséges intelligencia fellendüléséhez, a gyors memória és a lassú tárolás közötti különbséget valódi tervezési lehetőségként kezelik, nem pedig elkerülhetetlen kompromisszumként.
Az adatközpontok üzemeltetői és a mesterséges intelligencia-fejlesztők számára a működőképes, közel GPU-hoz közeli NAND flash réteg végül alacsonyabb hardverköltségeket jelenthet telepített modellenként, és kevésbé támaszkodhat a szűkös, drága HBM-ellátásra. Ez nagyobb versenynyomást is gyakorol a SanDisk nagy sávszélességű flash-munkáján és hasonló erőfeszítéseken dolgozó riválisokra, mivel amelyik vállalat először piacra dob életképes terméket, az jelentős vonzerőre tesz szert az AI-hardvergyártók körében. Tekintettel arra, hogy a kapacitásbővítésért küzdő NAND flash-gyártók milyen központi szerepkörbe kerültek a szélesebb memóriapiacon, ez a fajta speciális, nagy élettartamú flash egy teljesen új bevételi kategóriát nyithat a Micron és versenytársai számára, jóval a hagyományos SSD-k mellett.
A vállalati adattárolás terén már tapasztalható trendeket is visszhangozza, ahol a vállalati teljes flash-tárolótömbök a flash-eket olyan szerepkörökbe helyezték, amelyeket korábban a forgó lemezek számára tartottak fenn. Ugyanennek a logikának a közvetlenül a GPU-csomagokra való alkalmazása a hálózatra csatlakoztatott tárolódobozok helyett természetes következő lépés, mivel az AI-munkaterhelés folyamatosan feszegeti a meglévő hardverek korlátait. Bárki, aki követi, hogy a GPU-memória hogyan alakítja a teljesítményt a fogyasztói grafikus kártyákban, ugyanazt a mögöttes feszültséget sokkal nagyobb léptékben ismeri fel az adatközponti mesterséges intelligencia-gyorsítókban, ahol a memóriakapacitás, nem pedig a nyers számítás, egyre inkább eldönti, hogy egy rendszer valójában mit tud futtatni.
A GPU-hoz közeli NAND flash egyelőre inkább koncepció, mintsem a Micron megerősített terméke. Az, hogy eléri-e a valódi szilíciumot, attól függ, hogy a vállalat mennyire tudja egyensúlyba hozni az állóképességet, a költségeket és a sebességet a modern AI képzési és következtetési igények mellett.