A nyílt forráskódú eszköz összekapcsolja az RTX GPU-kat, a Spark-gépeket és a Mac-eket különböző platformokon
A pontok összekapcsolása: A legtöbb chatbot és ügynöki mesterséges intelligencia továbbra is felhő- és internetalapú infrastruktúrára támaszkodik, de egyes AI-rajongók egyre inkább saját helyi számítástechnikai beállításokat keresnek. Az Nvidia új PAIR szoftvere segítheti a helyi mesterséges intelligencia párt további növekedését.
Az Nvidia új szoftvereszközt mutatott be a helyi következtetési infrastruktúra robbanásszerű elindítására. A Personal AI Router (PAIR) projekt egy nyílt forráskódú szoftver, amelyet arra terveztek, hogy különböző számítógépes rendszereket, akár különböző operációs rendszereket is összekapcsoljon egy egyéni mesterségesintelligencia-fürttel, ahol a chatbotok, AI-ügynökök és más kompatibilis LLM-alkalmazások megosztják a feldolgozási erőforrásokat.
A GPU-gyártó a PAIR-t négy fő jellemzővel rendelkező rendszerként írja le. A szoftverkeret egyetlen mesterséges intelligencia platformba tudja kapcsolni a GeForce RTX játék GPU-kat, a DGX Spark gépeket és a Mac rendszereket. Az Nvidia szerint nincs szükség speciális kábelekre vagy rack hardverre, és az összekapcsolás csak néhány percet vesz igénybe.
Több gép összekapcsolása után a PAIR „hagyományos” helyi következtetési háttérprogramokat futtathat, például az Ollamát és az LM Studio-t, hogy lehetővé tegye a felhasználók számára az AI-munkaterhelések kezelését Windows-, Linux- vagy macOS-gépről. A keretrendszert úgy tervezték, hogy az AI-munkafolyamatokat és a következtetési kéréseket lefoglalja az összes elérhető helyi csomópont között, kihasználva a tétlen számítási erőforrásokat az általános feladat teljesítményének javítására.
A PAIR egy teljesen helyi mesterséges intelligencia-szupergépet biztosíthat. Az adatfájlok, ügynökök és chatbot-lekérdezések a helyi hálózaton belül maradnak anélkül, hogy felhő- vagy internetkapcsolatra lenne szükségük, ami megkönnyebbülést jelenthet a magánélet-tudatos felhasználók és az érzékeny AI-alkalmazások számára.
Az Nvidia a PAIR-t helyi mesterségesintelligencia-platformként pozicionálja, amelyet úgy terveztek, hogy megbízhatóan működjön egy heterogén számítási környezetben anélkül, hogy adatközponti szintű hardverre vagy hatékony szerver AI-gyorsítókra lenne szükség. Az Nvidia termékmenedzsere, Seth Schneider azonban kifejtette, hogy az új szoftverkeret valószínűleg a SOHO-ban és az otthonokban fog működni a legjobban, ahol az idő nagy részében nagy teljesítményű számítógépek tétlenül állnak.
A Schneider egy „ideális” forgatókönyvet kínált: egy apa egy RTX Spark laptopon és egy DGX Spark asztali gépen dolgozik, egy anya egy RTX 5090-es laptoppal, és két gyerek egy asztali játékgéppel és egy MacBook Pro-val. Mindez a nagy teljesítményű hardver körülbelül 165 teraFLOPS számítási teljesítményt és tétlenül tartó „ingyenes tokenek” kincsesbányát tartalmaz, és a PAIR segíthet a kihasználatlan mesterségesintelligencia-kapacitás viszonylagos egyszerű működésében.