Az OpenAI GPT-OSS AI modell telepítése Windows 11 rendszerre

• A GPT-OSS AI modell Windows 11 rendszerre telepítéséhez először nyissa meg a Parancssort (admin) és futtassa a winget install --id Ollama.Ollamaparancsot.
• Másodszor, ki kell választania gpt-oss:20ba listából a megfelelő opciót, és be kell nyújtania egy kérdést a letöltés elindításához.
• Alternatív megoldásként használhatja az Ollama parancssori eszközt a Parancssorral (admin), és a ollama pull gpt-oss:20b paranccsal letöltheti és telepítheti (például) a GPT-OSS-t helyileg a számítógépére.

Windows 11 rendszeren telepítheted és futtathatod az OpenAI legújabb GPT-OSS (nyílt forráskódú szoftver) mesterséges intelligencia modelljét helyileg a számítógépeden, és ebben az útmutatóban felvázolom a konfiguráció végrehajtásának lépéseit.

A GPT-OSS egy szövegalapú modell az OpenAI nyílt súlyú, nagy nyelvi modellek családjából. Jelenleg két verzióval rendelkezünk, a gpt-oss-20b- vel (körülbelül 21 milliárd paraméterrel) és a gpt-oss-120b- vel (körülbelül 117 milliárd paraméterrel), és ezek az Apache 2.0 licenc alatt jelentek meg, így bárki letöltheti, futtathatja, módosíthatja és szabadon terjesztheti őket.

• gpt-oss-20b: Elég kompakt ahhoz, hogy legalább 16 GB memóriával rendelkező hagyományos hardvereken (például laptopokon, nagy teljesítményű telefonokon) fusson, és kiválóan teljesít a helyi, alacsony késleltetésű feladatokban.
• gpt-oss-120b: Ez a nagyobb modell, amelyet nagy teljesítményű logikai feladatokhoz terveztek, és csúcskategóriás konfigurációkon, például egyetlen 80 GB-os GPU-val fut, és közel O4-mini teljesítményt nyújt.

Ezek a modellek támogatják a gondolatláncon alapuló érvelést, az eszközhasználatot, a hosszú kontextusú ablakokat, és a rugalmasság érdekében konfigurálható érvelési szinteket kínálnak, például alacsony, közepes és magas szintet.

Mit tehetek a GPT-OSS-sel normál felhasználóként?

Ha tech-hozzáértő felhasználó, fejlesztő vagy lelkes rajongó vagy, az új OpenAI modellek lehetővé teszik, hogy a chatbotot helyben, a számítógépeden futtasd előfizetés nélkül, és teljes mértékben ellenőrizd az adataid felett.

Ha készen állsz a feladatra, kísérletezhetsz, testreszabhatod és finomhangolhatod a modellt, mivel Apache 2.0 licenccel rendelkezik.

A GPT-OSS-t általában kódolási segítségnyújtáshoz, összetett problémamegoldáshoz, beszélgetésekhez és ügynöki munkafolyamatokhoz használnád . Ezenkívül offline is használható internetkapcsolat nélkül. 

Kik a célközönség az OpenAI GPT-OSS számára?

Ezek a mesterséges intelligencia modellek fejlesztők, kutatók, akadémikusok és tech-hozzáértő egyének számára készültek.

Ha ezeket a mesterséges intelligencia modelleket helyben (a felhőtől függetlenül) szeretné futtatni a számítógépén, a legegyszerűbb módszer az Ollama használata , amely egy nyílt forráskódú eszköz , amely lehetővé teszi a nagy nyelvi modellek közvetlen futtatását a Windows 11, 10 vagy más platformot futtató helyi számítógépen.

Bár a mesterséges intelligencia modelljeit a legjobb NPU-val (neurális feldolgozó egység) rendelkező eszközökön telepíteni és futtatni , például egy Snapdragon processzorral rendelkező Copilot+ PC-n, ezeket a modelleket gyakorlatilag bármilyen hardveren futtatni lehet. Az Ollama az Nvidiával is együttműködik a GPT-OSS felgyorsításában GeForce RTX és RTX Pro GPU-kon . 

Az egyetlen kikötésem az, hogy NPU vagy arra alkalmas GPU nélkül a mesterséges intelligencia által vezérelt chatbotnak nagyon sokáig tarthat egy egyszerű kérdés megválaszolása.

Ebben az útmutatóban felvázolom a Gemma AI modellek Windows 11 rendszeren történő beállításának lépéseit.

• GPT-OSS telepítése Windows 11 rendszerre Ollama segítségével (GUI módszer)
• GPT-OSS telepítése Windows 11 rendszerre Ollama segítségével (CLI módszer)

GPT-OSS telepítése Windows 11 rendszerre Ollama segítségével (GUI módszer)

A GPT-OSS vagy a 3n helyi telepítéséhez Windows 11 rendszeren kövesse az alábbi lépéseket:

1. Nyissa meg a Start menüt a Windows 11 rendszeren.

    

    

2. Keresse meg a Parancssor (vagy Terminál ) kifejezést, kattintson a jobb gombbal a legfelső találatra, és válassza a Futtatás rendszergazdaként  lehetőséget.

3. Írd be ezt a parancsot a hivatalos Ollama eszköz telepítéséhez, és nyomd meg az Enter billentyűt :

   winget install --id Ollama.Ollama

   

4. A telepítés befejezéséhez kattintson a Befejezés gombra.

5. Nyissa meg az Ollama alkalmazást a Start menüből, ha az nem indult el automatikusan.

6. Kattintson a mesterséges intelligencia modell menüjére, és válassza a „GPT-OSS:20b” lehetőséget.

   

7. Írj és küldj be egy kérdést az OpenAI GPT modell letöltésének megkezdéséhez.

   

Miután elvégezte a lépéseket, elkezdheti használni a GPT-OSS AI modellt a parancssori felületen keresztül.

Ha van Ollama fiókod , bejelentkezhetsz a beépített webes kereséshez, hogy a modell képességeit a legfrissebb online információkkal kombináld.

Ha esetleg kíváncsi lennél, a Turbo opció az Ollama felhőalapú szolgáltatása, amely lehetővé teszi nagyméretű MI-modellek futtatását adatközpont-szintű hardverek használatával. Úgy tervezték, hogy nagy teljesítményt és sebességet biztosítson azoknak a modelleknek, amelyek túl nagyok vagy túl lassúak lennének ahhoz, hogy egy helyi számítógépen futtassanak. A havi előfizetés ára 20 dollár.

Az Ollama alkalmazás nem kínál lehetőséget az elérhető MI-modellek előzetes letöltésére. Ezt a feladatot azonban elvégezheti a parancssori eszközből.

GPT-OSS telepítése Windows 11 rendszerre Ollama segítségével (CLI módszer)

Az OpenAI GPT-OSS helyi telepítéséhez Windows 11 rendszeren kövesse az alábbi lépéseket:

1. Nyissa meg a Start menüt .

2. Keresse meg a Parancssor (vagy Terminál ) kifejezést, kattintson a jobb gombbal a legfelső találatra, és válassza a Futtatás rendszergazdaként  lehetőséget.

3. Írd be ezt a parancsot a hivatalos Ollama eszköz telepítéséhez, és nyomd meg az Enter billentyűt :

   winget install --id Ollama.Ollama

   

4. A telepítés befejezéséhez kattintson a Befejezés gombra.

5. (1. opció) Írja be ezt a parancsot a kisebb GPT-OSS AI modell helyi telepítéséhez, majd nyomja meg az Enter billentyűt :

   ollama pull gpt-oss:20b

   

   Gyors megjegyzés: Ez a parancs letölti a gpt-oss:20b fájlt, amely 20 milliárd paramétert tartalmaz. Használhatod azonban gpt-oss:latesta legújabb, aktuálisan elérhető modell letöltésére szolgáló opciót is.

6. (2. lehetőség) Írja be ezt a parancsot a nagyobb GPT-OSS AI modell helyi telepítéséhez, majd nyomja meg az Enter billentyűt :

   ollama pull gpt-oss:120b

7. (Választható) Írja be ezt a parancsot a mesterséges intelligencia modell telepítésének megerősítéséhez, majd nyomja meg az Enter billentyűt :

   ollama lista

8. (Választható) Írja be ezt a parancsot a kisebb GPT-OSS modell részleteinek, például a konfigurációnak és a paramétereknek a megjelenítéséhez, majd nyomja meg az Enter billentyűt :

   ollama show gpt-oss:20b

   

9. Írd be ezt a parancsot (például) a GTP-OSS modell futtatásához, és nyomd meg az Enter billentyűt :

   ollama futtatja a gpt-oss:20b-t

Miután elvégezte a lépéseket, elkezdheti használni az OpenAI legújabb nyílt forráskódú GPT AI modelljét a parancssori felületen keresztül.

A Windows Csomagkezelő (winget) használata mellett a telepítéshez az Ollama telepítőjét mindig letöltheti a hivatalos oldaláról vagy erről a GitHub oldalról. 

A ollama --helpparancs segítségével megtekintheti a többi elérhető parancsot, a ollama run --helpparancs pedig egy adott modellhez elérhető parancsok listázását teszi lehetővé.

Ha ezen MI-modellek egyikét tervezed futtatni a számítógépeden, akkor a gpt-oss-20b modellt válaszd a helyigénye és hardverkövetelményei miatt.

Ha a gpt-oss-120b modellt szeretnéd használni , akkor nagyon erős hardverre lesz szükséged, például egy NVIDIA GPU-ra legalább 80 GB VRAM-mal, szerver szintű processzorra (például AMD EPYC vagy Intel Xeon), legalább 256 GB memóriára, valamint egy nagy sebességű NVMe SSD-re legalább 500 GB szabad tárhellyel a modell súlyainak és az ideiglenes fájloknak.