- Norėdami įdiegti GPT-OSS AI modelį sistemoje „Windows 11“, pirmiausia atidarykite komandų eilutę (administratorius) ir paleiskite komandą
winget install --id Ollama.Ollama.
- Antra, turite pasirinkti parinktį
gpt-oss:20biš sąrašo ir pateikti klausimą, kad būtų paleistas atsisiuntimas.
- Arba galite naudoti komandinės eilutės įrankį „Ollama“ su komandine eilute (administratorius) ir naudoti komandą
ollama pull gpt-oss:20b , kad atsisiųstumėte ir įdiegtumėte (pavyzdžiui) GPT-OSS lokaliai savo kompiuteryje.
„Windows 11“ sistemoje galite įdiegti ir paleisti naujausią GPT-OSS (atvirojo kodo programinės įrangos) dirbtinio intelekto modelį iš „OpenAI“ savo kompiuteryje, o šiame vadove aprašysiu šios konfigūracijos užbaigimo veiksmus.
GPT-OSS yra tekstinis modelis iš „OpenAI“ atvirojo svorio didelių kalbų modelių šeimos. Šiuo metu turime dvi versijas: „gpt-oss-20b“ (su maždaug 21 mlrd. parametrų) ir „gpt-oss-120b“ (su maždaug 117 mlrd. parametrų), ir jos buvo išleistos pagal „Apache 2.0“ licenciją, leidžiančią visiems jas laisvai atsisiųsti, paleisti, modifikuoti ir platinti.
- gpt-oss-20b: pakankamai kompaktiškas, kad veiktų įprastoje aparatinėje įrangoje su mažiausiai 16 GB atminties (pavyzdžiui, nešiojamuosiuose kompiuteriuose, galinguose telefonuose), ir puikiai atlieka vietines, mažo delsos uždavinius.
- gpt-oss-120b: Tai didesnis modelis, skirtas sudėtingoms mąstymo užduotims, veikiantis aukščiausios klasės sistemose, tokiose kaip vienas 80 GB GPU, ir pasižymi beveik O4 mini lygio našumu.
Šie modeliai palaiko mąstymo grandinę, įrankių naudojimą, ilgus kontekstinius langus ir siūlo konfigūruojamus samprotavimo lygius, pvz., žemą, vidutinį ir aukštą, kad būtų galima lanksčiau.
Ką galiu daryti su GPT-OSS kaip įprastas vartotojas?
Jei esate techniškai išprusęs vartotojas, kūrėjas ar entuziastas, naujieji „OpenAI“ modeliai leidžia paleisti pokalbių robotą lokaliai savo kompiuteryje be prenumeratos ir visiškai kontroliuoti savo duomenis.
Jei esate pasiruošę užduočiai, galite eksperimentuoti, pritaikyti ir tiksliai derinti modelį, nes jis turi „Apache 2.0“ licenciją.
Paprastai GPT-OSS naudotumėte kodavimo pagalbai, sudėtingų problemų sprendimui, pokalbiams ir agentų darbo eigoms . Be to, jį galite naudoti neprisijungę prie interneto.
Kam skirta „OpenAI GPT-OSS“?
Šie dirbtinio intelekto modeliai yra pritaikyti kūrėjams, tyrėjams, akademikams ir technologiškai išprususiems asmenims.
Jei norite paleisti šiuos dirbtinio intelekto modelius lokaliai (nepriklausomai nuo debesies) savo kompiuteryje, paprasčiausias būdas yra naudoti „Ollama“ – atvirojo kodo įrankį , leidžiantį paleisti didelius kalbos modelius tiesiogiai vietiniame kompiuteryje, kuriame veikia „Windows 11“, „10“ ar kita platforma.
Nors dirbtinio intelekto modelius geriausia diegti ir paleisti įrenginiuose su NPU (neuroniniu apdorojimo įrenginiu) , pvz., „Copilot+“ kompiuteryje su „Snapdragon“ procesoriumi, šiuos modelius galite paleisti praktiškai bet kokioje aparatinėje įrangoje. „Ollama“ taip pat bendradarbiauja su „Nvidia“, kad paspartintų GPT-OSS „GeForce RTX“ ir „RTX Pro“ GPU .
Vienintelis mano įspėjimas yra tas, kad be NPU arba palaikančio GPU, dirbtinio intelekto pokalbių robotui gali prireikti labai daug laiko atsakyti į paprastą klausimą.
Šiame vadove aprašysiu veiksmus, kaip nustatyti „Gemma AI“ modelius sistemoje „Windows 11“.
GPT-OSS diegimas sistemoje „Windows 11“ naudojant „Ollama“ (GUI metodas)
Norėdami įdiegti GPT-OSS arba 3n lokaliai sistemoje „Windows 11“, atlikite šiuos veiksmus:
-
Atidarykite „Pradėti“ sistemoje „Windows 11“.
-
Ieškokite komandinės eilutės (arba terminalo ), dešiniuoju pelės mygtuku spustelėkite viršutinį rezultatą ir pasirinkite parinktį „ Vykdyti administratoriaus teisėmis“ .
-
Įveskite šią komandą, kad įdiegtumėte oficialų „Ollama“ įrankį, ir paspauskite „Enter“ :
winget įdiegti --id Ollama.Ollama

-
Spustelėkite mygtuką „Baigti“ , kad užbaigtumėte diegimą.
-
Atidarykite „Ollama“ programėlę iš meniu Pradėti, jei ji nepaleista automatiškai.
-
Spustelėkite dirbtinio intelekto modelio meniu ir pasirinkite parinktį „GPT-OSS:20b“ .

-
Parašykite ir pateikite klausimą, kad pradėtumėte „OpenAI GPT“ modelio atsisiuntimą.

Atlikę veiksmus, galite pradėti naudoti GPT-OSS AI modelį per komandinės eilutės sąsają.
Jei turite „Ollama“ paskyrą , galite prisijungti ir naudoti integruotą žiniatinklio paiešką, kad sujungtumėte modelio galimybes su naujausia internete prieinama informacija.
Jei jums įdomu, „Turbo“ parinktis yra „Ollama“ debesijos pagrindu sukurta paslauga, leidžianti paleisti didelius dirbtinio intelekto modelius naudojant duomenų centro lygio įrangą. Ji sukurta siekiant užtikrinti didelį našumą ir greitį modeliams, kurie gali būti per dideli arba per lėti, kad veiktų vietiniame kompiuteryje. Mėnesio prenumeratos kaina yra 20 USD.
„Ollama“ programėlėje nėra galimybės iš anksto atsisiųsti galimų dirbtinio intelekto modelių. Tačiau šią užduotį galite atlikti naudodami komandinės eilutės įrankį.
GPT-OSS diegimas sistemoje „Windows 11“ naudojant „Ollama“ (CLI metodas)
Norėdami įdiegti „OpenAI GPT-OSS“ lokaliai sistemoje „Windows 11“, atlikite šiuos veiksmus:
-
Atidaryti Pradžia .
-
Ieškokite komandinės eilutės (arba terminalo ), dešiniuoju pelės mygtuku spustelėkite viršutinį rezultatą ir pasirinkite parinktį „ Vykdyti administratoriaus teisėmis“ .
-
Įveskite šią komandą, kad įdiegtumėte oficialų „Ollama“ įrankį, ir paspauskite „Enter“ :
winget įdiegti --id Ollama.Ollama

-
Spustelėkite mygtuką „Baigti“ , kad užbaigtumėte diegimą.
-
(1 parinktis) Įveskite šią komandą, kad vietoje įdiegtumėte mažesnį GPT-OSS AI modelį, ir paspauskite Enter :
būti traukti gpt-oss:20b

Trumpa pastaba: ši komanda atsisiunčia „gpt-oss:20b“ failą, kuriame yra 20 milijardų parametrų. Tačiau taip pat galite naudoti šią gpt-oss:latestparinktį, kad atsisiųstumėte tuo metu prieinamą naujausią modelį.
-
(2 parinktis) Įveskite šią komandą, kad vietoje įdiegtumėte didesnį GPT-OSS AI modelį, ir paspauskite Enter :
būti iškviestam gpt-oss:120b
-
(Pasirinktinai) Įveskite šią komandą, kad patvirtintumėte, jog DI modelis buvo įdiegtas, ir paspauskite „Enter“ :
ollamų sąrašas
-
(Nebūtina) Įveskite šią komandą, kad būtų rodoma (pavyzdžiui) mažesnio GPT-OSS modelio informacija, pvz., konfigūracija ir parametrai, ir paspauskite „Enter“ :
ollama šou gpt-oss:20b

-
Įveskite šią komandą, kad paleistumėte (pavyzdžiui) GTP-OSS modelį, ir paspauskite Enter :
ollama paleisti gpt-oss:20b
Atlikę veiksmus, galite pradėti naudoti naujausią atvirojo kodo GPT AI modelį iš „OpenAI“ per komandinės eilutės sąsają.
Be „Windows“ paketų tvarkyklės („winget“) įdiegimo šiam įrankiui, „Ollama“ diegimo programą visada galite gauti iš oficialaus puslapio arba šio „GitHub“ puslapio.
Taip pat galite naudoti ollama --helpkomandą, norėdami peržiūrėti kitas galimas komandas, o ollama run --helpkomandą – norėdami pateikti konkrečiam modeliui galimų komandų sąrašą.
Jei planuojate kompiuteryje paleisti vieną iš šių dirbtinio intelekto modelių, turėtumėte rinktis „gpt-oss-20b“ modelį dėl jo užimamos vietos ir aparatinės įrangos reikalavimų.
Jei norite naudoti „gpt-oss-120b“ modelį, jums reikės labai galingos aparatinės įrangos, pvz., „NVIDIA“ GPU su bent 80 GB vaizdo atminties, serverio lygio procesoriaus (pvz., „AMD EPYC“ arba „Intel Xeon“), bent 256 GB atminties ir didelės spartos „NVMe“ SSD su bent 500 GB laisvos vietos modelių svoriams ir laikiniesiems failams.