Kako namestiti model umetne inteligence OpenAI GPT-OSS v sistem Windows 11

• Če želite namestiti model umetne inteligence GPT-OSS v sistemu Windows 11, najprej odprite ukazni poziv (skrbnik) in zaženite ukaz winget install --id Ollama.Ollama.
• Drugič, izbrati morate gpt-oss:20bmožnost s seznama in poslati vprašanje, da sprožite prenos.
• Lahko pa uporabite orodje ukazne vrstice Ollama z ukaznim pozivom (admin) in z ukazom ollama pull gpt-oss:20b prenesete in namestite (na primer) GPT-OSS lokalno v računalnik.

V sistemu Windows 11 lahko lokalno v računalniku namestite in zaženete najnovejši model umetne inteligence GPT-OSS (odprtokodna programska oprema) podjetja OpenAI, v tem priročniku pa bom opisal korake za dokončanje te konfiguracije.

GPT-OSS je besedilni model iz družine odprtokasnih velikih jezikovnih modelov OpenAI. Trenutno imamo dve različici, vključno z gpt-oss-20b (s približno 21B parametri) in gpt-oss-120b (s približno 117B parametri), in sta bili izdani pod licenco Apache 2.0, ki omogoča vsakomur, da ju prosto prenese, zažene, spremeni in distribuira.

• gpt-oss-20b: Dovolj kompakten za delovanje na običajni strojni opremi z najmanj 16 GB pomnilnika (na primer prenosniki, zmogljivi telefoni) in se odlično obnese pri lokalnih nalogah z nizko zakasnitvijo.
• gpt-oss-120b: Gre za večji model, zasnovan za zmogljive naloge sklepanja, ki deluje na vrhunskih nastavitvah, kot je en sam 80GB GPU, in ponuja skoraj O4-mini zmogljivost.

Ti modeli podpirajo sklepanje po verigi misli, uporabo orodij, dolga kontekstna okna in ponujajo nastavljive ravni sklepanja, kot so nizka, srednja in visoka, za večjo prilagodljivost.

Kaj lahko kot običajen uporabnik storim z GPT-OSS?

Če ste tehnološko podkovan uporabnik, razvijalec ali navdušenec, vam novi modeli OpenAI omogočajo, da klepetalni robot zaženete lokalno v računalniku brez naročnine in s popolnim nadzorom nad svojimi podatki.

Če ste kos nalogi, lahko model eksperimentirate, prilagajate in izpopolnjujete, saj ima licenco Apache 2.0.

Običajno bi GPT-OSS uporabljali za pomoč pri kodiranju, reševanje kompleksnih problemov, pogovore in agentske delovne procese . Poleg tega ga lahko uporabljate brez povezave, brez internetne povezave. 

Kdo je ciljna publika za OpenAI GPT-OSS?

Ti modeli umetne inteligence so prilagojeni razvijalcem, raziskovalcem, akademikom in tehnološko podkovanim posameznikom.

Če želite te modele umetne inteligence zagnati lokalno (neodvisno od oblaka) v računalniku, je najlažji način uporaba Ollame , ki je orodje z odprto kodo , ki vam omogoča zagon velikih jezikovnih modelov neposredno v lokalnem računalniku z operacijskim sistemom Windows 11, 10 ali drugo platformo.

Čeprav je modele umetne inteligence najbolje namestiti in zagnati v napravah z NPU (nevronsko procesno enoto) , kot je na primer računalnik Copilot+ s procesorjem Snapdragon, lahko te modele zaženete na praktično kateri koli strojni opremi. Ollama sodeluje tudi z Nvidio pri pospeševanju GPT-OSS na grafičnih procesorjih GeForce RTX in RTX Pro . 

Moja edina opozorilo je, da lahko brez NPU-ja ali zmogljivega grafičnega procesorja klepetalni robot z umetno inteligenco traja zelo dolgo, da odgovori na preprosto vprašanje.

V tem priročniku bom opisal korake za nastavitev modelov umetne inteligence Gemma v sistemu Windows 11.

• Namestitev GPT-OSS v sistemu Windows 11 z Ollamo (metoda z grafičnim uporabniškim vmesnikom)
• Namestitev GPT-OSS v sistemu Windows 11 z Ollamo (metoda CLI)

Namestitev GPT-OSS v sistemu Windows 11 z Ollamo (metoda z grafičnim uporabniškim vmesnikom)

Če želite GPT-OSS ali 3n namestiti lokalno v sistemu Windows 11, sledite tem korakom:

1. Odprite Start v sistemu Windows 11.

    

    

2. Poiščite » Ukazni poziv« (ali »Terminal «), z desno tipko miške kliknite zgornji rezultat in izberite možnost » Zaženi kot skrbnik«  .

3. Vnesite ta ukaz za namestitev uradnega orodja Ollama in pritisnite Enter :

   winget install --id Ollama.Ollama

   

4. Kliknite gumb Dokončaj , da dokončate namestitev.

5. Odprite aplikacijo Ollama iz menija Start, če se ni zagnala samodejno.

6. Kliknite meni modela umetne inteligence in izberite možnost »GPT-OSS:20b« .

   

7. Sestavite in oddajte vprašanje, da začnete prenos modela OpenAI GPT.

   

Ko zaključite korake, lahko začnete uporabljati model umetne inteligence GPT-OSS prek vmesnika ukazne vrstice.

Če imate račun Ollama , se lahko prijavite in uporabite vgrajeno spletno iskanje, s katerim združite zmogljivosti modela z najnovejšimi informacijami, ki so na voljo na spletu.

Če se sprašujete, je možnost Turbo storitev v oblaku podjetja Ollama, ki vam omogoča zagon velikih modelov umetne inteligence z uporabo strojne opreme podatkovnega centra. Zasnovana je tako, da zagotavlja visoko zmogljivost in hitrost za modele, ki so morda preveliki ali prepočasni za delovanje v lokalnem računalniku. Mesečna naročnina stane 20 USD.

Aplikacija Ollama ne ponuja možnosti predhodnega prenosa razpoložljivih modelov umetne inteligence. Vendar pa lahko to nalogo opravite z orodjem ukazne vrstice.

Namestitev GPT-OSS v sistemu Windows 11 z Ollamo (metoda CLI)

Če želite OpenAI GPT-OSS namestiti lokalno v sistem Windows 11, sledite tem korakom:

1. Odprite Začetek .

2. Poiščite » Ukazni poziv« (ali »Terminal «), z desno tipko miške kliknite zgornji rezultat in izberite možnost » Zaženi kot skrbnik«  .

3. Vnesite ta ukaz za namestitev uradnega orodja Ollama in pritisnite Enter :

   winget install --id Ollama.Ollama

   

4. Kliknite gumb Dokončaj , da dokončate namestitev.

5. (Možnost 1) Vnesite ta ukaz, da lokalno namestite manjši model umetne inteligence GPT-OSS, in pritisnite Enter :

   ollama pull gpt-oss:20b

   

   Kratka opomba: Ta ukaz prenese datoteko gpt-oss:20b, ki vključuje 20 milijard parametrov. Lahko pa uporabite tudi možnost gpt-oss:latestprenosa najnovejšega modela, ki je trenutno na voljo.

6. (Možnost 2) Vnesite ta ukaz, da lokalno namestite večji model umetne inteligence GPT-OSS in pritisnite Enter :

   ollama pull gpt-oss:120b

7. (Neobvezno) Vnesite ta ukaz, da potrdite namestitev modela umetne inteligence, in pritisnite Enter :

   seznam ollama

8. (Neobvezno) Vnesite ta ukaz, da prikažete podrobnosti (na primer) manjšega modela GPT-OSS, kot so konfiguracija in parametri, in pritisnite Enter :

   ollama prikaži gpt-oss:20b

   

9. Vnesite ta ukaz, da zaženete (na primer) model GTP-OSS, in pritisnite Enter :

   ollama zaženi gpt-oss:20b

Ko zaključite korake, lahko prek vmesnika ukazne vrstice začnete uporabljati najnovejši odprtokodni model umetne inteligence GPT podjetja OpenAI.

Poleg uporabe upravitelja paketov Windows (winget) za namestitev tega orodja lahko namestitveni program Ollama vedno dobite z njegove uradne strani ali te strani GitHub . 

Ukaz lahko uporabite tudi ollama --helpza ogled drugih razpoložljivih ukazov, ollama run --helpukaz pa za seznam ukazov, ki so na voljo za določen model.

Če nameravate na svojem računalniku zagnati enega od teh modelov umetne inteligence, izberite model gpt-oss-20b zaradi njegove velikosti in zahtev glede strojne opreme.

Če želite uporabljati model gpt-oss-120b , boste potrebovali zelo zmogljivo strojno opremo, kot je grafična kartica NVIDIA z vsaj 80 GB VRAM-a, procesor strežniškega razreda (na primer AMD EPYC ali Intel Xeon), vsaj 256 GB pomnilnika in hitri NVMe SSD z vsaj 500 GB prostega prostora za uteži modela in začasne datoteke.