Kā instalēt OpenAI GPT-OSS AI modeli operētājsistēmā Windows 11

• Lai instalētu GPT-OSS AI modeli operētājsistēmā Windows 11, vispirms atveriet komandu uzvedni (admin) un palaidiet komandu winget install --id Ollama.Ollama.
• Otrkārt, jums ir jāizvēlas opcija gpt-oss:20bno saraksta un jāiesniedz jautājums, lai aktivizētu lejupielādi.
• Varat arī izmantot komandrindas rīku Ollama ar komandrindas pieteikumvārdiem (admin) un izmantot šo ollama pull gpt-oss:20b komandu, lai lejupielādētu un instalētu (piemēram) GPT-OSS lokāli savā datorā.

Operētājsistēmā Windows 11 varat instalēt un lokāli savā datorā palaist jaunāko GPT-OSS (atvērtā pirmkoda programmatūras) mākslīgā intelekta modeli no OpenAI, un šajā rokasgrāmatā es aprakstīšu darbības, kas jāveic, lai pabeigtu šo konfigurāciju.

GPT-OSS ir uz tekstu balstīts modelis no OpenAI atvērtā svara lielo valodu modeļu saimes. Pašlaik mums ir divas versijas, tostarp gpt-oss-20b (ar aptuveni 21 miljardu parametru) un gpt-oss-120b (ar aptuveni 117 miljardiem parametru), un tās ir izlaistas saskaņā ar Apache 2.0 licenci, kas ļauj ikvienam tās brīvi lejupielādēt, palaist, modificēt un izplatīt.

• gpt-oss-20b: Pietiekami kompakts, lai darbotos uz parastas aparatūras ar vismaz 16 GB atmiņu (piemēram, klēpjdatoriem, jaudīgiem tālruņiem), un lieliski darbojas lokālos, zemas latentuma uzdevumos.
• gpt-oss-120b: Tas ir lielāks modelis, kas paredzēts jaudīgiem spriešanas uzdevumiem, un tas darbojas augstas klases iestatījumos, piemēram, ar vienu 80 GB grafisko karti, un piedāvā gandrīz O4 mini veiktspēju.

Šie modeļi atbalsta domu ķēdes spriešanu, rīku izmantošanu, garus konteksta logus un piedāvā konfigurējamus spriešanas līmeņus, piemēram, zemu, vidēju un augstu, lai nodrošinātu elastību.

Ko es varu darīt ar GPT-OSS kā parasts lietotājs?

Ja esat tehnoloģiju jomā zinošs lietotājs, izstrādātājs vai entuziasts, jaunie OpenAI modeļi ļauj palaist tērzēšanas robotu lokāli savā datorā bez abonementa un pilnībā kontrolējot savus datus.

Ja esat uzdevuma līmenī, varat eksperimentēt, pielāgot un precizēt modeli, jo tam ir Apache 2.0 licence.

Parasti GPT-OSS tiek izmantots kodēšanas palīdzībai, sarežģītu problēmu risināšanai, sarunām un aģentūru darbplūsmām . Turklāt to var izmantot bezsaistē, bez interneta savienojuma. 

Kāda ir OpenAI GPT-OSS mērķauditorija?

Šie mākslīgā intelekta modeļi ir pielāgoti izstrādātājiem, pētniekiem, akadēmiķiem un tehnoloģiju jomā zinošām personām.

Ja vēlaties šos mākslīgā intelekta modeļus palaist lokāli (neatkarīgi no mākoņa) savā datorā, vienkāršākā metode ir izmantot Ollama , kas ir atvērtā koda rīks , kas ļauj palaist lielus valodu modeļus tieši lokālajā datorā, kurā darbojas operētājsistēma Windows 11, 10 vai cita platforma.

Lai gan vislabāk ir instalēt un palaist mākslīgā intelekta modeļus ierīcēs ar NPU (neironu procesoru) , piemēram, Copilot+ datorā ar Snapdragon procesoru, šos modeļus var palaist praktiski uz jebkuras aparatūras. Ollama sadarbojas arī ar Nvidia, lai paātrinātu GPT-OSS GeForce RTX un RTX Pro GPU . 

Mans vienīgais atruna ir tāda, ka bez NPU vai spējīga GPU AI tērzēšanas robotam var būt nepieciešams ļoti ilgs laiks, lai atbildētu uz vienkāršu jautājumu.

Šajā rokasgrāmatā es izklāstīšu darbības, kas jāveic, lai iestatītu Gemma AI modeļus operētājsistēmā Windows 11.

• GPT-OSS instalēšana operētājsistēmā Windows 11, izmantojot Ollama (GUI metode)
• GPT-OSS instalēšana operētājsistēmā Windows 11, izmantojot Ollama (CLI metode)

GPT-OSS instalēšana operētājsistēmā Windows 11, izmantojot Ollama (GUI metode)

Lai lokāli instalētu GPT-OSS vai 3n operētājsistēmā Windows 11, veiciet tālāk norādītās darbības.

1. Atveriet Sākt operētājsistēmā Windows 11.

    

    

2. Meklējiet komandu uzvedni (vai termināli ), ar peles labo pogu noklikšķiniet uz augšējā rezultāta un izvēlieties opciju Palaist kā administratoram  .

3. Ierakstiet šo komandu, lai instalētu oficiālo Ollama rīku, un nospiediet taustiņu Enter :

   winget install --id Ollama.Ollama

   

4. Noklikšķiniet uz pogas Pabeigt , lai pabeigtu instalēšanu.

5. Atveriet lietotni Ollama no izvēlnes Sākt, ja tā netiek palaista automātiski.

6. Noklikšķiniet uz mākslīgā intelekta modeļa izvēlnes un atlasiet opciju “GPT-OSS:20b” .

   

7. Sastādiet un iesniedziet jautājumu, lai sāktu OpenAI GPT modeļa lejupielādi.

   

Kad esat pabeidzis šīs darbības, varat sākt izmantot GPT-OSS AI modeli, izmantojot komandrindas saskarni.

Ja jums ir Ollama konts , varat pieteikties, lai izmantotu iebūvēto tīmekļa meklēšanu un apvienotu modeļa iespējas ar jaunāko tiešsaistē pieejamo informāciju.

Ja nu gadījumā rodas jautājums, Turbo opcija ir Ollama mākonī balstīts pakalpojums, kas ļauj darbināt lielus mākslīgā intelekta modeļus, izmantojot datu centra līmeņa aparatūru. Tā ir izstrādāta, lai nodrošinātu augstu veiktspēju un ātrumu modeļiem, kas varētu būt pārāk lieli vai pārāk lēni, lai darbotos lokālā datorā. Mēneša abonementa cena ir 20 ASV dolāri.

Ollama lietotnē nav iespējas iepriekš lejupielādēt pieejamos mākslīgā intelekta modeļus. Tomēr šo uzdevumu var veikt, izmantojot komandrindas rīku.

GPT-OSS instalēšana operētājsistēmā Windows 11, izmantojot Ollama (CLI metode)

Lai lokāli instalētu OpenAI GPT-OSS operētājsistēmā Windows 11, veiciet tālāk norādītās darbības.

1. Atvērt Sākt .

2. Meklējiet komandu uzvedni (vai termināli ), ar peles labo pogu noklikšķiniet uz augšējā rezultāta un izvēlieties opciju Palaist kā administratoram  .

3. Ierakstiet šo komandu, lai instalētu oficiālo Ollama rīku, un nospiediet taustiņu Enter :

   winget install --id Ollama.Ollama

   

4. Noklikšķiniet uz pogas Pabeigt , lai pabeigtu instalēšanu.

5. (1. variants) Lai lokāli instalētu mazāko GPT-OSS AI modeli, ierakstiet šo komandu un nospiediet taustiņu Enter :

   ollama pull gpt-oss:20b

   

   Neliela piezīme: šī komanda lejupielādē gpt-oss:20b failu, kurā ir iekļauti 20 miljardi parametru. Tomēr varat arī izmantot šo gpt-oss:latestopciju, lai lejupielādētu jaunāko pieejamo modeli.

6. (2. variants) Lai lokāli instalētu lielāku GPT-OSS AI modeli, ierakstiet šo komandu un nospiediet taustiņu Enter :

   būtma pull gpt-oss:120b

7. (Pēc izvēles) Ievadiet šo komandu, lai apstiprinātu, ka AI modelis ir instalēts, un nospiediet taustiņu Enter :

   ollama saraksts

8. (Pēc izvēles) Ierakstiet šo komandu, lai parādītu (piemēram) mazākā GPT-OSS modeļa informāciju, piemēram, konfigurāciju un parametrus, un nospiediet taustiņu Enter :

   ollama šovs gpt-oss:20b

   

9. Ierakstiet šo komandu, lai palaistu (piemēram) GTP-OSS modeli, un nospiediet taustiņu Enter :

   ollama palaist gpt-oss:20b

Kad esat veicis šīs darbības, varat sākt izmantot jaunāko atvērtā koda GPT AI modeli no OpenAI, izmantojot komandrindas saskarni.

Papildus Windows pakotņu pārvaldnieka (winget) izmantošanai šī rīka instalēšanai Ollama instalētāju vienmēr varat iegūt no tā oficiālās lapas vai šīs GitHub lapas. 

Komandu var izmantot arī ollama --help, lai skatītu citas pieejamās komandas, un ollama run --helpkomandu, lai uzskaitītu komandas, kas pieejamas konkrētam modelim.

Ja plānojat datorā palaist kādu no šiem mākslīgā intelekta modeļiem, jums vajadzētu izvēlēties gpt-oss-20b modeli tā mazā izmēra un aparatūras prasību dēļ.

Ja vēlaties izmantot gpt-oss-120b modeli, jums būs nepieciešama ļoti jaudīga aparatūra, piemēram, NVIDIA GPU ar vismaz 80 GB VRAM, servera līmeņa procesors (piemēram, AMD EPYC vai Intel Xeon), vismaz 256 GB atmiņas un ātrdarbīgs NVMe SSD ar vismaz 500 GB brīvas vietas modeļu svariem un pagaidu failiem.