Kako instalirati OpenAI GPT-OSS AI model na Windows 11

• Za instalaciju GPT-OSS AI modela na Windows 11, prvo otvorite naredbeni redak (admin) i pokrenite naredbu winget install --id Ollama.Ollama.
• Drugo, morate odabrati gpt-oss:20bopciju s popisa i poslati pitanje kako biste pokrenuli preuzimanje.
• Alternativno, možete koristiti alat naredbenog retka Ollama s naredbenim retkom (admin) i koristiti naredbu ollama pull gpt-oss:20b za preuzimanje i instaliranje (na primjer) GPT-OSS lokalno na vaše računalo.

U sustavu Windows 11 možete lokalno na svom računalu instalirati i pokrenuti najnoviji GPT-OSS (softver otvorenog koda) AI model tvrtke OpenAI, a u ovom ću vodiču opisati korake za dovršetak ove konfiguracije.

GPT-OSS je tekstualni model iz OpenAI-jeve obitelji modela otvorenih velikih jezika. Trenutno imamo dvije verzije, uključujući gpt-oss-20b (s oko 21 B parametara) i gpt-oss-120b (s oko 117 B parametara), a objavljeni su pod Apache 2.0 licencom, što omogućuje svima da ih slobodno preuzmu, pokrenu, mijenjaju i distribuiraju.

• gpt-oss-20b: Dovoljno kompaktan za rad na uobičajenom hardveru s minimalno 16 GB memorije (na primjer, prijenosna računala, snažni telefoni) i izvrstan je u lokalnim zadacima s niskom latencijom.
• gpt-oss-120b: To je veći model, dizajniran za snažne zadatke zaključivanja, a radi na vrhunskim postavkama poput jedne 80GB GPU-a i nudi performanse gotovo O4-mini.

Ovi modeli podržavaju zaključivanje nizom misli, korištenje alata, duge kontekstualne prozore i nude konfigurirane razine zaključivanja, kao što su niska, srednja i visoka, radi fleksibilnosti.

Što mogu učiniti s GPT-OSS-om kao obični korisnik?

Ako ste tehnološki napredan korisnik, programer ili entuzijast, novi OpenAI modeli omogućuju vam lokalno pokretanje chatbota na vašem računalu bez pretplate i potpunu kontrolu nad vašim podacima.

Ako ste dorasli zadatku, možete eksperimentirati, prilagođavati i fino podešavati model budući da ima Apache 2.0 licencu.

Obično biste GPT-OSS koristili za pomoć pri kodiranju, rješavanje složenih problema, razgovore i agentske tijekove rada . Osim toga, možete ga koristiti izvan mreže bez internetske veze. 

Tko je ciljna publika za OpenAI GPT-OSS?

Ovi AI modeli prilagođeni su programerima, istraživačima, akademicima i tehnološki potkovanim pojedincima.

Ako želite pokrenuti ove AI modele lokalno (neovisno o oblaku) na svom računalu, najjednostavnija metoda je korištenje Ollame , alata otvorenog koda koji vam omogućuje izravno pokretanje velikih jezičnih modela na lokalnom računalu sa sustavom Windows 11, 10 ili nekom drugom platformom.

Iako je najbolje instalirati i pokretati AI modele na uređajima s NPU-om (neuralnom procesorskom jedinicom) , kao što je Copilot+ računalo sa Snapdragon procesorom, ove modele možete pokretati na gotovo svakom hardveru. Ollama također surađuje s Nvidijom kako bi ubrzala GPT-OSS na GeForce RTX i RTX Pro GPU-ima . 

Moja jedina napomena je da bez NPU-a ili sposobne GPU-a, AI chatbotu može trebati jako puno vremena da odgovori na jednostavno pitanje.

U ovom vodiču , opisat ću korake za postavljanje Gemma AI modela na Windowsima 11.

• Instalirajte GPT-OSS na Windows 11 s Ollamom (GUI metoda)
• Instalirajte GPT-OSS na Windows 11 s Ollamom (CLI metoda)

Instalirajte GPT-OSS na Windows 11 s Ollamom (GUI metoda)

Za lokalnu instalaciju GPT-OSS-a ili 3n na ​​Windows 11, slijedite ove korake:

1. Otvorite Start u sustavu Windows 11.

    

    

2. Potražite Naredbeni redak (ili Terminal ), desnom tipkom miša kliknite gornji rezultat i odaberite opciju Pokreni kao administrator  .

3. Upišite ovu naredbu za instalaciju službenog alata Ollama i pritisnite Enter :

   winget install --id Ollama.Ollama

   

4. Kliknite gumb Završi za dovršetak instalacije.

5. Otvorite aplikaciju Ollama iz izbornika Start ako se nije automatski pokrenula.

6. Kliknite izbornik AI modela i odaberite opciju "GPT-OSS:20b" .

   

7. Sastavite i pošaljite pitanje kako biste započeli preuzimanje OpenAI GPT modela.

   

Nakon što dovršite korake, možete početi koristiti GPT-OSS AI model putem sučelja naredbenog retka.

Ako imate Ollama račun , možete se prijaviti kako biste koristili ugrađenu web-pretragu i kombinirali mogućnosti modela s najnovijim informacijama dostupnim na mreži.

U slučaju da se pitate, Turbo opcija je usluga tvrtke Ollama u oblaku koja vam omogućuje pokretanje velikih AI modela pomoću hardvera podatkovnog centra. Dizajnirana je za pružanje visokih performansi i brzine za modele koji bi mogli biti preveliki ili prespori za pokretanje na lokalnom računalu. Mjesečna pretplata košta 20 USD.

Aplikacija Ollama ne nudi mogućnost prethodnog preuzimanja dostupnih AI modela. Međutim, taj zadatak možete dovršiti pomoću alata naredbenog retka.

Instalirajte GPT-OSS na Windows 11 s Ollamom (CLI metoda)

Za lokalnu instalaciju OpenAI GPT-OSS-a na Windows 11, slijedite ove korake:

1. Otvorite Start .

2. Potražite Naredbeni redak (ili Terminal ), desnom tipkom miša kliknite gornji rezultat i odaberite opciju Pokreni kao administrator  .

3. Upišite ovu naredbu za instalaciju službenog alata Ollama i pritisnite Enter :

   winget install --id Ollama.Ollama

   

4. Kliknite gumb Završi za dovršetak instalacije.

5. (Opcija 1) Upišite ovu naredbu za lokalnu instalaciju manjeg GPT-OSS AI modela i pritisnite Enter :

   ollama pull gpt-oss:20b

   

   Kratka napomena: Ova naredba preuzima gpt-oss:20b, koja uključuje 20 milijardi parametara. Međutim, možete koristiti i opciju gpt-oss:latestpreuzimanja najnovijeg modela dostupnog u tom trenutku.

6. (Opcija 2) Upišite ovu naredbu za lokalnu instalaciju većeg GPT-OSS AI modela i pritisnite Enter :

   ollama pull gpt-oss:120b

7. (Neobavezno) Upišite ovu naredbu kako biste potvrdili da je AI model instaliran i pritisnite Enter :

   popis ollama

8. (Neobavezno) Upišite ovu naredbu za prikaz detalja (na primjer) manjeg GPT-OSS modela, kao što su konfiguracija i parametri, a zatim pritisnite Enter :

   ollama show gpt-oss:20b

   

9. Upišite ovu naredbu za pokretanje (na primjer) GTP-OSS modela i pritisnite Enter :

   ollama pokrenuti gpt-oss:20b

Nakon što dovršite korake, možete početi koristiti najnoviji GPT AI model otvorenog koda tvrtke OpenAI putem sučelja naredbenog retka.

Osim korištenja Windows Package Managera (winget) za instalaciju ovog alata, uvijek možete dobiti Ollama instalacijski program s njegove službene stranice ili ove GitHub stranice. 

Također možete koristiti ollama --helpnaredbu za pregled drugih dostupnih naredbi i ollama run --helpnaredbu za popis naredbi dostupnih za određeni model.

Ako planirate pokrenuti jedan od ovih AI modela na svom računalu, trebali biste odabrati model gpt-oss-20b zbog njegovih zahtjeva za veličinu i hardver.

Ako želite koristiti model gpt-oss-120b , trebat će vam vrlo sposoban hardver, kao što je NVIDIA GPU s najmanje 80 GB VRAM-a, procesor poslužiteljske klase (na primjer, AMD EPYC ili Intel Xeon), najmanje 256 GB memorije i brzi NVMe SSD s najmanje 500 GB slobodnog prostora za težine modela i privremene datoteke.