Ako nainštalovať model AI OpenAI GPT-OSS v systéme Windows 11

• Ak chcete nainštalovať model AI GPT-OSS v systéme Windows 11, najprv otvorte príkazový riadok (admin) a spustite príkaz winget install --id Ollama.Ollama.
• Po druhé, musíte vybrať gpt-oss:20bmožnosť zo zoznamu a odoslať otázku, aby ste spustili sťahovanie.
• Prípadne môžete použiť nástroj príkazového riadka Ollama s príkazovým riadkom (admin) a pomocou príkazu ollama pull gpt-oss:20b stiahnuť a nainštalovať (napríklad) GPT-OSS lokálne do počítača.

V systéme Windows 11 si môžete lokálne nainštalovať a spustiť najnovší model umelej inteligencie GPT-OSS (Open Source Software) od spoločnosti OpenAI vo svojom počítači a v tejto príručke načrtnem kroky na dokončenie tejto konfigurácie.

GPT-OSS je textový model z rodiny modelov OpenAI s otvorenou váhou pre rozsiahle jazyky. V súčasnosti máme dve verzie, vrátane gpt-oss-20b (s približne 21 miliardami parametrov) a gpt-oss-120b (s približne 117 miliardami parametrov), a boli vydané pod licenciou Apache 2.0, čo umožňuje komukoľvek ich voľne sťahovať, spúšťať, upravovať a šíriť.

• gpt-oss-20b: Dostatočne kompaktný na spustenie na bežnom hardvéri s minimálne 16 GB pamäte (napríklad notebooky, výkonné telefóny) a vyniká v lokálnych úlohách s nízkou latenciou.
• gpt-oss-120b: Je to väčší model, určený pre náročné úlohy uvažovania, ktorý beží na špičkových zostavách, ako je napríklad jedna 80GB GPU, a ponúka výkon blízky O4-mini.

Tieto modely podporujú uvažovanie podľa reťazca myšlienok, používanie nástrojov, dlhé kontextové okná a pre flexibilitu ponúkajú konfigurovateľné úrovne uvažovania, ako napríklad nízka, stredná a vysoká.

Čo môžem robiť s GPT-OSS ako bežný používateľ?

Ak ste technicky zdatný používateľ, vývojár alebo nadšenec, nové modely OpenAI vám umožňujú spúšťať chatbota lokálne na vašom počítači bez predplatného a s plnou kontrolou nad vašimi údajmi.

Ak ste na to pripravení, môžete experimentovať, prispôsobovať a dolaďovať model, pretože má licenciu Apache 2.0.

GPT-OSS by ste zvyčajne používali na pomoc s kódovaním, riešenie zložitých problémov, konverzácie a pracovné postupy agentov . Okrem toho ho môžete používať offline bez internetového pripojenia. 

Kto je cieľovou skupinou pre OpenAI GPT-OSS?

Tieto modely umelej inteligencie sú prispôsobené pre vývojárov, výskumníkov, akademikov a technicky zdatných jednotlivcov.

Ak chcete tieto modely umelej inteligencie spúšťať lokálne (nezávisle od cloudu) na svojom počítači, najjednoduchšou metódou je použiť Ollamu , čo je nástroj s otvoreným zdrojovým kódom , ktorý vám umožňuje spúšťať modely veľkých jazykov priamo na vašom lokálnom počítači so systémom Windows 11, 10 alebo inou platformou.

Hoci je najlepšie inštalovať a spúšťať modely umelej inteligencie na zariadeniach s NPU (neurónovou procesorovou jednotkou) , ako napríklad počítač Copilot+ s procesorom Snapdragon, tieto modely môžete spúšťať prakticky na akomkoľvek hardvéri. Ollama tiež spolupracuje so spoločnosťou Nvidia na akcelerácii GPT-OSS na grafických procesoroch GeForce RTX a RTX Pro . 

Moje jediné upozornenie je, že bez NPU alebo schopnej GPU môže chatbotovi s umelou inteligenciou trvať veľmi dlho, kým zodpovie jednoduchú otázku.

V tejto príručke načrtnem kroky na nastavenie modelov Gemma AI v systéme Windows 11.

• Inštalácia GPT-OSS v systéme Windows 11 pomocou Ollamy (metóda s grafickým rozhraním)
• Inštalácia GPT-OSS v systéme Windows 11 pomocou Ollamy (metóda CLI)

Inštalácia GPT-OSS v systéme Windows 11 pomocou Ollamy (metóda s grafickým rozhraním)

Ak chcete lokálne nainštalovať GPT-OSS alebo 3n v systéme Windows 11, postupujte podľa týchto krokov:

1. Otvorte ponuku Štart v systéme Windows 11.

    

    

2. Vyhľadajte „Príkazový riadok“ (alebo „Terminál“ ), kliknite pravým tlačidlom myši na prvý výsledok a vyberte možnosť „ Spustiť ako správca“  .

3. Zadajte tento príkaz na inštaláciu oficiálneho nástroja Ollama a stlačte kláves Enter :

   inštalácia wingetu --id Ollama.Ollama

   

4. Kliknite na tlačidlo Dokončiť pre dokončenie inštalácie.

5. Ak sa aplikácia Ollama nespustila automaticky, otvorte ju z ponuky Štart.

6. Kliknite na ponuku modelu umelej inteligencie a vyberte možnosť „GPT-OSS:20b“ .

   

7. Vytvorte a odošlite otázku, čím spustíte sťahovanie modelu OpenAI GPT.

   

Po dokončení krokov môžete začať používať model AI GPT-OSS prostredníctvom rozhrania príkazového riadka.

Ak máte účet Ollama , môžete sa prihlásiť a použiť vstavané webové vyhľadávanie, ktoré skombinuje možnosti modelu s najnovšími informáciami dostupnými online.

Ak vás to zaujíma, možnosť Turbo je cloudová služba od spoločnosti Ollama, ktorá vám umožňuje spúšťať rozsiahle modely umelej inteligencie pomocou hardvéru na úrovni dátového centra. Je navrhnutá tak, aby poskytovala vysoký výkon a rýchlosť pre modely, ktoré by mohli byť príliš veľké alebo príliš pomalé na spustenie na lokálnom počítači. Mesačné predplatné stojí 20 dolárov.

Aplikácia Ollama neponúka možnosť predbežného stiahnutia dostupných modelov umelej inteligencie. Túto úlohu však môžete vykonať pomocou nástroja príkazového riadka.

Inštalácia GPT-OSS v systéme Windows 11 pomocou Ollamy (metóda CLI)

Ak chcete lokálne nainštalovať OpenAI GPT-OSS v systéme Windows 11, postupujte podľa týchto krokov:

1. Otvorte Štart .

2. Vyhľadajte „Príkazový riadok“ (alebo „Terminál“ ), kliknite pravým tlačidlom myši na prvý výsledok a vyberte možnosť „ Spustiť ako správca“  .

3. Zadajte tento príkaz na inštaláciu oficiálneho nástroja Ollama a stlačte kláves Enter :

   inštalácia wingetu --id Ollama.Ollama

   

4. Kliknite na tlačidlo Dokončiť pre dokončenie inštalácie.

5. (Možnosť 1) Zadajte tento príkaz na lokálnu inštaláciu menšieho modelu AI GPT-OSS a stlačte kláves Enter :

   ollama pull gpt-oss:20b

   

   Rýchla poznámka: Tento príkaz stiahne súbor gpt-oss:20b, ktorý obsahuje 20 miliárd parametrov. Môžete však tiež použiť možnosť gpt-oss:lateststiahnutia najnovšieho aktuálne dostupného modelu.

6. (Možnosť 2) Zadajte tento príkaz na lokálnu inštaláciu väčšieho modelu AI GPT-OSS a stlačte kláves Enter :

   ollama pull gpt-oss:120b

7. (Voliteľné) Zadajte tento príkaz na potvrdenie inštalácie modelu AI a stlačte kláves Enter :

   zoznam ollama

8. (Voliteľné) Zadajte tento príkaz, ak chcete zobraziť podrobnosti o (napríklad) menšom modeli GPT-OSS, ako je konfigurácia a parametre, a stlačte kláves Enter :

   ollama zobraziť gpt-oss:20b

   

9. Zadajte tento príkaz na spustenie (napríklad) modelu GTP-OSS a stlačte kláves Enter :

   ollama spustiť gpt-oss:20b

Po dokončení krokov môžete začať používať najnovší model GPT AI s otvoreným zdrojovým kódom od spoločnosti OpenAI prostredníctvom rozhrania príkazového riadka.

Okrem použitia Správcu balíkov systému Windows (winget) na inštaláciu tohto nástroja môžete inštalátor Ollama vždy získať z jeho oficiálnej stránky alebo z tejto stránky  GitHub .

Príkaz môžete použiť aj ollama --helpna zobrazenie ďalších dostupných príkazov a ollama run --helppríkaz na zobrazenie zoznamu príkazov dostupných pre konkrétny model.

Ak plánujete na svojom počítači spustiť jeden z týchto modelov umelej inteligencie, mali by ste si vybrať model gpt-oss-20b kvôli jeho rozmerom a hardvérovým požiadavkám.

Ak chcete použiť model gpt-oss-120b , budete potrebovať veľmi výkonný hardvér, ako napríklad grafickú kartu NVIDIA s aspoň 80 GB VRAM, procesor serverovej triedy (napríklad AMD EPYC alebo Intel Xeon), aspoň 256 GB pamäte a vysokorýchlostný NVMe SSD s aspoň 500 GB voľného miesta pre hmotnosti modelu a dočasné súbory.