OpenAI GPT-OSS -tekoälymallin asentaminen Windows 11:een

• Asentaaksesi GPT-OSS AI -mallin Windows 11:een, avaa ensin komentokehote (admin) ja suorita winget install --id Ollama.Ollamakomento.
• Toiseksi sinun on valittava vaihtoehto gpt-oss:20bluettelosta ja lähetettävä kysymys latauksen käynnistämiseksi.
• Vaihtoehtoisesti voit käyttää Ollama-komentorivityökalua komentokehotteella (admin) ja käyttää komentoa ollama pull gpt-oss:20b ladataksesi ja asentaaksesi (esimerkiksi) GPT-OSS:n paikallisesti tietokoneellesi.

Windows 11: ssä voit asentaa ja suorittaa OpenAI:n uusimman GPT-OSS (Open Source Software) -tekoälymallin paikallisesti tietokoneellasi, ja tässä oppaassa esittelen vaiheet tämän määrityksen suorittamiseksi.

GPT-OSS on tekstipohjainen malli OpenAI:n avoimen painoluokan laajojen kielimallien perheestä. Tällä hetkellä meillä on kaksi versiota, gpt-oss-20b (noin 21 miljardilla parametrilla) ja gpt-oss-120b (noin 117 miljardilla parametrilla), ja ne on julkaistu Apache 2.0 -lisenssillä, minkä ansiosta kuka tahansa voi ladata, käyttää, muokata ja jakaa niitä vapaasti.

• gpt-oss-20b: Riittävän kompakti toimimaan tavallisilla laitteilla, joissa on vähintään 16 Gt muistia (esimerkiksi kannettavilla tietokoneilla, tehokkailla puhelimilla) ja erinomainen paikallisissa, pieniviiveisissä tehtävissä.
• gpt-oss-120b: Se on suurempi malli, joka on suunniteltu tehokkaisiin päättelytehtäviin. Se toimii huippuluokan kokoonpanoissa, kuten yhdellä 80 Gt:n näytönohjaimella, ja tarjoaa lähes O4-mini-tason suorituskyvyn.

Nämä mallit tukevat ajatusketjupäättelyä, työkalujen käyttöä, pitkiä konteksti-ikkunoita ja tarjoavat joustavuutta varten konfiguroitavia päättelytasoja, kuten matala, keskitaso ja korkea.

Mitä voin tehdä GPT-OSS:llä tavallisena käyttäjänä?

Jos olet tekniikkaa taitava käyttäjä, kehittäjä tai harrastaja, uudet OpenAI-mallit mahdollistavat chatbotin suorittamisen paikallisesti tietokoneellasi ilman tilausta ja täyden hallinnan tietoihisi.

Jos olet tehtävän tasalla, voit kokeilla, mukauttaa ja hienosäätää mallia, koska sillä on Apache 2.0 -lisenssi.

Yleensä GPT-OSS:ää käytetään koodausapuun, monimutkaisten ongelmanratkaisutehtävien suorittamiseen, keskusteluihin ja agenttityönkulkuihin . Lisäksi sitä voi käyttää offline-tilassa ilman internetyhteyttä. 

Kenelle OpenAI GPT-OSS on tarkoitettu?

Nämä tekoälymallit on räätälöity kehittäjille, tutkijoille, akateemikoille ja tekniikkaa taitaville yksilöille.

Jos haluat suorittaa näitä tekoälymalleja paikallisesti (pilvestä riippumatta) tietokoneellasi, helpoin tapa on käyttää Ollamaa , joka on avoimen lähdekoodin työkalu , jonka avulla voit suorittaa laajoja kielimalleja suoraan paikallisella tietokoneellasi, jossa on Windows 11, 10 tai jokin muu alusta.

Vaikka tekoälymallit on parasta asentaa ja käyttää laitteissa, joissa on NPU (Neural Processing Unit) , kuten Copilot+ PC:ssä, jossa on Snapdragon-prosessori, näitä malleja voi käyttää käytännössä millä tahansa laitteistolla. Ollama tekee myös yhteistyötä Nvidian kanssa GPT-OSS:n kiihdyttämiseksi GeForce RTX- ja RTX Pro -näytönohjaimissa . 

Ainoa vastuuvapauslausekkeeni on, että ilman NPU:ta tai kykenevää GPU:ta tekoäly-chatbotilla voi kestää hyvin kauan vastata yksinkertaiseen kysymykseen.

Tässä oppaassa esittelen vaiheet Gemma-tekoälymallien asentamiseksi Windows 11:ssä.

• GPT-OSS:n asentaminen Windows 11:een Ollaman avulla (käyttöliittymämenetelmä)
• GPT-OSS:n asentaminen Windows 11:een Ollaman avulla (CLI-menetelmä)

GPT-OSS:n asentaminen Windows 11:een Ollaman avulla (käyttöliittymämenetelmä)

Asentaaksesi GPT-OSS:n tai 3n:n paikallisesti Windows 11:ssä, toimi seuraavasti:

1. Avaa Käynnistä Windows 11:ssä.

    

    

2. Etsi komentokehote (tai Pääte ), napsauta hiiren kakkospainikkeella ylintä tulosta ja valitse Suorita järjestelmänvalvojana  -vaihtoehto.

3. Kirjoita tämä komento asentaaksesi virallisen Ollama-työkalun ja paina Enter-näppäintä :

   winget install --id Ollama.Ollama

   

4. Suorita asennus loppuun napsauttamalla Valmis- painiketta.

5. Avaa Ollama -sovellus Käynnistä-valikosta, jos se ei käynnistynyt automaattisesti.

6. Napsauta tekoälymallin valikkoa ja valitse vaihtoehto ”GPT-OSS:20b” .

   

7. Kirjoita ja lähetä kysymys aloittaaksesi OpenAI GPT -mallin latauksen.

   

Kun olet suorittanut vaiheet, voit aloittaa GPT-OSS-tekoälymallin käytön komentorivikäyttöliittymän kautta.

Jos sinulla on Ollama-tili , voit kirjautua sisään käyttääksesi sisäänrakennettua verkkohakua yhdistääksesi mallin ominaisuudet uusimpiin verkossa saatavilla oleviin tietoihin.

Jos mietit asiaa, Turbo-vaihtoehto on Ollaman pilvipohjainen palvelu, jonka avulla voit ajaa suuria tekoälymalleja datakeskustason laitteistolla. Se on suunniteltu tarjoamaan korkeaa suorituskykyä ja nopeutta malleille, jotka saattavat olla liian suuria tai liian hitaita ajaakseen paikallisella tietokoneella. Kuukausitilauksen hinta on 20 dollaria.

Ollama-sovellus ei tarjoa vaihtoehtoa saatavilla olevien tekoälymallien esilataukseen. Voit kuitenkin suorittaa tämän tehtävän komentorivityökalulla.

GPT-OSS:n asentaminen Windows 11:een Ollaman avulla (CLI-menetelmä)

Asentaaksesi OpenAI GPT-OSS:n paikallisesti Windows 11:ssä, toimi seuraavasti:

1. Avaa Käynnistä .

2. Etsi komentokehote (tai Pääte ), napsauta hiiren kakkospainikkeella ylintä tulosta ja valitse Suorita järjestelmänvalvojana  -vaihtoehto.

3. Kirjoita tämä komento asentaaksesi virallisen Ollama-työkalun ja paina Enter-näppäintä :

   winget install --id Ollama.Ollama

   

4. Suorita asennus loppuun napsauttamalla Valmis- painiketta.

5. (Vaihtoehto 1) Kirjoita tämä komento asentaaksesi pienemmän GPT-OSS-tekoälymallin paikallisesti ja paina Enter-näppäintä :

   ollama pull gpt-oss:20b

   

   Pikahuomautus: Tämä komento lataa gpt-oss:20b-tiedoston, joka sisältää 20 miljardia parametria. Voit kuitenkin käyttää myös vaihtoehtoa gpt-oss:latestladataksesi uusimman saatavilla olevan mallin.

6. (Vaihtoehto 2) Kirjoita tämä komento asentaaksesi suuremman GPT-OSS-tekoälymallin paikallisesti ja paina Enter :

   ollama pull gpt-oss:120b

7. (Valinnainen) Vahvista tekoälymallin asennus kirjoittamalla tämä komento ja painamalla Enter-näppäintä :

   ollama-lista

8. (Valinnainen) Kirjoita tämä komento näyttääksesi (esimerkiksi) pienemmän GPT-OSS-mallin tiedot, kuten kokoonpanon ja parametrit, ja paina Enter-näppäintä :

   ollama show gpt-oss:20b

   

9. Kirjoita tämä komento suorittaaksesi (esimerkiksi) GTP-OSS-mallin ja paina Enter-näppäintä :

   ollama ajaa gpt-oss:20b

Kun olet suorittanut vaiheet, voit aloittaa OpenAI:n uusimman avoimen lähdekoodin GPT-tekoälymallin käytön komentorivikäyttöliittymän kautta.

Windowsin pakettienhallinnan (winget) käyttämisen lisäksi tämän työkalun asentamiseen voit aina ladata Ollama-asennusohjelman sen viralliselta sivulta tai tältä GitHub- sivulta. 

Voit myös käyttää ollama --helpkomentoa tarkastellaksesi muita käytettävissä olevia komentoja ja ollama run --helpkomentoa luetteloidaksesi tietylle mallille käytettävissä olevat komennot.

Jos aiot käyttää jotakin näistä tekoälymalleista tietokoneellasi, sinun kannattaa valita gpt-oss-20b -malli sen pienen koon ja laitteistovaatimusten vuoksi.

Jos haluat käyttää gpt-oss-120b -mallia, tarvitset erittäin tehokkaan laitteiston, kuten NVIDIA-näytönohjaimen, jossa on vähintään 80 Gt VRAM-muistia, palvelintason prosessorin (esimerkiksi AMD EPYC tai Intel Xeon), vähintään 256 Gt muistia ja nopean NVMe SSD -levyn, jossa on vähintään 500 Gt vapaata tilaa mallien painoille ja väliaikaisille tiedostoille.