Hvordan kjøre AI-modeller lokalt på Windows uten Internett

Viktige takeaways:

• Du kan bruke verktøy som Ollama for å utnytte mulighetene til åpen kildekode AI-modeller direkte på enheten din.
• Når du kjører disse AI-modellene lokalt, vil du omgå skyavhengighet og låse opp fordeler som personvern og raskere slutninger.

Hvordan kjøre AI-modeller lokalt på Windows med Ollama

Du kan kjøre AI-modeller som ChatGPT lokalt på datamaskinen din uten internettforbindelse. Mange tjenester hjelper deg med denne prosessen. Vi vil imidlertid demonstrere det ved hjelp av Ollama.

Last ned og installer Ollama

Trinn 1: Naviger til Ollamas nettsted og klikk på Last ned-knappen.

Trinn 2: Velg OS og klikk Last ned.

Trinn 3: Dobbeltklikk på den nedlastede filen > klikk Installer > følg installasjonsinstruksjonene.

Når den er installert, bør du se en popup som sier at Ollama kjører.

Trinn 4: Start terminalen. I Windows, trykk Windows + R, skriv inn cmd og trykk Enter.

Trinn 5: Last ned din første AI-modell ved å bruke kommandoen nedenfor. Sørg for at du erstatter modellen med en faktisk modell på Ollama; disse kan være Llama 3, Phi 3, Mistral, Gemma osv. Vær tålmodig; dette kan ta en stund.

Ollama pull model

Hvordan kommunisere med nedlastede modeller på Ollama

Nå som du har installert AI-modellen, kan du kommunisere med den. Dette ligner på å kommunisere med Gemini eller ChatGPT AIer fra nettgrensesnittene. Følg trinnene nedenfor.

Trinn 1: Start Terminal på datamaskinen din.

Trinn 2: Skriv inn kommandoen nedenfor. Du kan erstatte llama3 i kommandoen med navnet på modellen du lastet ned.

Ollama run llama3

Trinn 3: Til slutt, skriv inn ledeteksten og trykk Enter som du ville gjort på ChatGPT eller Gemini. Du bør da kunne samhandle med AI.

FAQ

Kan du kjøre generativ AI lokalt?

Ja, du kan, og for øyeblikket er stabil diffusjon det mest pålitelige middelet. Verktøy som Stabil Diffusion WebUI og InvokeAI gi tilgang til Stable Diffusion for lokal bildegenerering.