AnythingLLM vs. Ollama vs. GPT4All: Hvilken LLM er best å kjøre lokalt?

Raske funn

AnythingLLM, Ollama og GPT4All er alle åpen kildekode LLM-er tilgjengelig på GitHub.
Du kan få mer funksjonalitet ved å bruke noen av de betalte tilpasningene til disse LLM-ene.
Alle vil fungere perfekt på Windows- og Mac-operativsystemer, men har forskjellige krav til minne og lagring.

1. Likheter og forskjeller

LLM	Egenskaper
Hva som helst LLM	Installasjon og oppsett: Kan kreve ekstra trinn for oppsett Fellesskap og støtte: Lite, GitHub-basert, teknisk fokus Skyintegrasjon: OpenAI, Azure OpenAI, Anthropics Claude V2 Lokal integrasjon: Hugging Face, Lance DB, Pinecone, Chroma, Quadrant Brukstilfeller: Egendefinerte AI-assistenter, kunnskapsintensive, bedriftsnivå
Ollama	Installasjon og oppsett: Krever et installatør; rett fram Fellesskap og støtte: Aktiv, GitHub-basert, større enn AnythingLLM Skyintegrasjon: – Lokal integrasjon: Python-bibliotek, REST API, rammeverk som LangChain Brukssaker: Personlige AI-assistenter, skriving, oppsummering, oversettelse, offline dataanalyse, pedagogisk
GPT4All	Installasjon og oppsett: Krever et installatør; rett fram Fellesskap og støtte: Stor GitHub-tilstedeværelse; aktiv på Reddit og Discord Skyintegrasjon: – Lokal integrasjon: Python-bindinger, CLI og integrasjon i tilpassede applikasjoner Brukstilfeller: AI-eksperimentering, modellutvikling, personvernfokuserte applikasjoner med lokaliserte data

2. Ressurskrav

Hva som helst LLM

En av fordelene med å kjøre AnythingLLM lokalt på Windows, Mac eller til og med Raspberry Pi er at det kan tilpasses. Derfor vil det nøyaktige kravet avgjøre hvilken tilpasning du bruker. Tabellen nedenfor bør imidlertid gi deg et grovt anslag over minimumsstandardene.

Komponent	Verdi
prosessor	2-kjerners CPU
RAM	2 GB
Oppbevaring	5 GB

Vær oppmerksom på at dette bare vil tillate deg den mest enkle funksjonaliteten, for eksempel å lagre noen få dokumenter eller sende chatter.

Ollama

Du kan kjøre Ollama-modeller på macOS, Linux eller Windows. Du kan velge mellom 3B, 7B og 13B modeller. Tabellen nedenfor gir en oversikt.

Komponent	Verdi
prosessor	Moderne CPU med minst 4 kjerner: Intel 11th Gen eller Zen4-basert AMD CPU
RAM	8 GB for 3B-modeller 16 GB for 7B-modeller 32 GB for 13B-modeller
Oppbevaring	12 GB for Ollama og basismodeller

GPT4All

Systemkravene ligner på Ollama. Du kan kjøre den lokalt på macOS, Linux eller Windows. Nedenfor gir vi en oversikt.

Komponent	Verdi
prosessor	Moderne CPU med AVX- eller AVX2-instruksjoner
RAM	Liten modell: 8GB Middels modell: 16 GB Stor modell: 32 GB eller mer
Oppbevaring	12 GB for installasjon, ekstra plass for modelldata

3. Enkel installasjon og oppsett

Selv om installasjonen kan variere avhengig av operativsystem, krever GPT4All vanligvis et installasjonsprogram. Installasjonsprogrammet for Windows, Mac og Linux er tilgjengelig på offesiell nettside. Når du har kjørt installasjonsprogrammet, må du laste ned en språkmodell for å samhandle med AI.

Dette er samme prosess for Ollama; AnythingLLM kan imidlertid ha et litt variert trinn. Så du må laste ned og installere installasjonspakken som trengs for operativsystemet ditt, velge din foretrukne LLM, opprette arbeidsområdet ditt, importere lokale dokumenter og begynne å chatte med dokumentene.

Mens alle tre er enkle installasjons- og oppsettprosesser, kan AnythingLLM kreve ekstra trinn.

4. Fellesskap og støtte

Hva som helst LLM

Av de tre LLM-ene vi utforsker, har AnythingLLM det minste fellesskapet. Dens fellesskap er primært Github-basert og fokuserer på diskusjoner om prosjektutvikling og mer tekniske aspekter. Den er aktiv, men er kanskje ikke den beste hvis du søker generell støtte og feilsøking.

Ollama

Selv om Ollama-samfunnet er mindre enn GPT4All, er det aktivt og større enn AnthingLLM. Samfunnet er også sentrert rundt GitHub, hvor du kan bidra til prosjekter, diskutere funksjoner eller dele dine erfaringer. Du vil også få mye teknisk hjelp fra GitHub.

Offisiell støtte er begrenset, som med AnythingLLM, og dette kan forårsake litt friksjon siden du ikke har omfattende dedikert støtte.

GPT4All

Du får ikke et sentralisert offisielt fellesskap på GPT4All, men det har et mye større GitHub tilstedeværelse. Du vil også elske å følge den videre Reddit og Uenighet. Bortsett fra, er støtte lik Ollama og AnythingLLM.

5. Ytelse

LLM-ytelse som kjører lokalt avhenger ofte av maskinvarespesifikasjonene (CPU, GPU, RAM), modellstørrelse og spesifikke implementeringsdetaljer. Dette er et av elementene der det er vanskelig å skille noen av modellene fra hverandre.

GPT4All tilbyr alternativer for forskjellige maskinvareoppsett, Ollama gir verktøy for effektiv distribusjon, og AnythingLLMs spesifikke ytelsesegenskaper kan avhenge av brukerens maskinvare- og programvaremiljø.

Vi kjørte alle modellene på en Windows 11-datamaskin med følgende spesifikasjoner:

RAM: 16 GB (15,7 GB kan brukes)
Prosessor: 11. generasjons Intel(R) Core(TM) i7-1165G7 @ 2,80GHz 2,80GHz

De tilbød alle konkurransedyktig ytelse, og vi la ikke merke til forsinkelser og forsinkelser ved å kjøre modellene.

6. Integrasjon

Hva som helst LLM

AnythingLLM tilbyr flere integrasjonsmuligheter, inkludert skyintegrasjon med OpenAI, Azure OpenAI og Anthropics Claude V2. Den har også økende samfunnsstøtte for lokale LLM-er som Hugging Face. Du får imidlertid ikke mye tilpasset LLM-støtte.

AnythingLLM kommer med Lance DB-integrasjon som standard, som er standard vektordatabase. Du kan imidlertid integrere tredjepartsalternativer, som f.eks PineconeChroma eller Quadrant, for spesifikke funksjoner.

AnythingLLM lar deg bygge og integrere tilpassede agenter for å utvide funksjonaliteten.

Ollama

Ollama tillater direkte interaksjon via terminalen ved hjelp av enkle kommandoer. Ollama Python-biblioteket kan brukes til programmatisk interaksjon, slik at du kan samhandle med andre Python-applikasjoner. I tillegg kan du bruke REST API for å integrere med andre tjenester.

Ollama tillater også integrasjon med andre rammeverk som LangChain, Home Assistant, Haystack og Jan.ai.

GPT4All

Med GPT4All har du direkte integrering i Python-applikasjonene dine ved hjelp av Python-bindinger, slik at du kan samhandle programmatisk med modeller. Du har også et kommandolinjegrensesnitt (CLI) for grunnleggende interaksjon med modellen. GPT4All er fleksibel og lar deg integreres i tilpassede applikasjoner.

7. Brukssaker og applikasjoner

AnythingLLM er utmerket for tilpassede AI-assistenter, kunnskapsintensive applikasjoner som krever store data og applikasjoner på bedriftsnivå.

Ollama er nyttig for personlige AI-assistenter for å skrive, oppsummere eller oversette oppgaver. Det kan også brukes i pedagogiske applikasjoner, offline dataanalyse og prosessering, og applikasjonsutvikling med lav latens.

GPT4All er godt egnet for AI-eksperimentering og modellutvikling. Den er også egnet for å bygge åpen kildekode AI eller personvernfokuserte applikasjoner med lokaliserte data.