En første prøve med lokal AI kræver ikke, at man straks køber en ny server. En eksisterende computer kan vise, om en mindre sprogmodel giver brugbare resultater til den ønskede opgave. Ved dagligt arbejde tæller ventetid, tilgængelig kapacitet og pålidelig drift derefter også med.
Det vigtigste spørgsmål er derfor: Hvad skal modellen udføre? En kort tekstrevision stiller andre krav end analyse af lange dokumenter, omfattende programmering eller flere samtidige brugere. »Modellen starter« er en første teknisk konstatering. Det dokumenterer endnu ikke en egnet arbejdsplads eller virksomhedstjeneste.
Hvad der er muligt uden et særligt grafikkort
Sprogmodeller kan køre på en understøttet CPU. Kørselsmiljøet llama.cpp understøtter forskellige processorplatforme og også fordeling af arbejdet mellem CPU og GPU. En GPU er derfor ikke en generel forudsætning for enhver prøve, selv om den kan gøre behandlingen betydeligt hurtigere. Den faktiske forskel måles med den valgte opgave. llama.cpp: understøttet hardware og afvikling (eksternt link).
En CPU-prøve kan eksempelvis bruges til at danne et udkast ud fra ikke-følsomme stikord, strukturere en kort note eller vurdere et lille kodeeksempel. Modellen skal passe både sprogligt og fagligt. Et langt input, et krævende svar eller endnu en samtidig forespørgsel kan ændre en oprindeligt brugbar enkeltbrugertest væsentligt.
32 eller 64 GB RAM: planlægningsscenarier frem for et universelt minimum
De følgende niveauer er bevidst angivet som eksempler. De erstatter hverken kontrollen af den konkrete modelfil eller en belastningstest. Mindre modeller kan nøjes med mindre hukommelse; større modeller, lange kontekster eller flere tjenester kan kræve væsentligt mere.
| Udbygningstrin | Eksempel på grundlag | Hvad testen skal afklare |
|---|---|---|
| Vurder den eksisterende computer | Understøttet CPU, eksempelvis 32 GB RAM og tilstrækkelig ledig SSD-plads; i første omgang uden ekstra GPU. | Passer en mindre model fagligt? Er ventetiden acceptabel til enkelte korte opgaver? |
| Regelmæssigt anvendt arbejdsplads | Eksempelvis 32–64 GB RAM, NVMe-SSD og en GPU valgt specifikt efter model og kontekst. | Forbliver arbejdet flydende, når andre programmer kører samtidig, og input bliver længere? |
| Fælles tjeneste | Dedikerede ressourcer; eksempelvis 64 GB system-RAM som udgangspunkt for planlægning, passende acceleration og organiseret drift. | Hvilken samtidighed, svarkvalitet og tilgængelighed kan opnås under reel belastning? |
64 GB system-RAM erstatter ikke tilstrækkelig stor grafikhukommelse. En modelfil, der kan være på SSD’en, beviser heller ikke, at hele modellen med den ønskede kontekst kan være i GPU’ens hukommelse. På systemer med delt hukommelse skal hele fordelingen af hukommelsen vurderes.
Hvorfor modelstørrelsen alene ikke er nok
Et enkelt regneeksempel viser størrelsesordenen: Otte milliarder parametre med teoretisk fire bit pr. parameter giver 8.000.000.000 × 4 ÷ 8 = 4.000.000.000 byte, altså omkring 4 GB eller 3,73 GiB alene til vægtdata. Det er ikke det fulde hukommelseskrav for en model, der kan afvikles.
Hertil kommer blandt andet kvantiseringsoplysninger, dele gemt i andre formater, kørselsbuffere og hukommelse til konteksten. Den faktiske fil og det valgte kørselsmiljø er afgørende. GGUF indeholder eksempelvis både tensorer og metadata og understøtter forskellige kvantiseringsformater. Hugging Face: GGUF og kvantisering (eksternt link).
Et større kontekstvindue kræver ekstra hukommelse. Derfor registreres den ønskede inputlængde udtrykkeligt i testen. En kort chat med et lille input siger kun lidt om senere arbejde med lange dokumenter. Ollama: kontekstlængde og hukommelsesbehov (eksternt link).
En GPU skal passe til hele miljøet
Ved valget tæller anvendelig grafikhukommelse, understøttede drivere og kørselsmiljø, strømforbrug, køling og indbygningsforhold. To kort med lignende produktnavne kan have forskellig mængde hukommelse. At operativsystemet genkender kortet, betyder heller ikke, at det ønskede kørselsmiljø anvender det korrekt.
Inden køb kontrolleres derfor det præcise kort, operativsystemet og driverversionen mod kørselsmiljøets aktuelle understøttelse. Ollama dokumenterer forskellige muligheder for NVIDIA, AMD, Apple Metal og andre backends. Det indebærer ikke generel understøttelse af alle kort fra et mærke. Ollama: aktuel hardwareunderstøttelse (eksternt link).
Hvad NVMe og Linux bidrager med
En NVMe-SSD er en fornuftig mulighed ved planlægning af lokale modelfiler, opdateringer og arbejdsdata. Der reserveres ledig plads til de modeller, som faktisk bruges, og til ekstra versioner. En større disk erstatter dog ikke RAM eller grafikhukommelse; heller ikke en hurtig SSD gør automatisk en for stor model interaktivt anvendelig.
Linux kan passe godt til en tjeneste i løbende drift, hvis drivere, vedligeholdelse og ansvarsfordeling passer til virksomheden. Ollama beskriver blandt andet drift som en selvstændig systemtjeneste. Operativsystemet vælges ud fra det eksisterende miljø; det skal ikke indføres på ny på alle arbejdspladser. Ollama: Linux-drift og versionsvedligeholdelse (eksternt link).
En kort pilot giver en bedre indkøbsliste
- Fastlæg en opgave: eksempelvis et udkast ud fra godkendte stikord, før hele vidensarkivet tilsluttes.
- Notér testbetingelserne: modelversion, kvantisering, kontekst, hardware og andre kørende programmer.
- Vurder resultaterne: faglig korrekthed, nødvendige rettelser og faktisk sparet arbejde.
- Mål ventetiderne: typiske og længere input samt den forventede samtidige anvendelse.
- Kontrollér også driften: dataforløb, adgangsrettigheder, opdateringer, sikkerhedskopiering og genopstart af tjenesten.
Den mere udførlige testmetode beskrives i artiklen Test lokal AI: En pilot med repræsentativ belastning. Ved overgangen til en fælles tjeneste forklarer Ollama og Open WebUI på virksomhedens netværk fordelingen mellem adgang, brugerflade og model.
Brug det eksisterende fornuftigt og supplér målrettet
En eksisterende computer kan være nok til at komme i gang. Hvis piloten viser en veldokumenteret nytte, opgraderes der efterfølgende målrettet, eller en selvstændig tjeneste planlægges. Til sjældne eller særligt krævende opgaver kan en godkendt cloud-API eller en hybridmodel også være økonomisk fornuftig. Data, kvalitet, anvendelse og driftsindsats er afgørende.
DAXS hjælper med denne vurdering og med integration i den eksisterende IT. Et udgangspunkt er Lokale LLM’er og infrastruktur og en forespørgsel om AI-rådgivning og automatisering.
Kilder: Hukommelsesværdierne er udtrykkeligt beskrevne planlægningsscenarier eller en teoretisk beregning af vægtene. De er hverken et benchmark, et pristilbud eller dokumentation for et bestemt antal brugere. Den konkrete modellicens og systemkompatibiliteten kontrolleres før brug.
