Lokal eller hostet sprogmodel: sådan vælger I

Teams åbner ofte den her beslutning med at sammenligne modelbenchmarks. Det er den forkerte ende af problemet. I de forløb, vi kører, er svaret afgjort længe før nogen sammenligner outputkvalitet, fordi regler om datalokalitet, indkøbsvilkår og eksisterende databehandleraftaler allerede har udelukket den ene mulighed.

Begynd med, hvad data tillader

Tre ting afgør de fleste sager: om materialet indeholder personoplysninger og på hvilket behandlingsgrundlag, om en eksisterende kontrakt eller en brancheregel begrænser, hvor behandlingen må ske, og om tilføjelsen af endnu en underdatabehandler ville udløse en vurdering, ingen har budget eller lyst til.

Blokerer et af svarene for at sende indhold til tredjepart, er hostingbeslutningen truffet. Det, der er tilbage, er ingeniørarbejde, ikke strategi.

Hvad hostet inferens faktisk giver jer

Et hostet API fjerner en hel kategori af arbejde. I får de nyeste modeller den uge, de udkommer, ingen acceleratorkapacitet at planlægge, ingen inferensplatform at holde opdateret, og en elastisk omkostning, der starter tæt på nul. For det meste generelt videnarbejde er det det fornuftige udgangspunkt, og at argumentere for andet betyder som regel, at man betaler for en kontrol, ingen har bedt om.

Omkostningerne er reelle, men specifikke. Jeres indhold forlader jeres grænse. Modelversioner ændrer sig under jer, undertiden med adfærdsændringer, I ikke har planlagt. Rate limits tilhører leverandøren. Prisen skalerer med brugen, hvilket er behageligt ved pilotvolumen og mindre behageligt, når en arbejdsgang kører ti tusind gange om dagen.

Hvad det koster at drive den selv

Selvhosting bliver ofte fremstillet som den sikre mulighed. Den er sikrere i præcis én dimension og dyrere i flere andre.

• Acceleratorkapacitet skal købes eller reserveres før efterspørgslen og står stille mellem spidsbelastningerne
• Nogen ejer serveringsplatformen: versionsopgraderinger, valg af kvantisering, batching og hændelsen klokken to om natten
• Modeller med åbne vægte halter efter fronten, så kvaliteten afgøres af, hvad I kan hoste, frem for af hvad der findes
• Evaluering bliver jeres opgave, for ingen leverandør forbedrer i stilhed modellen bag jeres endpoint

Intet af det er en grund til at lade være. Det er en grund til at være ærlig om, at selvhosting flytter arbejde over på jeres platformsteam frem for at fjerne arbejde fra organisationen.

Mellempositionen er som regel den rigtige

De fleste organisationer står ikke over for én beslutning. De står over for en portefølje: noget materiale kan gå til en hostet leverandør, noget kan ikke, og grænsen flytter sig, efterhånden som juridiske vurderinger afsluttes, og nye anvendelser dukker op.

Det er argumentet for at lægge en gateway mellem jeres applikationer og det, der betjener modellen. Applikationerne kalder én intern grænseflade. Routing, logning, adgangsstyring og maskering ligger i det lag. Hvor en forespørgsel havner, bliver dermed en politikbeslutning frem for en kodeændring, og at flytte en arbejdsgang fra et hostet API til lokal inferens holder op med at være et migrationsprojekt.

Den beslutning, der er værd at forsvare, er, om I kan skifte mening senere uden at skrive applikationerne om.

Det vi anbefaler

Brug hostet inferens som udgangspunkt. Kør selv modeller for netop det materiale, som juridiske eller kontraktuelle begrænsninger holder væk fra tredjepartsbehandling. Sæt en gateway foran begge dele fra den første produktionsarbejdsgang, før I har applikationer med en leverandørs SDK kompileret ind i sig.

Undtagelsen er organisationer uden platformskapacitet at tale om. Hvis ingen kommer til at eje en inferensplatform efter idriftsættelsen, forfalder selvhosting til en uopdateret tjeneste med jeres mest følsomme indhold i, hvilket er værre end den risiko, den skulle afværge.

De organisationer, der træffer det forkerte valg her, tager sjældent fejl af residency eller kontrakter. De tager fejl af, hvem der stadig ejer inferensstakken et år efter lancering, hvilket er et spørgsmål om platform engineering og ikke om indkøb. Stil det spørgsmål før beslutningen, ikke efter stakken er begyndt at forfalde.

Er lokal drift mere sikker end et hostet model-API?

Den er mere indeholdt, hvilket ikke er det samme. Lokal drift holder indhold inden for jeres grænse og fjerner en underdatabehandler fra billedet. Den gør jer også ansvarlige for opdatering, adgangsstyring og overvågning af inferensplatformen. En velstyret hostet løsning slår en forsømt lokal.

Er modeller med åbne vægte gode nok til produktion?

Til søgningsforankret spørgsmål-svar, udtræk, klassifikation og opsummering over jeres eget indhold er de nuværende åbne modeller som regel tilstrækkelige. Afstanden til frontmodellerne er størst ved lange ræsonnementer i flere trin. Test på jeres eget materiale frem for på offentlige benchmarks, som sjældent ligner arbejdet.

Hvad gør en AI-gateway?

Den giver applikationerne én intern grænseflade og samler routing, autentifikation, logning, kvoter og maskering ét sted. Det holder hostingbeslutningen omgørlig og giver jer ét sted at besvare revisionsspørgsmål om, hvilket system der sendte hvad, hvorhen og hvornår.

Hvordan bør vi estimere omkostningen ved selv at køre modeller?

Regn acceleratorkapaciteten ud fra jeres spidsbelastning frem for jeres gennemsnit, og læg derefter platformsarbejdet til for at drive det som en understøttet tjeneste. Teams, der kun sammenligner tokenpriser med hardwareleje, undervurderer typisk med prisen på de mennesker, der holder det kørende.