Det finns en obekväm sanning i AI-branschen just nu. Det som tar tio minuter att bygga i en demo tar sex månader att få stabilt i produktion och det är där de flesta AI-projekt tystnar. Beslutsfattare har sett tillräckligt med snygga POCs för att vara skeptiska men de saknar ofta språket för att förklara varför något som ser ut att fungera ändå inte gör det när det möter verkligheten.
Jag bygger AI-lösningar varje dag, både i integrerade flöden och i ren produktutveckling. Gapet mellan demo och AI i praktiken är inte en teknisk detalj. Det är hela jobbet.
Demon är optimerad för det normala fallet
När någon visar dig en AI-lösning på trettio sekunder är den nästan alltid testad mot snäll indata: ett rent dokument, en tydlig fråga, ett standardiserat format. Verkliga företag har inte snäll indata. De har filer där kommentarer står i fel kolumn sedan 2019, CRM-exporter där hälften av kontakterna saknar efternamn och PDF:er som är inskannade på sniskan. Lösningen som klarade demon klarar inte onsdagens fil från revisorn.
Det här är en av huvudanledningarna till att AI-projekt misslyckas. Det märks först vid systematisk jämförelse mot manuellt utfall. När du sätter AI-utdata bredvid det en människa skulle gjort hittar du fel som ingen demo kan exponera.
Infrastruktur är nyckeln
Den andra anledningen till att AI-projekt stannar är att produktionsmiljöer har gränser som demos aldrig stöter på. Integrationsplattformar har timeouts, automationsverktyg har körningskvoter och molnplattformar har kapacitetstak som ingen pratar om förrän man slår i dem.
Lösningen för AI i produktion är sällan en bättre prompt. Den är en arkitektur som lyfter ut beroendet av enskilda faktorer. Den här typen av infrastruktur syns aldrig i en demo eftersom det inte är poängen men det är skillnaden mellan ett system som en litar på och ett system som en ringer om varje måndag.
AI-modellen är inte det som avgör
När nästa generation av AI-modell släpps om sex månader förändras inte resultatet i produktion, det förändras i förarbetet och i infrastrukturen. Jag kan exemplifiera det här med produkten Salesprep, där vi betygsätter säljscenarion mot olika dimensioner. Där är det kalibreringen mot mänsklig bedömning som avgör kvaliteten, inte modellvalet.
Vad det betyder för dig som köpare av AI för företag
Om du är på väg att handla upp en AI-lösning, fråga inte vilken modell de använder. Fråga hur de tänker kring edge cases och hur du som kund kan se kvaliteten själv. Den som kan svara på det har byggt något som faktiskt fungerar i produktion. Den som börjar prata om hur bra den senaste modellen är har troligen byggt en demo.
Jag ägnar mig åt AI-strategi och AI-utveckling genom Byron Calles (byroncalles.se) och utvecklar även Salesprep (salesprep.ai) som hjälper säljare träna med rollspel mot AI. Båda projekten är födda ur samma övertygelse: AI är inte
värt något om det inte fungerar i produktion.
Läs om samarbetet mellan Byron Calles och Amesto AccountHouse.
