Under våren 2023 lanserades twoday AI Agent – en AI-applikation som använder OpenAIs GPT-språkmodeller, anpassad för att möta företags behov av säkerhet och konfidentialitet. twoday AI Agent är en färdig produkt, lämplig för företag som vill omedelbart implementera generativ AI i sin verksamhet och snabbt skapa affärsvärde. Vanliga användningsfall inkluderar att förbättra kundtjänst, automatisera interna processer och underlätta datahantering och användning.
I ett nyligen genomfört projekt, använde experter från en stor organisation, ett brett spektrum av realistiska och komplexa kundsupportfrågor för att testa både en fritt tillgänglig AI-applikation och twoday AI Agent, som använder en inbyggd Retrieval Augmented Generation (RAG) -ramverk. I undersökningen utvärderades om de kunde tillhandahålla de AI-genererat svaren direkt till kund.
twoday AI Agent presterade betydligt bättre i testet än den jämförda AI-applikationen, nämligen gratisversionen av ChatGPT. I denna blogg kommer vi diskutera hur mycket bättre twoday AI Agent presterade, och varför.
Användningen av twoday AI Agent i ett stort kundtjänstcenter
Användningen av twoday AI Agent utvärderades i ett projekt med ett kundtjänstcenter med hundratals anställda som hanterar över två miljoner samtal och en halv miljon chattmeddelanden årligen.
Vid hantering av stora mängder data är det viktigt att AI-lösningen är av hög kvalitet och ger pålitliga svar, då även en liten felprocent kan påverka både verksamheten, personalen och kunderna avsevärt. Därför följde projektet principerna för ansvarsfull AI och övervakades noggrant under implementationen.
Den signifikanta påverkan av RAG-Ramverket
Projektet kombinerade twodays teknologi och expertis med kunskapen hos kundtjänstcentret. I utvecklingen användes Retrieval Augmented Generation (RAG)-ramverket, vilket innebär att språkmodellen inte bara ger korrekta svar på frågor, utan även svarar på ett berikat sätt, med så kallad prompt engineering.
En betydande fördel med twoday AI Agent är att alla nödvändiga funktioner är inbyggda i produkten, vilket gör konfiguration och anpassning enkel och snabb. Det innebär att produkten är redo att användas omedelbart, och metoder som RAG kan användas direkt utan det omfattande utvecklingsarbete som vanligtvis krävs.
In tests, the AI Agent's performance was compared to the free version of ChatGPT, which does not use the RAG framework. All the information needed for responses is available from the public internet, so ChatGPT's language model should also have access to this information when forming responses. The test results show that the AI application using the framework clearly outperforms compared applications, offering more useful and higher-quality answers.
I undersökningen jämfördes prestandan av twoday AI Agent med gratisversionen av ChatGPT, som inte använder RAG-ramverket. All information som behövdes för att svara på kundfrågorna finns tillgängliga på internet, och är därför även tillgängliga för ChatGPT:s språkmodeller. Resultatet visade att twoday AI Agent, som använder RAG-ramverket, presterade avsevärt bättre än gratisversionen av ChatGPT och tillhandahöll fler användbara och högkvalitativa svar som bedömdes kunna direkt användas för att svara på kundfrågor.
Projektet bestod av flera tester där medarbetare från kundtjänstcentret ställde realistiska kundfrågor till de olika AI-applikationerna, och gav därefter feedback som användes för analys och förbättring. Prestandan utvärderades efter måtten noggrannhet och användarvänlighet, där medarbetarna från kundtjänstcentret bedömde de olika AI-applikationernas svarshastighet och kvalitet på en skala från 1 till 4, där 4 innebar att svaret som genererades kunde användas direkt för att svara på kundens fråga.
Resultatet
twoday AI Agent presterade betydligt bättre i testet än den jämförda AI-applikationen. Användare jämförde svar från båda agenterna med samma riktlinjer och frågor. Enligt experternas bedömning var de flesta av AI-agentens svar lämpliga att presenteras direkt för slutkunderna.
"twoday AI Agents förmåga att snabbt lokalisera branschspecifik information från träningsdatan resulterade i att den presterade avsevärt bättre i undersökningen, än den jämförda AI-applikationen dvs. gratisversionen av ChatGPT."
Tony Shepherd, senior konsult i twodays Data & Analytics-team
När man jämförde vilken av AI-applikationerna som resulterade i flest genererade svar mellan 3 och 4 på den 1-4 gradiga kvalitetsskalan, så visade det sig att svaren från twoday AI Agent uppnådde ett resultat på 83% medan ChatGPT, som inte använder RAG-ramverket, endast uppmätte 36%.
Under testet utvärderades även de planerade förbättringsåtgärderna hos twoday AI Agent, såsom tillägg av fler språkmodeller för informationssökning och effektivare användning av feedback från användarna. Då bedömdes det att twoday AI Agent potentiellt kunde uppnå ett resultat på 95% på kvalitetsskalan.
Medarbetarna från kundtjänstcentret bedömde svarsresultaten från twoday AI Agent och gratisversionen av ChatGPT på en kvalitetsskala mellan 1 och 4, där 4 innebar att svaret som genererades kunde användas direkt för att svara på kundens fråga.
AI tillför en ny dimension till kuntjänst
twoday AI Agent erbjöd inte bara högkvalitativt stöd till kundtjänstcentret, utan överträffade också prestandan betydligt jämfört med den jämförda AI-applikationen som inte använde sig av RAG-ramverket. Projektet säkerställde att AI-lösningen var optimerad och att användarna kontinuerligt kunde övervaka och förbättra den.
"twoday AI Agent erbjuder inte bara anpassad och säker service till våra företagskunder utan visar också tydligt hur potentialen hos AI kan nyttjas ännu mer. Genom att använda RAG-ramverket och kombinera flera olika språkmodeller, har vi lyckats utveckla en lösning som uppfyller alla de höga krav som finns gällande noggrannhet och tillförlitlighet inom kundtjänst.
Projektresultaten visar tydligt att twoday AI Agent kan erbjuda utmärkt support och presterar avsevärt bättre vid komplexa kundfrågor, än andra lösningar som finns tillgängliga.”
Janne Sipilä, Director of Business Development i twodays Data & Analytics-team
Ge dina kunder en överlägsen service, med automatiserade processer och AI
Skapa mer personliga interaktioner, få hjälp med snabb och effektiv informationshantering och ge dina kunder en överlägsen service. Med twoday AI Agent kan du enkelt få hjälp att svara på kundfrågor i alla dina kanaler, oavsett om det är sociala medier, chatt eller e-post.
- Snabbare och enklare kundkommunikation dygnet runt, året om.
- Korrekta och precisa svar på kundfrågor, utan några fördröjningar.
- Anpassningsbar efter ditt företags varumärke, språk och tonalitet.
Läs mer om twoday AI Agent här.
