Twilio, la piattaforma di coinvolgimento dei clienti che guida esperienze personalizzate in tempo reale per i marchi leader di oggi, ha annunciato un’integrazione in collaborazione con OpenAI per portare la nuova API Realtime dell’azienda sulla piattaforma Twilio. L’integrazione delle funzionalità di streaming speech-to-speech (S2S), parte della API Realtime, consentirà a oltre 300.000 clienti Twilio e a più di dieci milioni di sviluppatori di creare potenti agenti virtuali di Intelligenza Artificiale conversazionale sfruttando il modello GPT-4o multilingue e multimodale di punta di OpenAI.
La nuova integrazione si basa sulle integrazioni di prodotto OpenAI e Twilio già esistenti, annunciate lo scorso anno, per portare la potenza degli LLM sulla piattaforma di coinvolgimento dei clienti.
Speech-to-speech è una tecnologia emergente che consente alle conversazioni vocali degli agenti virtuali AI di sembrare più simili a un vero dialogo umano. La Realtime API di OpenAI riduce la latenza e tiene conto di componenti chiave come il ritmo della conversazione, la gestione delle interruzioni, il tono e l’equilibrio tra parlare e ascoltare, tutti elementi critici dell’esperienza utente che sono essenziali per la giusta esperienza del cliente.
La tecnologia è particolarmente rilevante per il servizio clienti e le vendite, offrendo sia efficienza operativa che risultati eccezionali per i clienti. Speech-to-speech è anche impostato per supportare l’impatto sociale su larga scala, consentendo alle organizzazioni non profit e del settore pubblico di implementare nuovi casi d’uso come la traduzione vocale in tempo reale tra elettori e membri dello staff che parlano lingue diverse.
Le aziende saranno in grado di collegare queste capacità alla piattaforma di coinvolgimento dei clienti di Twilio, consentendo loro di creare agenti virtuali di intelligenza artificiale conversazionale nei flussi di lavoro come farebbero con qualsiasi altra interazione vocale. In precedenza, gli sviluppatori avrebbero dovuto unire più fornitori e soluzioni per creare e distribuire questi agenti.
L’integrazione nativa di Twilio con la Realtime API di OpenAI con funzionalità speech-to-speech consente di creare, distribuire e servire i clienti con agenti virtuali su un’unica piattaforma. Utilizzando le API vocali scalabili e il software di Twilio, gli sviluppatori possono utilizzare funzionalità avanzate per registrare chiamate, visualizzare prestazioni e analisi ed estrarre informazioni con gli operatori AI. Tali chiamate con agenti virtuali diventano quindi dati che possono essere applicati per migliorare l’efficienza operativa e abilitare la personalizzazione su larga scala.
Twilio si impegna ad aiutare a proteggere i clienti da nuove ed emergenti sfide con questa tecnologia, come deep fake, iniezioni di prompt basate sulla voce e altre minacce emergenti. Man mano che la nostra comprensione di questi nuovi rischi si evolve e vengono introdotte soluzioni a queste sfide, Twilio si impegna anche a sviluppare integrazioni più profonde di questa capacità nella nostra piattaforma, inclusa una prossima integrazione con gli assistenti AI di Twilio Alpha.
