Jack Dorsey, à la tête de Block, a présenté un nouveau modèle vocal issu du laboratoire de recherche de l'entreprise. Ce modèle, baptisé Dessa, fonctionne localement et imite de manière troublante les expressions humaines, telles que les rires, les pauses et les pleurs. Selon Block, Dessa est entièrement formé sur des discours humains en utilisant un seul rack GPU NVIDIA.

Fonctionnalités de Dessa

Dessa est un modèle duplex complet, ce qui signifie qu'il peut parler et écouter simultanément, similaire au modèle GPT-Live d'OpenAI lancé plus tôt cette année. En général, les modèles vocaux sont associés à un grand modèle de langage pour la récupération des connaissances, mais Block affirme que les connaissances de Dessa proviennent des données conversationnelles qu'il a analysées.

« Nous croyons que la voix est la manière la plus naturelle d'interagir avec l'intelligence, c'est pourquoi nous avons créé Dessa, le modèle de discours duplex complet le plus authentique jamais construit. Parler avec lui ressemble à converser avec une personne… pleine d'émotion, de nuances, de pauses et d'un rythme naturel », a déclaré l'entreprise.

Comparaison avec d'autres modèles

Block a noté que les modèles actuels peuvent sonner de manière peu naturelle et agaçante, car ils utilisent du texte comme base de génération vocale. De nombreux modèles comme ElevenLabs v4 ou Fish Audio Drama 3 appliquent des balises vocales pour exprimer des émotions. Cependant, Dorsey et son équipe affirment que l'émotion est intégrée dans leur modèle, sans préciser si cela est guidé par des balises.

« Interagir avec l'IA vocale actuelle peut être désagréable. Cela transforme votre voix en texte, perdant ainsi une quantité incroyable d'informations que le texte ne peut pas transmettre. Les IA les plus puissantes du monde ne peuvent pas percevoir vos émotions. Nous pensons que c'est ridicule, que cela mène à une expérience moins satisfaisante et peut être dangereux », a déclaré Block dans un article de blog.

Exemples d'interaction avec Dessa

Les chercheurs de l'entreprise ont partagé plusieurs exemples de conversations avec Dessa, où l'agent affichait différentes voix, cadences et émotions. Par exemple, dans une conversation, le bot a mentionné qu'il était fatigué du travail, et il avait effectivement l'air fatigué.

Block a affirmé : « Nous avons créé le premier modèle d'IA avec lequel vous pouvez avoir une conversation réaliste, entièrement formé sur la parole ! Dessa est un modèle de discours à discours duplex complet que vous pouvez exécuter sur des GPU grand public. C'est un moment GPT3 pour la parole. »

Accessibilité et tests

Le modèle peut fonctionner localement sur un ordinateur de consommation tel qu'un MacBook M4 Max ou mieux. Cependant, il n'est pas encore accessible au public, et Block a lancé un appel à des chercheurs en sécurité pour tester le modèle, probablement pour examiner les situations où un agent vocal pourrait tromper les utilisateurs.

Block évolue dans le domaine financier et vend ses solutions aux petites entreprises. Square utilise déjà l'IA vocale pour gérer les commandes. Avec son propre modèle vocal pouvant fonctionner sur appareil, Block pourrait enrichir de nombreuses expériences professionnelles et consommateurs à un coût inférieur.