Comment fonctionne la recherche Inbenta ?

Basé sur une technologie de Traitement Automatique du Langage Naturel, par opposition aux moteurs de recherche par mots clés classiques, le moteur de recherche sémantique Inbenta est capable de prendre le compte le véritable sens d’une phrase. Notre algorithme peut relier des recherches déstructurées, mal orthographiées et ambigües avec des contenus de réponses structurés, spécifiques et concis. Résultat : vos clients trouvent l’information qu’ils désirent rapidement et facilement, quelle que soit la formulation de leur question.

Le Traitement Automatique du Langage Naturel au service de la recherche sémantique

L’un des plus grands challenges du TALN est de réussir à résoudre les problèmes d’ambiguïté – une des principales caractéristiques du langage naturel.

Prenez par exemple la phrase « tenir un magasin ». Le mot « tenir » se réfère souvent au fait de porter quelque chose. C’est seulement dans ce contexte particulier que son sens se rapproche de celui de « gérer ».

La différence est évidente pour quelqu’un de familier avec le français, mais pas pour un ordinateur. Et même dans le cas où un ordinateur est capable d’analyser la syntaxe d’une phrase telle que « tenir un magasin », il sera toujours incapable de voir la moindre différence avec la phrase « tenir un stylo », quand bien même le sens de ces deux phrases est entièrement différent. Pour une solution Inbenta, c’est un jeu d’enfant.

Le moteur de recherche sémantique d’Inbenta approfondit l’analyse en examinant le sens contextuel des mots, lui permettant ainsi de choisir la meilleure signification du mot « tenir », même quand la syntaxe et le mot lui-même sont identiques.

Imaginons que vous travailliez pour une entreprise de télécommunication et que vous êtes chargé de créer des FAQs, destinées à aider vos clients à trouver par eux-mêmes les réponses qu’ils recherchent. Pour cet exemple particulier, la FAQ suivante informe vos clients du coût d’un appel à l’étranger :

« Quel est le prix pour un appel international ? »

Rien de particulier, n’est-ce pas ? Mais voici le problème : la probabilité que vos clients fasse une recherche dans cette FAQ en utilisant exactement ces mots-clés est très mince.

À la place, ils taperont des phrases telles que : « combien ça me coue d’appeler en colombi »

Vos utilisateurs vont toujours saisir des questions qui se rapportent à leur situation particulière, et en conséquence leurs mots vont être différents des vôtres.

Un algorithme sophistiqué pour la correction orthographique

Dans l’exemple ci-dessus, « coue » n’est pas un mot français, et n’appartient donc pas à notre vaste dictionnaire français. Il faut donc le corriger. Nous pourrions résoudre ce problème d’orthographe avec « coûte », « coude » ou encore « coupe ». Cependant, la correction la plus probable serait « coûte », puisqu’il s’agit de celle qui ferait le plus de sens dans la phrase.

Il y a une autre faute de frappe : « Colombi ». À nouveau, des corrections possibles seraient « Colombe », « Colomb » et « Colombie », bien que la plus plausible soit bien évidemment le nom du pays d’Amérique Latine. Quand nous évoquons « la plus plausible », il s’agit d’une chose facile à déterminer pour des humains, mais très difficile pour un ordinateur.

Chez Inbenta, notre très vaste dictionnaire français (ainsi qu’anglais, espagnol et plus de 25 autres langues) contient des informations sur la probabilité d’associations lexicales selon les spécificités de la base de connaissances, ainsi que des caractéristiques générales de la langue.

La solution à la faute de frappe

À partir de là, le moteur de recherche sémantique ne va plus utiliser la saisie incorrecte originale, mais interpréter une version corrigée de la requête : « Combien ça me coûte d’appeler en Colombie ? ».

L’étape suivante est la résolution de toutes les ambiguïtés dans la phrase (dans le langage naturel, il y a toujours des ambiguïtés). Nous allons pour cela utiliser des outils variés : dictionnaires spécialisés, fonctions lexicales, grammaires locales et analyses syntaxiques. Effectuer la bonne analyse syntaxique et sémantique est crucial pour trouver des réponses pertinentes.

Comment fonctionne l’analyse syntaxique et sémantique

Grâce aux analyses syntaxiques, Inbenta détermine la fonction précise de chaque mot au sein de cette question particulière. Le résultat de cette analyse peut être observé ci-dessous :

Les analyses suivantes de la requête dépendront de nombreux facteurs tels que le dictionnaire spécialisé, les règles de résolution des ambiguïtés, le contexte, etc. Par exemple, le mot « appel » peut avoir différentes significations sans rapport avec les appels téléphoniques, comme l’action de héler quelqu’un, ou le fait de s’assurer que tous les élèves d’une classe soient présents, etc. Mais dans le contexte de l’industrie des télécommunications, « appel » renvoie sans ambiguïtés au fait de passer un appel téléphonique.

 

Nous procédons ensuite à une analyse sémantique, pour déterminer l’importance relative de chaque mot dans la phrase. Les internautes ajoutent souvent beaucoup d’informations dans leurs saisies qui ne sont pas essentielles pour trouver une réponse pertinente. Les mots superflus dans les recherches des utilisateurs, qualifiés dans l’industrie de « bruit », peuvent fréquemment conduire à des résultats inadaptés. Mais notre système est capable de déterminer quels sont les mots porteurs de sens qu’il nous faut prendre en compte.

En s’appuyant sur la base de connaissances et notre algorithme sémantique-statistique unique, nous attribuerions un poids sémantique particulier à chacun des termes de la question :

Tous les termes de la saisie n’ont ainsi pas la même importance. Dans ce cas particulier, « coût » et « Colombie » contiennent presque 70 % de l’ensemble du « poids sémantique » de la saisie. Nous sommes alors proches d’avoir une réponse pertinente à cette question.

Le rôle des dictionnaires spécialisés et des fonctions lexicales

Inbenta a conçu un très vaste dictionnaire, qui contient des centaines de milliers de termes et de nombreuses sortes de relations sémantiques nommées « fonctions lexicales ». Ces fonctions lexicales peuvent couvrir des relations simples entre les mots, comme les synonymes, ainsi que des relations plus complexes qui dépendent du contexte dans lequel le terme apparaît.

Grâce au dictionnaire spécialisé et aux fonctions lexicales, nous sommes capables de reconnaître les phrases ayant la même signification malgré l’usage de mots différents. Avec cet « algorithme de signification » ultime, nous pouvons déterminer la proximité ou la distance de ces phrases les unes par rapport aux autres en termes de sens.

Un exemple de deux fonctions lexicales

Le terme « international » est lié à celui de « nation », et ainsi aux noms de toutes les différentes nations. Cela nous informe que « Colombie » et « international » sont liés.

En outre, cet utilisateur a demandé une information en rapport avec le « coût », qui est le terme souvent employé par les clients lorsque ils payent pour un service. Toutefois, l’auteur de cette réponse l’a rédigée en utilisant le terme « prix », qui désigne le même concept, mais de la perspective de celui qui est payé et non de celui qui paye. Ainsi, « coût » et « prix » sont liés.

En appliquant ces deux fonctions lexicales, nous savons déterminer que la requête de l’utilisateur est liée au concept de « prix » et d’« international », même si ces termes ne sont jamais mentionnés dans la question.

Notre moteur de recherche sémantique en amélioration constante

Nos fonctions lexicales s’enrichissent chaque jour grâce au travail des linguistes d’Inbenta, qui continuent d’étendre les relations sémantiques et la complexité de ces fonctions lexicales. Dans ce cas particulier, notre « algorithme de similarité » breveté, combiné à notre vaste lexique, nous permet de déterminer que la requête de l’utilisateur et cette FAQ particulière ont un « Score de Similarité » de 57,49 %. Si aucune autre contenu de réponse n’a un meilleur Score de Similarité, celle avec le titre « Quel est le prix pour un appel international ? » sera classée en première position dans la liste des réponses possibles.

Il est essentiel de faire remarquer que l’auteur de la FAQ n’a fait qu’écrire « Quel est le prix pour un appel international ? » ; il n’a pas eut à saisir de reformulations alternatives, ni ajouter de tags, éditer les fichiers index de synonymes ou examiner de fastidieuses alternatives de vocabulaire. Ce travail est assimilé nativement par la technologie Inbenta.

Nous pensons que les créateurs et éditeurs de bases de connaissances ne devraient avoir besoin de se focaliser que sur le contenu lui-même et non sur la façon dont il sera trouvé. Ce qui donne à votre BotMaster plus de temps pour écrire un contenu de meilleure qualité. C’est selon nous la meilleure méthode pour mettre en place des chatbots intelligents ou chatbots IA.

La Recherche en Langage Naturel d’Inbenta est la réponse

Même quand les milliers de FAQs sont en train d’être parcourues et que des milliers d’internautes sont en train de poser différentes questions au même moment, notre moteur de recherche sémantique répond à l’appel. Dans l’exemple utilisé, notre moteur n’a mis que 0.003 secondes pour identifier la bonne réponse à la question posée, parmi une base de plus de 2500 FAQs. Comptez sur Inbenta pour des recherches sémantiques avec un temps de réponse incroyable.