Comment développer la langue des signes française automatique ?

Publié le 3 juin 2024 à 12h24

Temps de lecture : 11 minutes

Introduction

Avec l’émergence de l’intelligence artificielle en particulier générative, de plus en plus de projets impliquant la langue des signes sont développés. Ces projets sont-ils utiles ou, au contraire, ne sont-ils pas utiles à la communauté sourde et malentendante ? C’est l’objet de cet article.

Un peu de contexte

D’abord, un peu de contexte. Il faut savoir que la langue des signes n’est pas universelle (nouvel onglet). En effet, chaque pays a sa propre langue des signes. Nous avons la Langue des Signes Française (LSF), American Sign Language (ASL), British Sign Language (BSL), la Langue des Signes Française Belge (LSFB), etc. Il existe évidemment la langue des signes internationale qui est l’ISL (International Sign Language).

Au milieu des traitements de l’IA, il existe un traitement qu’on appelle Sign Language Processing (SLP). Voici un extrait traduit de l’article Traitement de la langue des signes (nouvel onglet) (EN) :

“Le traitement de la langue des signes [...] est un domaine émergent de l’intelligence artificielle concerné par le traitement et l’analyse automatiques du contenu en langue des signes. Bien que la recherche se soit davantage concentrée sur les aspects visuels des langues signées, il s’agit d’un sous-domaine du traitement du langage naturel (NLP) et de la vision par ordinateur (CV). Les défis du traitement de la langue des signes incluent souvent la traduction automatique de vidéos en langue des signes en texte parlé (traduction en langue des signes), à partir de texte en langue parlée (production en langue des signes) ou la reconnaissance de la langue des signes pour la compréhension de la langue des signes.”

Vous l’aurez compris, avec la SLP, cela ouvre des possibilités incroyables. Néanmoins, si vous créez un outil automatique axé sur la Langue des Signes Américaine (ASL), il ne sera pas utile pour les personnes sourdes et malentendantes utilisant la Langue des Signes Française (LSF). Il est plus facile de construire un projet avec l’ASL car les datas (données) ne sont disponibles qu’avec cette langue en open-source, ce qui n’est pas le cas avec la LSF.

Grâce à la SLP, de multiples projets apparaissent pour développer la langue des signes automatique, dans le but d'aider les personnes sourdes et malentendantes signantes à communiquer avec le reste de la population qui ne connaît pas cette langue ou à accéder aux contenus numériques pour leur faciliter l’accès à l’information.

Disability Dongle

Des projets comme créer des gants pour traduire la langue des signes (nouvel onglet). C’est excitant technologiquement mais totalement inutile. Est-ce que vous voyez des personnes sourdes et malentendantes se balader avec des gants lourds toute la journée juste pour se faire comprendre ?

Liz Jackson (nouvel onglet) (EN) considère justement ce concept comme du « Disability Dongle ». Je suis incapable de traduire ce terme en français et il n'existe pas, pour l'instant, d'alternative en français mais je vais vous donner une explication tout en vous recommandant vivement de lire son article extrêmement enrichissant Disability Dongle (nouvel onglet) rédigé en anglais. Voici, d'abord, un extrait traduit de son article :

“J’ai [Liz Jackson a] créé le terme « Disability Dongle » en 2019 pour attirer l’attention sur le phénomène des étudiants et des praticiens en design et en ingénierie qui prototypent des solutions « innovantes » pour les personnes handicapées. La définition fait la satire d’un résultat dans lequel les conceptions ou les technologies « pour » les personnes handicapées attirent l’attention et les éloges du grand public malgré les préoccupations légitimes des personnes handicapées à leur sujet.”

En effet, ce terme désigne une solution technologique conçue pour les personnes handicapées mais qui, en réalité, est souvent inutile ou mal adapté à leurs besoins réels. Comme les gants, par exemple. Les gants ont attiré l’attention du public et donc des financeurs potentiels mais n’ont pas reçu l’approbation de la communauté sourde et malentendante.

Ces gants ont donc détourné les besoins réels de la communauté qui demande davantage d’accessibilité avec la langue des signes. En effet, l'accès à l'éducation, aux soins, aux démarches administratives, aux médias et autres avec la langue des signes est encore très difficile pour les personnes sourdes et malentendantes dont la LSF est leur langue maternelle. Pour répondre à ce besoin, il faut davantage d’interprètes en langue des signes française et donc les former. Aujourd'hui encore, il existe trop peu d'interprètes pour satisfaire tous les besoins.

Comment répondre aux besoins d’accessibilité en LSF ?

Pour répondre à ces besoins, on essaie donc de créer des solutions technologiques afin d’améliorer l’accessibilité pour la communauté sourde et malentendante s’exprimant en langue des signes.

Pour ce faire, on a donc besoin qu’il y ait plus de personnes sourdes et malentendantes dans la tech pour créer des innovations leur permettant de communiquer. Ne laissons pas uniquement aux personnes entendantes de s’approprier de la culture Sourde et de créer des innovations pour les personnes sourdes et malentendantes sans connaître la langue des signes et la communauté sourde et malentendante.

Mais le problème est que très peu de formations est accessible aux personnes sourdes et malentendantes. La prise en charge des interprètes implique nécessairement un coût que certaines personnes ne peuvent pas assumer. Quelques écoles acceptent la prise en charge, d'autres la refusent.

Je connais des étudiants et étudiantes pour qui c’est un parcours de combattant pour avoir des interprètes en langue des signes à l'université ou à l'école supérieure à temps plein. Juste quelques heures ne sont tout simplement pas suffisantes.

La langue des signes française automatique pour les universités et écoles supérieures pourrait aider mais il faut encore des années de perfectionnement pour pouvoir l’utiliser pleinement. Nous sommes encore loin de compter sur l’avatar 3D pour traduire les cours en la langue des signes automatiquement.

Parce que les avatars 3D ne sont pas encore suffisamment fluides pour être utilisés pour les cours en université notamment à cause du vocabulaire technique des cours, des expressions faciales et du corps qui sont nécessaires à la compréhension de la langue des signes. Cet article Apprendre la langue des signes grâce à l'IA générative et aux avatars en 3D (nouvel onglet) explique bien ces contraintes.

La langue des signes, étant une langue vivante, évolue régulièrement. Il n’y a pas encore la possibilité de fournir un verbatim en langue des signes comme c’est le cas pour certains outils intégrant le sous-titrage automatique. D'autant que fournir un verbatim en temps réel est plus compliqué car il faut que l'IA capture en motion le nouveau signe et l'enregistre. Il ne s'agit pas d'incorporer seulement un nouveau terme dans le modèle comme c'est le cas avec les sous-titres automatiques.

Il y a encore quelques jours, j’ai vu un post sur un réseau social d’une personne entendante qui a créé un projet LSF avec l’IA permettant de convertir les « gestes LSF en texte en temps réel » dans le but de « d'ouvrir de nouvelles perspectives pour rendre la communication plus accessible et contribuer l'inclusivité de la communauté sourde et malentendante ».

Je salue son initiative mais rien ne va dans sa proposition. De un, la LSF n’est pas que des « gestes ». C’est une langue à part entière avec sa propre syntaxe, avec ses expressions faciales et du corps. Elle est totalement différente de la langue française avec ses propres règles de grammaire. Ce n’est pas avec « quelques gestes » qu’on va améliorer la communication avec la communauté sourde et malentendante. Et de deux, une majorité de la communauté sourde et malentendante ne connaît pas la langue des signes ni ne la maîtrise puisqu'on estime, en France, selon la Fondation pour l’Audition (nouvel onglet), 100 000 à 300 000 personnes qui pratiquent la Langue des Signes Française (LSF).

Cette personne, de toute évidence, ne connaît pas ni la surdité, ni la LSF et ni la communauté ainsi que la culture Sourde.

Quand ce n’est pas le cas, comment cette personne sait-elle que ce sont de bons signes qui sont reconnues par l’IA et compréhensibles par les personnes sourdes signantes ? Dans sa démo, j’ai vu qu’il y avait des erreurs d’interprétation en LSF. Certains signes venaient de l’ASL qui sont complètement différents de la LSF. C’est pourquoi quand on veut mener ce projet à bien, il est important de maîtriser la langue des signes dans sa globalité et dans l’idéal d’avoir suivi des formations certifiées et dispensées par des personnes diplômées.

Pour créer un projet qui aide la communauté, il faut connaître cette dernière.

Je sais que c’est tellement passionnant technologiquement de créer de tels projets mais avant de faire quoi ce soit, ça serait bien de demander l’avis des personnes concernées, voire même de travailler avec elles. D’où l’adage, rien sur nous sans nous.

De plus, pour se faire comprendre par l’IA, on ne peut pas signer vite. Contrairement aux vidéos de démo qu’on voit, on ne signe pas lentement, signe par signe, alphabet par alphabet. On signe à toute vitesse comme on parle vite. Chaque personne s'exprimant en LSF signe à sa propre vitesse comme chaque personne oralisante qui parle à sa propre vitesse. Cette vidéo réalisée par KEIA (nouvel onglet) illustre parfaitement cela.

IRIS

Si vous avez été à VivaTech (nouvel onglet) fin mai au stand IBM, vous avez pu tester le chatbot en langue des signes. IRIS a été créé par IVèS (nouvel onglet).

J’avais pu découvrir IRIS il y a quelques mois et j’avais été impressionnée par la qualité du chatbot.

Je l’ai donc revu au stand et j’ai pu constater qu’il s’était bien amélioré dans la détection des signes. La dernière fois, IRIS ne me comprenait pas au début à cause de ma main dominante. Elle ne détectait pas correctement les signes de ma main gauche car elle était paramétrée pour détecter les signes de la main droite. En changeant les paramètres de détection, par la suite, elle m’a mieux comprise.

Au début, par habitude, j’ai signé à ma vitesse et IRIS n’avait pas eu le temps de capter mes signes. J’ai dû ralentir ma vitesse (c’était comme réduire son débit de parole). Je n’ai aucun doute que d’ici peu, grâce au nouveau partenariat avec IBM et Sopra Steria (nouvel onglet), la vitesse sera prise en compte.

L’atout d’IRIS est qu’elle est construite avec une équipe très diversifiée. En effet, des personnes sourdes et malentendantes s’exprimant en langue des signes contribuent à ce projet. Puisque l’accessibilité concerne directement les personnes sourdes et malentendantes, il est nécessaire d’impliquer les personnes concernées pour créer et améliorer IRIS. Et ça se ressent !

Je vous invite à visionner l’excellent reportage de l’Oeil et la Main L’intelligence artificielle, une nouvelle dimension (nouvel onglet) sur FranceTV.

A terme, IRIS sera déployée avec d’autres chatbots déjà existants sur les sites commerciaux afin d’aider les personnes sourdes et malentendantes signantes. Elle peut aussi traduire les contenus numériques.

En entendant parler de ce projet, mon amie Thanh Lan DOUBLIER (nouvel onglet), développeuse IA, avec qui j’ai co-présenté la conférence IA et Handicap : progrès ou exclusion ? m’a confié un point intéressant :

“Là, le modèle s’améliore car il est encore en développement mais qu’est ce qu’il arrive une fois que tu mets le modèle en production ? Est-ce que le modèle va continuer à évoluer et à s’enrichir de nouveaux termes tout en continuant à travailler avec les personnes concernées ? Est-ce que ça ne sera pas à terme plus coûteux de maintenir le modèle qu’embaucher les interprètes ?”

Je dois admettre que je n'avais pas pris en compte la viabilité économique que cela pourrait entraîner réellement si le modèle était maintenu à long terme.

Quoiqu’il arrive, on aura toujours besoin des interprètes en LSF et des interfaces en LSF. En effet, la langue des signes automatique n’a pas pour vocation de les remplacer sur le terrain mais peut, cependant, être utilisée pour les contenus numériques.

Conclusion

Vous l’aurez compris, pour créer des solutions innovantes autour de la langue des signes automatique, évitons le piège du « Disability Dongle ». et faisons-le avec les personnes concernées. En collaborant tous ensemble, nous pouvons créer des outils utiles et accessibles.

Sources

Haut de page