Echipa proiectului A(I)BILITIES a participat la International Conference on User-System Interaction, unde a prezentat o serie de rezultate recente în domeniul accesibilității digitale, al inteligenței artificiale și al interacțiunii om–calculator.

În etapa actuală de implementare a proiectului, contribuțiile prezentate reflectă maturizarea soluțiilor dezvoltate și consolidarea rezultatelor obținute de parteneriatul format din Universitatea Ștefan cel Mare din Suceava și ASSIST Software. Lucrările abordează generarea automată de interfețe mobile adaptive, recunoașterea gesturilor, reutilizarea datelor de interacțiune tactilă și controlul vocal al mediilor digitale.

Prin aceste rezultate, proiectul A(I)BILITIES își reafirmă obiectivul de a contribui la dezvoltarea unor tehnologii digitale mai incluzive, adaptate diversității de abilități și nevoi ale utilizatorilor.

Platforma A(I)BILITIES, validată la TRL 5

În cadrul conferinței, echipa a prezentat platforma A(I)BILITIES, pentru generarea automată de interfețe mobile adaptive cu ajutorul inteligenței artificiale.

Platforma are la bază trei direcții principale:

• accesibilitatea digitală;
• proiectarea centrată pe abilitățile utilizatorilor;
• inteligența artificială oferită ca serviciu.

Lucrarea a prezentat validarea platformei la nivelul Technology Readiness Level 5 (TRL 5). La acest nivel, componentele soluției au fost validate, integrate și implementate într-un prototip funcțional.

Platforma include o arhitectură software și un kit de dezvoltare software (SDK). Acestea permit dezvoltatorilor să integreze interfețe adaptive în aplicații mobile. Funcționalitatea a fost demonstrată printr-o evaluare a unei interfețe grafice mobile, înainte și după adaptare, realizată pe baza criteriilor WCAG.

Gesture-A11Y, premiată pentru demonstrația sa

Echipa a prezentat și Gesture-A11Y, o platformă web care facilitează explorarea și reutilizarea seturilor de date cu gesturi tactile realizate de persoane cu diferite tipuri de dizabilități.

Platforma permite utilizatorilor să caute, să filtreze, să vizualizeze și să exporte date colectate pe smartphone-uri, tablete, ceasuri inteligente și alte dispozitive tactile. Astfel, cercetătorii pot pregăti mai ușor studii privind gesturile, iar dezvoltatorii pot crea aplicații cu interacțiuni adaptate unor grupuri specifice de utilizatori.

Lucrarea dedicată Gesture-A11Y a primit distincția Best Demo Honorable Mention Award.

Recunoașterea gesturilor pentru interacțiuni mai accesibile

O altă lucrare prezentată la International Conference on User-System Interaction a evaluat mai multe arhitecturi de învățare profundă pentru recunoașterea gesturilor tactile și a mișcărilor realizate în aer.

Studiul a utilizat date colectate de la persoane cu deficiențe motorii ale membrelor superioare. Dintre modelele evaluate, arhitectura 1D-CNN a obținut cele mai bune rezultate:

• 94,7% acuratețe pentru gesturile de trasare;
• 84,0% acuratețe pentru gesturile de mișcare în aer.

Rezultatele arată că performanța recunoașterii gesturilor nu poate fi explicată exclusiv prin diagnostice medicale sau scoruri generale privind dizabilitatea. Concluzia susține necesitatea proiectării de tehnologii digitale adaptate abilităților efective ale fiecărui utilizator.

Un asistent vocal local-first pentru controlul mediilor digitale

În cadrul conferinței a fost prezentat și un asistent vocal local-first, capabil să recunoască vorbitorul și să controleze medii digitale prin comenzi în limbaj natural. Soluția integrează recunoaștere vocală, identificarea vorbitorului, modele lingvistice de mari dimensiuni, automatizarea sarcinilor și sinteza vocală. Pentru a proteja utilizatorii, sistemul clasifică comenzile în funcție de risc și solicită confirmare explicită înainte de executarea acțiunilor cu potențial impact negativ.

Evaluarea preliminară a indicat o rată generală de succes de 95,5% în invocarea instrumentelor. Rezultatul evidențiază potențialul asistenților vocali locali de a oferi interacțiuni digitale mai accesibile și mai prietenoase cu viața privată.

Tehnologii digitale adaptate utilizatorilor

Participarea echipei la International Conference on User-System Interaction confirmă direcția proiectului A(I)BILITIES: dezvoltarea unor tehnologii accesibile, adaptive și sigure.

Prin interfețe generate cu ajutorul AI, metode de interacțiune prin gesturi și soluții vocale, proiectul contribuie la crearea unor experiențe digitale care răspund mai bine nevoilor și abilităților individuale ale utilizatorilor.

Toate lucrările prezentate în cadrul conferinței pot fi consultate în secțiunea Status proiect de pe website-ul A(I)BILITIES, unde sunt disponibile toate lucrările publicate în cadrul proiectului.