System Design and Usability Evaluation of an LLM-based Voice Assistant for Controlling Digital Environments

Abstract: Progresele recente în domeniul inteligenței artificiale au îmbunătățit semnificativ capacitatea computerelor de a înțelege limbajul natural, permițând interacțiuni mai intuitive și mai naturale. În acest context, lucrarea prezintă un asistent vocal local-first, capabil să identifice vorbitorul, destinat controlului mediilor digitale. Acesta integrează recunoașterea vocală, identificarea vorbitorului, raționamentul bazat pe modele lingvistice de mari dimensiuni, automatizarea în cadrul mediilor digitale și sinteza vocală, într-o arhitectură modulară cu procese multiple. Pentru a susține o interacțiune sigură, asistentul vocal include un mecanism de validare sensibil la risc, care clasifică comenzile în funcție de impactul lor potențial și solicită confirmarea explicită a utilizatorului înainte de executarea acțiunilor care ar putea fi dăunătoare. Am evaluat asistentul vocal propus printr-un studiu-pilot de utilizabilitate, la care au participat șapte persoane ce au realizat sarcini reprezentative pentru mediul desktop. Rezultatele preliminare indică o utilizabilitate bună, o experiență favorabilă a utilizatorului și o rată generală de succes de 95,5% în invocarea instrumentelor. Aceste rezultate sugerează că asistenții vocali local-first pot constitui o modalitate eficientă, accesibilă și orientată spre protejarea vieții private de interacțiune cu mediile digitale. Pe baza acestor constatări, sunt discutate oportunități viitoare de aplicare în domeniul informaticii accesibile și al tehnologiilor asistive.

Autori: Alexandru Gheorghiu, Laura-Bianca Bilius.

Conferință: ICUSI ’26 – Proceedings of ICUSI ’26, the 2026 International Conference on User-System Interaction, 133-139.

Link: https://rochi.utcluj.ro/icusi/proceedings/articles/3/25.pdf