JUEGOS SERIOS BASADOS EN TÉCNICAS DE
INTERACCIÓN DE REALIDAD AUMENTADA TANGIBLE
PARA LA REHABILITACIÓN COGNITIVA
SERIOUS GAMES BASED ON TANGIBLE AUGMENTED
REALITY INTERACTION TECHNIQUES FOR COGNITIVE
REHABILITATION
José Antonio Leyva Regalón
Docente del Departamento de Informática. Universidad de Granma (Cuba).
E-mail: jaleyva@udg.co.cu ORCID: https://orcid.org/0000-0001-8420-7102
Irisleydis Mayol Céspedes
Docente del Departamento de Informática. Universidad de Granma (Cuba).
E-mail: imayolc@udg.co.cu
Yolanda Soler Pellicer
Docente del Departamento de Informática. Universidad de Granma (Cuba).
E-mail: yoly@udg.co.cu
Pedro Gómez Ávila
Docente del Departamento de Informática. Universidad de Granma (Cuba).
E-mail: pgomeza@udg.co.cu
Recepción: 06/05/2018. Aceptación: 31/08/2018. Publicación: 28/09/2018
Citación sugerida:
Leyva Regalón, J. A., Mayol Céspedes, I., Soler Pellicer, Y. y Gómez Ávila, P. (2018). Juegos serios basados en
técnicas de interacción de realidad aumentada tangible para la rehabilitación cognitiva. 3C TIC. Cuadernos de
desarrollo aplicados a las TIC, 7(3), 58-79. doi:http://dx.doi.org/10.17993/3ctic.2018.61.58-79/
60
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254-3376
60
RESUMEN
Las afecciones de las funciones cognitivas suelen ser tratadas mediante un programa de rehabilitación
que pretende restaurar, compensar o sustituir estos impedimentos. A pesar de la eciencia en la
aplicación de la rehabilitación cognitiva persisten inconvenientes como la desmotivación de algunos
pacientes que impide el cumplimiento total del programa. Los juegos serios se han convertido en
herramientas útiles para mitigar este problema y favorecer el tiempo de realización de las tareas
terapéuticas. El objetivo de este trabajo es la elaboración de un software que agrupe juegos serios
basados en diferentes técnicas de interacción de Realidad Aumentada Tangible, sustentado en
ejercicios terapéuticos tradicionales concebidos en los programas de rehabilitación cognitiva, que
permitan incidir positivamente en la motivación de los pacientes. Para el desarrollo del programa
se utilizó la biblioteca osgART que integra el motor gráco Open Scene Graph y la biblioteca
ARToolKit, todas tecnologías libres, multiplataforma y de código abierto. Las técnicas empleadas
para la interacción con los elementos virtuales están basadas en el uso de marcadores duciales
de ARToolKit. Se realizó un estudio para comparar la usabilidad de las técnicas de interacción
implementadas con otras basadas en el uso del teclado y el ratón. El resultado fue analizado mediante
el cálculo de la ANOVA de un factor, el cual evidenció que los juegos serios basados en las técnicas
de interacción desarrolladas, inciden de manera positiva en la motivación de los pacientes.
ABSTRACT
Cognitive function disorders are usually treated through a rehabilitation program that aims to restore, compensate,
or replace these impairments. Despite the eciency in the application of cognitive rehabilitation, drawbacks remain,
such as the lack of motivation of some patients that prevents the program from being fully complied with. Serious
games have become useful tools to mitigate this problem and favor the time for accomplishing therapeutic tasks. The
objective of this work is the elaboration of a software that groups serious games based on dierent Tangible Augmented
Reality interaction techniques, based on traditional therapeutic exercises conceived in cognitive rehabilitation programs
that allow a positive impact on the motivation of the patients. For the development of the program there was used
the osgART library that integrates the Open Scene Graph graphic engine and the ARToolKit library, all of the kind
free technologies, multiplatform and open source. The techniques used for the interaction with the virtual elements are
based on the use of ducial markers of ARToolKit. A study was carried out to compare the usability of the interaction
techniques implemented with other interaction techniques based on the use of the keyboard and the mouse. The result
was analyzed by calculating the ANOVA of a factor, which showed that serious games based on the interaction
techniques developed, have a positive eect on the motivation of the patients.
616161
Ed. 26. Vol.7 Nº 3. Septiembre-Diciembre 2018
DOI: http://dx.doi.org/10.17993/3ctic.2018.61.58-79/
PALABRAS CLAVE
Realidad Aumentada Tangible, Técnicas de interacción, Juegos serios, Rehabilitación cognitiva.
KEY WORDS
Tangible Augmented Reality, Interaction techniques, Serious games, Cognitive rehabilitation.
62
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254-3376
62
1. INTRODUCCIÓN
Una persona afectada por una lesión cerebral experimenta niveles de alteraciones físicas (motoras
y sensitivas) y neuropsicológicas (cognitivas, conductuales y emocionales). Los décits cognitivos
pueden ser alteraciones en la percepción, la memoria, el aprendizaje, la velocidad de procesamiento
de la información, la concentración o problemas de comunicación verbal (Molina et al., 2014).
Para la intervención de los décits cognitivos en muchos de los casos se aplica un programa de
rehabilitación cognitiva, en el cual la persona con lesión cerebral trabaja junto a profesionales del
servicio de la salud para remediar o aliviar las capacidades mentales (Forn & Mallol, 2005). Según
Tsaousides and Gordon (2009) este tipo de rehabilitación es efectiva en ambientes hospitalarios y
domésticos, tanto para daños moderados como severos en cualquier momento posterior a la lesión.
A pesar de la eciencia en la aplicación de la rehabilitación cognitiva persisten inconvenientes
como la desmotivación de algunos pacientes que impide el cumplimiento total de un programa. Las
tecnologías de la información y las comunicaciones favorecen la realización de los programas de
rehabilitación cognitiva, entre ellas la Realidad Virtual y la Realidad Aumentada. Las mismas han
incidido positivamente en la evaluación y rehabilitación de funciones cognitivas como la memoria,
la atención, la percepción y el razonamiento (Ballester et al., 2015; Orueta et al., 2016; Pazmiño &
Harari, 2017). De igual forma, el uso de juegos serios en los programas de rehabilitación cognitiva
contribuye a elevar la motivación de los pacientes involucrados (Pinilla Giménez, 2017; Shapi’i et
al., 2015).
Según Marcano (2008) los juegos serios son un grupo de videojuegos y simuladores cuyo objetivo
principal es anteponer la formación al entretenimiento. Pomper et al. (2009) arman que la
esencia de un juego serio consiste en una partida mental que entrena ciertas habilidades mentales
que un jugador necesita fuera del mundo del juego. De acuerdo con Jonsdottir et al. (2018) en
la neurorehabilitación son concebidos y desarrollados con el propósito de rehabilitar una función
limitada.
El uso de los juegos serios en la rehabilitación de pacientes con daños cerebrales ha sido de gran
aceptación por los especialistas de la disciplina de las neurociencias y fueron incluidos desde hace
algunos años en los programas de la carrera de diseñador de juegos (Lange et al., 2009). Uno de los
procedimientos más comunes en la rehabilitación es la repetición y el entrenamiento sistemático de
las funciones cognitivas dañadas. Los juegos serios basados en la Realidad Virtual pueden proveer
ambientes de entrenamiento donde la repetición, la visualización y la retroalimentación auditiva
636363
Ed. 26. Vol.7 Nº 3. Septiembre-Diciembre 2018
DOI: http://dx.doi.org/10.17993/3ctic.2018.61.58-79/
sean manipulados sistemáticamente de acuerdo con las diferencias de cada individuo (Gamito et
al., 2010).
A diferencia de la Realidad Virtual, la Realidad Aumentada permite al usuario ver el mundo real
con elementos virtuales añadidos (de França Pereira et al., 2017; Li et al., 2017). La escena resultante
es conocida como escena aumentada donde el usuario interactúa en tiempo real con la información
virtual agregada.
Existen diversos métodos para la manipulación de la información virtual en una escena aumentada.
Uno de ellos es el control mediante agentes que incluye el uso del concepto de interfaces de usuario
tangibles. Estas interfaces permiten a los usuarios manipular la información digital por medio de
objetos físicos y controlar los sistemas a través de los movimientos realizados por dichos objetos.
La aplicación de este concepto en los sistemas de Realidad Aumentada se conoce como Realidad
Aumentada Tangible (Brock, 2017; Rojas & Díaz, 2012).
Existen diversos métodos para la manipulación de la información virtual en una escena
aumentada. Uno de ellos es el control mediante agentes que incluye el uso del concepto de
interfaces de usuario tangibles.
La rehabilitación cognitiva mediante la Realidad Aumentada proporciona más realismo y motivación
que la Realidad Virtual, pues el paciente interactúa en un ambiente real con la información virtual
a través de dispositivos no electrónicos, el reconocimiento de gestos u otros movimientos corporales.
La interacción es un punto clave en los sistemas de Realidad Aumentada porque atribuye dinamismo
e independencia a la comunicación entre la escena aumentada y el usuario.
El objetivo de esta investigación es la elaboración de un software que agrupe juegos serios basados
en diferentes técnicas de interacción de Realidad Aumentada Tangible, sustentado en ejercicios
terapéuticos tradicionales concebidos en los programas de rehabilitación cognitiva, que permitan
incidir positivamente en la motivación de los pacientes.
1.1. CARACTERÍSTICAS DE LOS JUEGOS SERIOS
El objetivo principal de los juegos serios es que los pacientes se sientan motivados a realizar los
retos de la rehabilitación de las distintas funciones cognitivas afectadas mediante los ambientes de
Realidad Aumentada. Conforme a los principios que propone la metodología MDA (Mechanics,
Dynamics, and Aesthetics) de Hunicke et al., (2004) y a las diversas limitantes que pueden presentar los
64
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254-3376
64
pacientes, los juegos fueron diseñados con la base de proporcionar una experiencia de interacción
sencilla y agradable al usuario, así como un bajo nivel de estrés y dependencia de un especialista u
otra persona para realizar las tareas terapéuticas.
El software cuenta con 6 juegos que son presentados de forma secuencial con sus respectivos niveles.
La secuencia de los juegos y sus niveles es generada aleatoriamente por el sistema, aunque puede ser
congurada con un orden deseado antes de comenzar los juegos. Cada juego tiene su objetivo propio
y las habilidades en la que incide como medio rehabilitador, lo cual es detallado en la Tabla 1.
Tabla 1. Nombre y objetivos de los juegos serios.
Nombre Objetivo y breve descripción del juego Habilidades cognitivas
Encontrar
parejas
Encontrar la pareja correspondiente de cada elemento virtual de un
conjunto.
Los elementos son mostrados en diferentes lugares físicos de la
escena en un breve intervalo de tiempo los cuales debe memorizar
el paciente. Luego de ocultarse el conjunto debe encontrar el
similar de un elemento dado en el lugar adecuado.
Atención. Memoria
Patrón en la
secuencia
Determinar el patrón que le sigue a una secuencia de elementos
virtuales.
Dada una serie de elementos virtuales el paciente debe determinar
el patrón que debe aparecer al nal de la secuencia.
Función ejecutiva:
capacidad de
razonamiento.
Atención
Ordenación
Ordenar elementos virtuales.
Una situación determinada es expuesta mediante diversos objetos
virtuales de manera desordenada. El paciente debe ordenar
consecutivamente cada objeto de manera que represente el orden
lógico de la situación.
Función ejecutiva:
resolución de
problemas.
Atención. Memoria
Reconocimiento
de forma y color
Reconocer los colores y formas en una escena aumentada.
Dados diversos elementos virtuales el paciente debe reconocer los
colores que los conforman y seleccionar los que se corresponden
con un pequeño conjunto de elementos solapados con bajo nivel
de detalle.
Percepción. Atención.
Escucha y
cuenta
Contar elementos virtuales y sonidos que se repiten.
El paciente debe contar la cantidad de veces que aparece un
mismo elemento virtual en un conjunto. Paralelamente mientras
transcurre el reto de este juego el paciente debe contar las veces
que un sonido determinado se repite en una secuencia de sonidos.
Luego debe brindar el resultado nal del conteo para su evaluación.
Atención. Memoria
Elementos
diferentes
Identicar y excluir objetos que no pertenezcan a un conjunto con
características similares.
Dado un conjunto de elementos virtuales el paciente debe
identicar el o los elementos que no se relacionan con el resto
basado en las características comunes de todos.
Atención .Memoria
656565
Ed. 26. Vol.7 Nº 3. Septiembre-Diciembre 2018
DOI: http://dx.doi.org/10.17993/3ctic.2018.61.58-79/
En cada estado en el que se desarrolla un juego se lleva un control y almacenamiento de la destreza
del paciente en la realización de todos los retos, la cual está expresada mediante la puntuación, los
errores en el juego y el tiempo de realización de cada nivel. Al nal de todos los niveles el especialista
puede observar el progreso de un paciente a través de la comparación con otros parámetros similares
almacenados en una pequeña base de datos.
La interfaz gráca del software le permite al especialista congurar el grado de dicultad de los
juegos dadas las peculiaridades de cada paciente. El grado de dicultad puede implicar la selección
inicial de diferentes elementos virtuales o la incorporación de nuevos desde otro lugar del equipo,
cargar diferentes tipos de sonidos en el caso del juego “escucha y cuenta”, establecer nuevos colores,
la posición, la rotación y el tamaño de cada objeto virtual en las distintas escenas de los juegos. El
especialista puede prestablecer un orden a cada juego o sus niveles, eliminar uno o varios de ellos, y
cambiar las herramientas físicas para la interacción con la información virtual.
2. METODOLOGÍA
2.1. FUNDAMENTOS
Para la creación de todas las escenas aumentadas de los juegos serios se utilizó la biblioteca osgART
(Hamada, 2018), la cual está conformada por el motor gráco de código abierto Open Scene Graph
(OSG) y la biblioteca para el desarrollo de aplicaciones de Realidad Aumentada ARToolKit. OSG
facilitó organizar todas las escenas del sistema mediante una escena gráca que consiste en una
estructura de datos de árbol jerárquico dada por un nodo raíz, nodos padres y nodos hojas.
OSG ofrece diferentes tipos de nodos que contienen un gran rango de funcionalidades. Todos los
nodos que integran la escena gráca comparten una clase base común con métodos especializados
denidos en las clases derivadas (Martz, 2007). Un tipo de nodo implementado ampliamente en
el sistema desarrollado fue el de transformación, el cual cuenta con funcionalidades que permiten
modicar el estado de transformación de sus nodos hijos.
ARToolKit es un sistema ducial visual que utiliza marcadores cuadrados de color blanco y negro
con un patrón de imagen en el centro (Nithin & Bhooshan, 2016; Zheng et al., 2017). Mediante
un video en tiempo real obtenido por una cámara se identican los marcadores y se proyectan los
modelos virtuales. El reconocimiento de cada patrón de imagen se realiza a través del método de
tracking, el cual está basado en algoritmos de visión por computador que permiten determinar la
posición y la orientación de la cámara y los marcadores para establecer sistemas de coordenadas
locales y globales (Rabbi et al., 2017).
66
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254-3376
66
2.2. TÉCNICAS DE INTERACCIÓN BASADAS EN MARCADORES
FIDUCIALES
El uso de los marcadores duciales constituye un método de manipulación basado en el control
de agentes que permite posicionar e interactuar con los elementos virtuales de todas las escenas
aumentadas tangibles del software. En la Figura 1 se muestra la implementación de la estructura del
grafo de escena de osgART que admite la adición de múltiples marcadores, el método de tracking y
conocer la dependencia entre cada uno de ellos.
Una cualidad importante del grafo de escena de osgART es que distintos marcadores pueden actuar
como uno solo, lo cual minimiza el problema de oclusión (Sagitov et al., 2017), pues hay mayor
posibilidad de identicar como mínimo un patrón de imagen, entre todos los existentes de un
conjunto. Esta propiedad permitió utilizar la técnica de interacción basada en el uso del marcador
paleta, que constituye una herramienta física para manipular los elementos virtuales encontrados en
un marcador base compuesto por diversos marcadores.
Figura 1. Estructura del grafo de escena de osgART (Looser, 2007).
676767
Ed. 26. Vol.7 Nº 3. Septiembre-Diciembre 2018
DOI: http://dx.doi.org/10.17993/3ctic.2018.61.58-79/
El marcador paleta opera en un sistema de coordenadas global provisto por el marcador base,
donde su posición es relativa a la de la base y las posiciones de ambos relativas a la de la cámara. Por
tanto, el cálculo de la transformación entre éstos está dado por la siguiente ecuación:
(1)
Donde es la transformación del marcador paleta y la transformación
del marcador base respecto a la cámara. Este cálculo facilita obtener en cualquier momento la
posición relativa real de la paleta al sistema de coordenadas global, necesario para comprobar
acciones esenciales como la colisión entre el marcador paleta y los elementos virtuales de la escena
aumentada.
Otra técnica de interacción empleada en el software es la proximidad entre marcadores. Similar a la
técnica anterior, esta variante utiliza la relación espacial entre marcadores respecto a la cámara para
conocer la transformación de ellos de manera independiente. El sistema de coordenadas global de
cada marcador es el de la cámara y cada uno tiene su propio sistema de coordenadas local.
La distancia entre dos marcadores es determinada por:
(2)
Donde y representan las respectivas posiciones
relativas a la cámara de dos marcadores, dadas por el nodo de transformación asociado a cada
objeto marcador. Esta técnica permite determinar la distancia sin distinción entre sus tamaños
físicos. La matriz de transformación asociada a cada uno tiene un nodo hijo de OSG llamado
switch que posibilita la visualización de un solo nodo de sus hijos. Esta propiedad permite adicionar
diferentes elementos virtuales a un mismo marcador y mostrar el deseado en la escena de acuerdo
a la lógica del juego.
La tercera técnica empleada para la interacción con la información virtual de las escenas aumentadas
se basa en la oclusión de los marcadores. osgART facilita determinar si un marcador es visible o no
mediante el fallo del método de tracking.
2.3. CONFIGURACIÓN DE LA ESCENA AUMENTADA
El grafo de escena denido en el sistema desarrollado se rige por la estructura del grafo de escena
de osgART. Cada nodo correspondiente a un marcador ducial tiene que ser asociado a uno o
varios nodos de la matriz de transformación que contienen como nodos hijos la geometría de los
68
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254-3376
68
objetos virtuales. Esta organización facilita el traslado de elementos virtuales de un marcador a otro,
operación que no modica las propiedades de transformación y geometría de la información virtual.
Una cámara real proporciona el video en vivo cuyos parámetros intrínsecos son utilizados por el
objeto tracker en la creación de la matriz de proyección que determina la proyección de perspectiva.
Estos parámetros son esenciales en el tracking exacto de los marcadores y en la correcta construcción
de la matriz de proyección para el renderizado de los objetos tridimensionales.
El proceso de calibración se le realizó a la cámara de video empleada en todas las escenas aumentadas.
El propósito fue eliminar efectos como la distorsión de la imagen, la cual afecta el reconocimiento
preciso de los marcadores mediante el método de tracking. Los parámetros intrínsecos de esta
cámara obtenidos en el proceso de calibración fueron a través del uso de la aplicación calib_dist.
exe de ARToolKit. Sin embargo, ARTooKit provee un archivo nombrado camera_para.dat con
parámetros estándares que funcionan con muchas de las cámaras comerciales existentes.
Los parámetros especícos de la cámara, la dimensión y la posición del sistema de coordenadas
global del marcador y la incorporación de elementos virtuales en cualquiera de las escenas de
los juegos serios deben ser proporcionados por un especialista.
Otro aspecto esencial en la conguración de la escena aumentada es la posición del sistema de
coordenadas y la dimensión del marcador. El sistema de coordenadas es establecido por defecto
en el centro del marcador ducial y puede ser movido para cualquier lugar físico dentro o fuera de
éste. La aplicación mk_patt.exe del paquete de ARToolKit posibilita generar nuevos marcadores.
El procedimiento consiste en mostrar frente a la cámara un marcador físico y el programa crea
un chero que contiene 4 matrices con el valor de gris de cada píxel del patrón. Cada matriz se
corresponde con el patrón físicamente rotado 90 grados.
Los parámetros especícos de la cámara, la dimensión y la posición del sistema de coordenadas
global del marcador y la incorporación de elementos virtuales en cualquiera de las escenas de los
juegos serios deben ser proporcionados por un especialista. Para ello, se diseña una interfaz gráca
que permita establecer estos requerimientos y personalizar todas las opciones de los juegos. Para la
recolección de esta información se presentan formularios y los correspondientes paneles de acceso
diseñados con el programa Qt Designer del entorno de desarrollo integrado Qt (Navas Flores et al.,
2018).
696969
Ed. 26. Vol.7 Nº 3. Septiembre-Diciembre 2018
DOI: http://dx.doi.org/10.17993/3ctic.2018.61.58-79/
El diseño de la interfaz gráca del software tuvo como base las tres reglas de oro de Mandel (1997):
dar el control al usuario, reducirle la carga de memoria y construir una interfaz consecuente. Cada
regla contiene una serie de principios que guiaron la concepción e implementación de la interfaz, y
por consiguiente se favoreció la usabilidad del sistema.
2.4. OTROS ELEMENTOS DEL SOFTWARE
Para todos los sonidos de los juegos se utilizó la librería OpenAL. Esta es una API de audio
multiplataforma de alto nivel que permite reproducir sonidos, canciones y posicionar elementos
sonoros en un entorno tridimensional. En los juegos desarrollados el sonido desempeña un papel
importante para favorecer la interacción del usuario con la escena aumentada. Los sonidos consisten
en una música de fondo que puede ser modicada por el especialista, los sonidos de efectos especiales
cuando ocurre una interacción con los elementos virtuales y los sonidos intencionados en el juego
“Escucha y cuenta”. En todo el sistema el formato de audio utilizado es el wav, el cual constituye un
estándar de formato de audio para PC.
Para lograr la reproducción de un sonido deben congurarse los objetos emisor o fuente (source) y
el receptor u oyente (listener). El emisor es un punto en el espacio que emite un sonido, por tanto,
tiene una posición en la escena de los juegos, una velocidad y un volumen. Este objeto manipula
datos de un espacio de memoria llamado buer. El receptor representa el lugar donde se encuentra
un paciente. Las características del receptor junto a las de la fuente determinan cómo la muestra de
audio será escuchada, es decir, sus posiciones relativas determinarán la intensidad del sonido.
Mediante la conguración de estos tres objetos de la librería OpenAL se logró reproducir diferentes
sonidos simultáneamente, como la música de fondo y los efectos especiales de sonido. Los métodos
alSourcePlay(Source), alSourceStop(Source) y alSourcePause(Source) de esta API de audio permiten
reproducir, detener y pausar respectivamente un sonido determinado.
El sistema de gestión de bases de datos utilizado fue SQLite. Fueron denidas 3 tablas donde se
registran los principales datos de los pacientes, la puntuación en cada nivel del juego, la fecha de los
intentos y la cantidad de errores cometidos. El especialista debe especicar o agregar un paciente para
que interactúe con los juegos, cuyo progreso es almacenado en la base de datos. Mediante los datos
almacenados en una cuarta tabla llamada sistema, el especialista puede cargar una conguración
utilizada en otro paciente, realizarle nuevas modicaciones y asociarla a un nuevo paciente.
70
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254-3376
70
3. RESULTADOS Y DISCUSIÓN
En la gura 2 se muestra la interacción mediante el uso de un marcador paleta con la información
virtual de la base. En este caso se ha dado una conguración básica del juego “Encontrar parejas”
donde se ha mantenido visible el conjunto en el marcador base con un bajo nivel de detalle de
los elementos virtuales. En este juego el software permite utilizar la técnica de proximidad entre
marcadores como otra variante de interacción. En la Figura 3 se utiliza la técnica de interacción
basada en la oclusión de marcadores en el juego “Elementos diferentes”. Esta técnica permitió
utilizar tres marcadores que actúan como un panel de botones físicos.
Figura 2. Interacción mediante el marcador paleta en el juego “Encontrar parejas”.
Figura 3. Interacción mediante la oclusión en el juego “Elementos diferentes”.
717171
Ed. 26. Vol.7 Nº 3. Septiembre-Diciembre 2018
DOI: http://dx.doi.org/10.17993/3ctic.2018.61.58-79/
3.1. CASO DE ESTUDIO
Se realizó un estudio que gura una prueba piloto de usabilidad a las técnicas de interacción de
los juegos serios, que permitió valorar otras cualidades del sistema a través de las opiniones de los
usuarios y especialistas que participaron en la prueba. Para evaluar la usabilidad fue necesario
desarrollar otro prototipo con los mismos juegos serios y técnicas de interacción basadas en el uso del
ratón y el teclado. Una de las tareas en el estudio fue determinar cuáles técnicas son más ecientes
para utilizar por los usuarios y cuáles tuvieron mayor grado de fallos en la ejecución del programa
o del participante.
La realización de la prueba se planicó en dos sesiones, en un día cada una. El total de participantes
fue de 10 personas con afecciones de una o varias funciones cognitivas, de ellos 4 mujeres y 6
hombres, todos con edad entre los 25 y 65 años. Colaboraron 4 especialistas de la salud en la
observación y evaluación de todo el estudio.
El programa fue ejecutado en una Laptop HP con procesador Intel Core i5-6200U a 2.40 GHz,
memoria DDR4 de 6 GB y sistema operativo Microsoft Windows 10 Pro. La cámara que proporcionó
el video es una Logitech QuickCam con una resolución de 640x480 píxeles a 30 FPS (frames per
second). Como herramientas para la interacción se emplearon un teclado, un ratón y marcadores
duciales de ARToolKit.
Antes de realizar las sesiones de pruebas se capacitaron a los especialistas y participantes en la lógica
de los juegos y cómo interactuar con ellos. En la primera sesión los participantes interactuaron
con los elementos virtuales de las escenas aumentadas mediante el uso del ratón y el teclado. El
segundo día la interacción fue realizada mediante el uso de marcadores duciales. Los especialistas
conguraron todos los juegos con distintos niveles de dicultad de acuerdo al grado de afección del
participante.
Al terminar las sesiones los participantes completaron un cuestionario de usabilidad y expresaron
sus experiencias acerca de los juegos (Tabla 2). Todas las preguntas tienen como propósito que
el participante evalúe numéricamente el método de interacción basado en el uso de marcadores
duciales y el del uso de periféricos tradicionales. En cada caso indicaron la respuesta en una escala
del 1 al 10 en orden ascendente de importancia.
72
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254-3376
72
Tabla 2. Cuestionario de usabilidad para participantes.
Preguntas de usabilidad
P1. Motivación
P2. Natural
P3. Facilidad de uso
P4. Intuitivo
P5. Facilidad de aprendizaje
P6. Satisfacción
3.2. ANÁLISIS DE LOS RESULTADOS DEL CUESTIONARIO
El análisis estadístico de los resultados del cuestionario se realizó mediante el análisis de la
varianza de un factor (ANOVA). Los participantes evaluaron el grado de motivación que sintieron
interactuando con las escenas aumentadas para completar cada nivel de los juegos. Se utilizó el
programa estadístico SPSS (Chiu & Lee, 2018) para procesar todos los datos de los cuestionarios.
En la tabla 3 se muestra la tabla de ANOVA generada por el programa SPSS referente a los datos
de P1. La hipótesis nula denida considera que no hay diferencia en el grado de motivación de los
participantes al interactuar con las distintas técnicas. La hipótesis alternativa está dada porque existe
diferencia estadísticamente signicativa entre las medias de las técnicas de interacción.
El nivel de signicación establecido es de 0,05. Se emplea la distribución F de Snedecor como
distribución de muestreo. Como F (2,27) = 7,076 tiene un valor p = 0,003 < 0,05 se rechaza la
hipótesis nula y se arma estadísticamente que existe diferencia signicativa entre las medias de
todas las técnicas de interacción. En la tabla 4 se exponen los resultados de la prueba Turkey donde
los asteriscos representan que las medias de las técnicas de interacción basadas en el uso del teclado
y el ratón, son signicativamente diferentes al nivel 0,05 precisado. De acuerdo con la prueba
Turkey, se concluye que las técnicas basadas en el uso de marcadores duciales fueron las que más
incidieron a elevar el grado de motivación de los participantes en el cumplimiento de los objetivos
de los juegos serios.
Tabla 3. Tabla de ANOVA para la pregunta de motivación.
Fuentes de variación
Suma de
cuadrados
Grados de
libertad
Cuadrado medio F Signicancia (p)
Intergrupo 27,467 2 13,733 7,076 0,003
Intragrupo 52,400 27 1,941
Total 79,867 29
737373
Ed. 26. Vol.7 Nº 3. Septiembre-Diciembre 2018
DOI: http://dx.doi.org/10.17993/3ctic.2018.61.58-79/
Tabla 4. Prueba de Turkey para la pregunta de motivación.
(I) TÉCNICA (J) TÉCNICA
Diferencias de
medias (I - J)
Error típico Sig.
Intervalo de conanza al 95%
Límite inferior
Límite
superior
Uso de
marcadores
Uso de teclado
Uso del ratón
1,8000* 0,62302 0,020 0,2553 3,3447
2,2000* 0,62302 0,004 0,6553 37447
Uso de
marcadores
Uso de teclado
Uso del ratón
-1,8000* 0,62302 0,020 -3,3447 -0,2553
0,4000 0,62302 0,798 -1,1447 1,9447
Uso de
marcadores
Uso de teclado
Uso del ratón
-2,2000* 0,62302 0,004 -3,7447 -0,6553
-0,4000 0,62302 0,798 -1,9447 1,1447
De igual forma los valores resultantes del procesamiento del resto de las preguntas mostraron
diferencias signicativas con P2: F (2,27) = 7,633 < 0,05, P3: F (2,27) = 9,825 < 0,05, P4: F (2,27) =
15,331 < 0,05, P5: F (2,27) = 12,330 < 0,05 y P6: F (2,27) = 12,905 < 0,05. La prueba de Turkey en
todos los casos favoreció a las técnicas de interacción basadas en marcadores duciales, por lo que
esta variante representa mayor usabilidad que las variantes de los periféricos tradicionales.
3.3. ANÁLISIS DEL DESEMPEÑO
En todas las sesiones del estudio se registraron los errores que cometieron los usuarios, los tiempos
en completar cada reto de los juegos y los errores del software. También se tuvo en cuenta la opinión
de los especialistas en cuanto a los criterios anteriores, sugerencias y críticas de todo el proceso. En
la Figura 4 se presentan los tiempos promedios que demoraron los participantes en realizar todos los
retos de cada juego del software. El cálculo de la ANOVA de los errores de los 10 usuarios efectuado
durante las dos sesiones determinó que con el uso de marcadores el participante es menos propenso
a cometer errores en las tareas de interacción, lo que le atribuye mayor grado de conanza a los
individuos y más robustez al software.
0
100
200
300
400
500
600
700
Encontrar parejas Patrón en la
secuencia
Ordenación Reconocimiento de
forma y color
Escucha y cuenta Elementos diferentes
Segundos
Uso de marcadores Uso de teclado Uso de ratón
Figura 4. Tiempo en completar los juegos.
74
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254-3376
74
La preferencia por los marcadores duciales como herramienta terapéutica por parte de los
especialistas colaboradores queda reejada en la Figura 5 y justicada por los correspondientes
cálculos estadísticos en el SPSS. Igualmente, el análisis del número de errores del programa permitió
comprobar que el 90% en el uso de marcadores estuvo dado por fallos del tracking de los patrones
de imágenes, a causa de la oclusión provocada por los participantes y en menor medida por la
iluminación del local del estudio. Todos los errores fueron corregidos y el software fue sometido
nuevamente a una evaluación con resultados satisfactorios.
Figura 5. Errores del usuario, del programa y preferencia de las técnicas por los especialistas.
Al nalizar el estudio los especialistas respondieron el cuestionario de escala de usabilidad del sistema
(SUS por sus siglas en inglés) de Brooke (1996) para evaluar las conformidades e inconvenientes
que experimentaron con el software. El cuestionario de SUS está compuesto por 10 ítems que se
responden numéricamente en una escala del 1 (completamente en desacuerdo) al 5 (completamente
de acuerdo). En la Figura 6 se expone el promedio de las respuestas de cada ítem del cuestionario
de SUS.
Para facilitar las respuestas de los colaboradores de la salud se recomendó tener en cuenta diversos
aspectos del software como la personalización y las sugerencias de conguración de los juegos serios,
la visualización de los reportes de progresos, el diseño de los formularios y la organización de las
ventanas y los menús.
757575
Ed. 26. Vol.7 Nº 3. Septiembre-Diciembre 2018
DOI: http://dx.doi.org/10.17993/3ctic.2018.61.58-79/
0
1
2
3
4
5
Item 1 Item 2 Item 3 Item 4 Item 5 Item 6 Item 7 Item 8 Item 9 Item 10
Escala de 0-5
Item d el cuestionario
Figura 6. Promedio de respuestas del cuestionario de SUS.
4. CONCLUSIONES
A través de la prueba piloto de usabilidad se comprobó que las técnicas de interacción desarrolladas
proporcionan mayor experiencia con las escenas aumentadas que con las basadas en el uso del
teclado y el ratón. Se evidenció que la recreación de ejercicios terapéuticos tradicionales en juegos
serios basados en técnicas de interacción de Realidad Aumentada Tangible incide en la motivación
de los pacientes para cumplir los retos que propone la rehabilitación cognitiva.
Los errores del programa detectados durante las sesiones del estudio, permitieron evaluar aspectos
como la precisión del sistema de tracking y la correcta calibración de la cámara para el adecuado
reconocimiento de los patrones de imágenes. Se continuará perfeccionando la implementación de
las técnicas de interacción basadas en el uso de marcadores duciales, la lógica y el diseño de los
juegos serios.
La recreación de ejercicios terapéuticos tradicionales en juegos serios basados en técnicas de
interacción de Realidad Aumentada Tangible incide en la motivación de los pacientes para
cumplir los retos que propone la rehabilitación cognitiva.
76
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254-3376
76
5. REFERENCIAS BIBLIOGRÁFICAS
Ballester, B. R., et al. (2015). The visual amplication of goal-oriented movements counteracts
acquired non-use in hemiparetic stroke patients. Journal of NeuroEngineering and Rehabilitation, 12(50).
doi:http://dx.doi.org/10.1186/s12984-015-0039-z
Brock, A. M. (2017). Tangible Interaction for Visually Impaired People: why and how. Paper presented at the
World Haptics Conference-Workshop on Haptic Interfaces for Accessibility.
Brooke, J. (1996). SUS-A quick and dirty usability scale. Usability evaluation in industry, 189(194), pp.
4-7.
Chiu, C.-C., y Lee, L.-C. (2018). System satisfaction survey for the App to integrate search and
augmented reality with geographical information technology. Microsystem Technologies, 24(1), pp. 319-
341.
França Pereira, de, P., Lourenço, P. G., y Bergamaschi, M. P. (2017). Fundamentals of
Augmented Reality. Unisanta Science and Technology, 6(2), pp. 101-107.
Forn, C., y Mallol, R. (2005). Proceso de rehabilitación cognitiva en un caso de infarto bitalámico.
Revista de Neurología, 41(4), pp. 209-215.
Gamito, P., Oliveira, J., Morais, D., Rosa, P., y Saraiva, T. (2010). Serious Games for Serious
problems: from Ludicus to Therapeuticus, Virtual Reality. En Jae-Jin Kim (Ed.) Virtual Reality (pp. 516-536).
Nueva York, EE.UU.: Springer International Publishing.
Hamada, S. (2018). Education and Knowledge Based Augmented Reality (AR) Intelligent Natural Language
Processing: Trends and Applications (pp. 741-759). Nueva York, EE.UU.: Springer International
Publishing.
Hunicke, R., LeBlanc, M., y Zubek, R. (2004). MDA: A formal approach to game design and game
research. Paper presented at the Proceedings of the AAAI Workshop on Challenges in Game AI.
Jonsdottir, J., Bertoni, R., Lawo, M., Montesano, A., Bowman, T., y Gabrielli, S. (2018).
Serious games for arm rehabilitation of persons with multiple sclerosis. A randomized controlled
pilot study. Multiple sclerosis and related disorders, 19, pp. 25-29.
Lange, B., Flynn, S. M., y Rizzo, A. A. (2009). Game-based telerehabilitation. European journal of
physical and rehabilitation medicine, 45(1), pp. 43-51.
Li, W., Nee, A., y Ong, S. (2017). A State-of-the-Art Review of Augmented Reality in Engineering
Analysis and Simulation. Multimodal Technologies and Interaction, 1(3), p. 17.
777777
Ed. 26. Vol.7 Nº 3. Septiembre-Diciembre 2018
DOI: http://dx.doi.org/10.17993/3ctic.2018.61.58-79/
Looser, J. (2007). AR Magic Lenses: Addressing the Challenge of Focus and Context in Augmented Reality.
Mandel, T. (1997). The elements of user interface design. Nueva York, EE.UU.: Wiley.
Marcano, B. (2008). Juegos serios y entrenamiento en la sociedad digital. Teoría de la Educación.
Educación y Cultura en la Sociedad de la Información, 9(3).
Martz, P. (2007). OpenSceneGraph Quick Start Guide: a quick introduction to the cross-platform open source scene
graph API. Lousville, EE.UU.: Skew Matrix Software LLC.
Molina, A. G., Rovira, T. R., Cantallops, A. E., y Carrión, R. S. (2014). Neuropsicoterapia en
la rehabilitación del daño cerebral. Rev Neurol, 58, pp. 125-132.
Navas Flores, D. F., Suasnavas, V., y Ramiro, J. (2018). Diseño e implementación de un prototipo
de detección y localización de obstáculos a través de reconstrucción tridimensional mediante el uso de una cámara
estereoscópica. Quito, Ecuador: EPN.
Nithin, G., y Bhooshan, R. S. (2016). ARTAR-Artistic Augmented Reality. Procedia Technology, 24,
pp. 1468-1474.
Orueta, U. D., Climent, G., Cardas-Ibáñez, J., Alonso, L., Olmo-Osa, J., y Tirapu-
Ustárroz, J. (2016). Evaluación de la memoria mediante realidad virtual: presente y futuro. Revista
de Neurología, 62(2), pp. 75-84.
Pazmiño, M. R., y Harari, I. (2017). Uso de nuevas tecnologías TICS-realidad aumentada para
tratamiento de niños TEA un diagnóstico inicial. Revista CienciAmérica, 6(3), pp. 131-137.
Pinilla Giménez, I. (2017). Juego serio para terapias de rehabilitación motora y cognitiva con
realidad virtual.
Pomper, A.-J., Jordaan, B. y Ravesloot, J. (2009). The added value of serious games in management
development programs: The Slowesa case.
Rabbi, I., Ullah, S., Javed, M. y Zen, K. (2017). Analysing the attributes of ducial markers
for robust tracking in augmented reality applications. International Journal of Computational Vision and
Robotics, 7(1-2), pp. 68-82.
Rojas, L. E. B., y Díaz, J. F. A. (2012). Tareas fundamentales en la Realidad Aumentada, un nuevo
enfoque. Revista Colombiana de Tecnologías de Avanzada, 1(19).
Sagitov, A., Shabalina, K., Lavrenov, R., y Magid, E. (2017). Comparing ducial marker systems
in the presence of occlusion. Paper presented at the Mechanical, System and Control Engineering
(ICMSC), 2017 International Conference on.
78
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254-3376
78
Shapi’i, A., Zin, N. A. M., y Elaklouk, A. M. (2015). A Game System for Cognitive Rehabilitation.
BioMed Research International.
Tsaousides, T., y Gordon, W. A. (2009). Cognitive Rehabilitation Following Traumatic Brain
Injury: Assessment to Treatment. Mount Sinai Journal of Medicine, 76, pp. 173-181. doi:http://dx.doi.
org/10.1002/msj.20099
Zheng, Z., et al. (2017). Aristo: An augmented reality platform for immersion and interactivity. Paper presented
at the Proceedings of the 2017 ACM on Multimedia Conference.
