Descripción General #
¿Cuál es el objetivo?
El objetivo de la Visión Artificial es integrar el reconocimiento de imágenes como un método de identificación para los objetos definidos en un proyecto. Esta funcionalidad permite que, durante la ejecución, el robot localice visualmente un elemento en la pantalla, siendo un insumo extra para detectarlo. Estos atributos visuales se integran con las propiedades del objeto, reforzando su identificación durante el reconocimiento en tiempo de ejecución.
IMPORTANTE: Esta función se encuentra disponible solo en aplicaciones web.
¿Cómo ingresar al módulo de «Visión Artificial»? #
Para acceder al módulo de Visión Artificial, se debe estar dentro del proyecto en el que se desea trabajar y hacer clic en el botón Visón Artificial, ubicado en el menú superior:
Al ingresar a Visión Artificial se pueden observar las imágenes previamente creadas, (en caso de que ya existan) con la vista previa, como se muestra en la tarjeta “Carrito de ejemplo”. A la izquierda se observan las carpetas con las imágenes creadas con «Visión Artificial».
#
¿Cómo agregar una Nueva Imagen al módulo de «Visión Artificial»? #
El botón «Nueva imagen» permite cargar una imagen nueva para interactuar con ella y asociarle o crearle el objeto.
Al hacer clic en «Nueva imagen» se desplegará un modal con dos opciones como se muestra a continuación:
- Subir archivo: Permite importar una imagen almacenada localmente en su equipo. Al seleccionar esta opción, se abrirá el explorador de archivos para elegir el recurso deseado.
- Capturar pantalla: Para utilizar esta opción se debe capturar la instantánea de la interfaz con la herramienta de preferencia; una vez obtenida la imagen, podrá integrarla copiando y pegando al área de trabajo. También poder arrastrar una imagen directamente desde una carpeta hasta el área,
Una vez seleccionada la imagen, se debe escribir un nombre para la misma. Hacer clic en «GUARDAR Y PROCESAR»
El botón correspondiente a «ajustar sensibilidad» permite regular la cantidad de objetos que deseamos que se reconozcan.
Al desplazar hacia la izquierda reconocerá menos objetos y hacia la derecha reconocerá más.
Opciones de la imagen #
Haciendo clic en ellos se desplegarán 3 opciones como se muestra en la imagen:
- Asociar objeto existente: Permite asociar la imagen reconocida por visión artificial a un objeto que ya se encuentre creado en el mapa OVC.
- Crear nuevo objeto: De igual forma que se crea en una automatización, esta opción permite crear un nuevo objeto. Se deben ingresar los datos requeridos.
- Ver información del objeto: Correspondiente a la ubicación del mismo en la web reflejando sus propiedades.
Al seleccionar cualquier imagen remarcada en rojo, se muestra el panel lateral derecho con el listado “ELEMENTOS RECONOCIDOS” y la fila en un recuadro rojo claro indicando el nombre del elemento relacionado con la imagen.
En cada elemento está disponible el menú de la imagen (tres puntos) descrito en el párrafo anterior.
Una vez que se ha terminado de interactuar con la imagen, hacer clic en «Salir».
Luego de hacer clic en «Salir» se observarán las imágenes capturadas con sus nombres correspondientes. Al presionar «Editor automatizaciones» se regresará a la carpeta con las automatizaciones contenidas en ella.
Una de las principales necesidades de las pruebas automatizadas es el mantenimiento que requieren ante cambios en pantalla. Estos cambios en pantalla, usualmente ligados a nuevos diseños gráficos, generan cambios en las propiedades de reconocimiento de objetos, haciendo que los mismos comiencen a fallar, especialmente si no se está realizando un desarrollo organizado que identifique mediante IDs a cada objeto.
Para mitigar este problema STELA incorpora la «Visión Artificial «, agregando una nueva capa, sumándose al componente de inteligencia artificial de asistencia de reconocimientos a través del código HTML. Ante algún cambios en pantalla que resulten en que la automatización no pueda reconocer un objeto por los medios habituales (sus propiedades de reconocimiento definidas), el asistente de «Visión Artificial» procede a intentar localizar el objeto aplicando algoritmos de inteligencia artificial de reconocimiento de elementos en imágenes, permitiendo que la automatización se adapte dinámicamente a nuevas interfaces.
Con este soporte de IA que brinda la «Visión Artificial» se espera que STELA pueda adaptarse a cambios espontáneos que se presentan en las aplicaciones, evitando así que pruebas fallen por cambios gráficos que no alteran la funcionalidad que se está validando, facilitando el mantenimiento de las pruebas y haciendo que las mismas se vuelvan más robustas ante posibles cambios.
Video explicativo #
Ejemplo #
Flexibilidad en la asociación de objetos #
Una vez establecido un vínculo entre un objeto de STELA y un reconocimiento de Visión Artificial, el usuario cuenta con la flexibilidad de desvincular esta asociación cuando lo considere necesario. Esta acción puede ser útil en diversas situaciones, como cuando se desea cambiar el reconocimiento de un objeto o cuando se determina que el reconocimiento actual ya no es necesario.
Para desvincular un objeto de su reconocimiento:
- Selecciona la imagen: Ubica la imagen asociada al objeto que deseas desvincular.
- Accede al menú de opciones: Haz clic en los tres puntos (…) que se encuentran junto a la imagen.
- Selecciona «Desvincular objeto»: Esta opción eliminará la asociación entre el objeto de STELA y el reconocimiento de Visión Artificial.
Al desvincular un objeto, se mantiene la imagen en el módulo de Visión Artificial, pero se elimina la asociación con cualquier objeto de STELA.