¿Cuál es el objetivo? #
El objetivo de la Visión Artificial es brindarle al usuario la posibilidad de asociar un reconocimiento por imagen a los objetos definidos en los proyectos. Permite el reconocimiento de objetos por imagen al momento de la ejecución, identificando visualmente el objeto en la pantalla siendo un insumo extra para detectarlo. Esta información luego complementará la información de las propiedades de los objetos al momento de realizar el reconocimiento.
Importante: Esta función se encuentra disponible solo en aplicaciones web
Para ingresar al módulo de visión artificial se debe estar dentro del proyecto con el que se está trabajando y presionar el siguiente botón que se encuentra en la parte superior.
Como se muestra en el cuadro, a la izquierda se observan las carpetas con las imágenes creadas con visión artificial
El botón “nueva imagen” permite cargar una imagen nueva para interactuar con ella. También se pueden observar las imágenes ya creadas con visión artificial.
Al hacer click en “nueva imagen” se desplegarán dos opción como se muestra a continuación:
- Subir archivo: En este caso se debe cargar una imagen que ya se encuentra en el dispositivo donde se está trabajando. Se debe elegir entre los archivos del equipo.
- Capturar pantalla: Solicita una captura de pantalla y una vez realizada se debe arrastrar a la pantalla o pegarla directamente.
Una vez seleccionada la imagen, se debe escribir un nombre para la misma. Hacer click en “guardar y procesar”.
El botón correspondiente a “ajustar sensibilidad” permite regular la cantidad de objetos que deseamos que se reconozcan.
Hacia la izquierda reconocerá menos objetos y hacia la derecha reconocerá más.
En la imagen capturada se observarán cuadros color rojo que identifican los objetos reconocidos. Haciendo click en ellos se desplegarán 3 opciones como se muestra en la imagen.
- Asociar objeto existente: Permite asociar la imagen reconocida por visión artificial a un objeto que ya se encuentre anteriormente en el mapa OVC.
- Crear nuevo objeto: De igual forma que se crea en una automatización, esta opción permite crear un nuevo objeto. Se deben ingresar los datos requeridos.
- Ver información del objeto: Correspondiente a la ubicación del mismo en la web reflejando sus propiedades.
Al presionar los tres puntos que se encuentran en el menú de la derecha, se desplegarán nuevamente las tres opciones mencionadas anteriormente. A su vez, se marcará de manera más intensa el cuadro rojo correspondiente al objeto.
Una vez que se ha terminado de interactuar con la imagen, hacer click en salir
Luego de hacer click en “Salir” se observarán las imágenes capturadas con sus nombres correspondientes. Al presionar “editor automatizaciones” se regresará a la carpeta con las automatizaciones contenidas en ella.
Una de las principales necesidades de las pruebas automatizadas es el mantenimiento que requieren ante cambios en pantalla. Estos cambios en pantalla, usualmente ligados a nuevos diseños gráficos, generan cambios en las propiedades de reconocimiento de objetos, haciendo que los reconocimientos comiencen a fallar, especialmente si no se está realizando un desarrollo ordenando que identifique mediante IDs a cada objeto.
Para asistir en este problema STELA incorpora la Visión Artificial, agregando una nueva capa de asistencia, sumándose al componente de inteligencia artificial de asistencia de reconocimientos a través del código HTML. Frente a cambios en pantalla que resulten en que la automatización no pueda reconocer un objeto por los medios habituales (sus propiedades de reconocimiento definidas), el asistente de Visión Artificial procede a intentar ubicar el objeto deseado con base a la información gráfica que se guardó para éste y aplicando algoritmos de inteligencia artificial de reconocimiento de elementos en imágenes, se encarga de definir si existe un elemento en pantalla que entienda y representa al viejo objeto tras los cambios gráficos.
Con este soporte de Inteligencia Artificial que brinda la Visión Artificial se espera que STELA pueda adaptarse a cambios espontáneos que se presentan en las aplicaciones, evitando así que pruebas fallen por cambios gráficos que no alteran la funcionalidad que se está validando, facilitando el mantenimiento de las pruebas y haciendo que las mismas se vuelvan más robustas ante posibles cambios.
Video explicativo #
Ejemplo #