Seguimos avanzando con la IA de Base de Conocimiento de Dataprius.
La aplicación ha estado sometida a un proceso de pruebas de dos semanas.
Los usuarios y las empresas que han participado nos han aportado una experiencia de uso muy valiosa.
Fundamentalmente las pruebas han sido realizadas por las empresas que solicitaron entrar en el «Plan de Adopción Temprana», ofrecido en nuestro Blog (Bases de conocimiento IA en Dataprius).
Posteriormente, se han sumado distribuidores de Dataprius y otros clientes.
Hemos podido extraer importantes conclusiones.
- La calidad de los documentos determina mucho los resultados.
- Excelentes resultados con repositorios temáticos, dedicados a un tema específico. Esto era previsible.
- La selección de los archivos por carpetas no es adecuada para el sistema.
Además de documentos internos de las empresas, que corresponden a archivos de toda índole. Se han realizado pruebas de contexto con archivos de medicina, de historia en general, de arqueología, de aeronáutica, de tutoriales y cursos de todo tipo.
Aunque no son textos empresariales en todos los casos, estos contextos nos permiten afinar la IA y ajustarla para mejorar los resultados de las consultas.
En todos los casos el sistema daba respuestas con magníficos resultados.
Todos menos en el apartado jurídico, con textos legales oficiales. Este es un terreno dificultoso. Nuestra IA puede funcionar muy bien con los textos propios de un despacho de abogados, pero cuando se trata de textos oficiales tenemos dificultades. No en vano existen proyectos especializados en textos jurídicos oficiales, como este proyecto llamado Justicio (https://justicio.es/) creado por Alex Dandart.
Estudiando un poco a la competencia para comparar.
No existen productos similares que aporten garantías de protección de datos como Dataprius, en esa parte ya ganamos por goleada.
Si ningún otro servicio en Cloud ha firmado los contratos RGPD, como nosotros venimos haciendo desde hace más de 10 años, no esperes que te aporten garantías ahora con la IA.
Teniendo en cuenta esto, hemos querido comparar el desempeño de nuestro sistema con otro bastante popular como «TextCortex» (Company Knowledge). Podemos decir que sin lugar a dudas ofrecemos unas respuestas más precisas y competentes. Quedamos pendientes de publicar una comparativa con este y otros sistemas.
Cambios a partir de las conclusiones.
A partir de esta experiencia, el departamento de desarrollo ha realizado importantes cambios que mejoran el uso del sistema.
Antes de estos cambios. Los archivos de la Base de Conocimiento se introducían seleccionando carpetas. Tal y como mostramos en la siguiente captura:
Esta dinámica no es adecuada por varios motivos.
- Se tiende a seleccionar carpetas con muchos archivos cuya información está obsoleta o no es relevante.
- Obliga en cierto modo a que las empresas repitan archivos montando carpetas específicas para la IA.
- Dificulta el control de los documentos introducidos al tener que estar entrando en las carpetas y subcarpetas.
Un ejemplo de que tener muchos archivos degrada las respuestas, se ha dado claramente en una empresa que tiene manuales técnicos industriales.
Al consultar a la IA sobre un determinado dispositivo, las respuestas recibidas eran obsoletas y no correspondían a la última versión. Es sencillo, se había seleccionado una carpeta que contiene varios manuales del mismo dispositivo de diferentes versiones. Se esperaba respuesta de la última versión. Está claro que la solución consiste en no seleccionar la carpeta completa, seleccionar sólo los ficheros que realmente queremos consultar.
Esto tenía que cambiar y se ha cambiado.
La aplicación ahora está orientada a archivos
Ahora se seleccionan archivos individuales de diferentes carpetas. Es la nueva forma de introducirlos en la Base de Conocimiento.
Obtenemos mayor precisión, mayor facilidad de uso, respuestas mucho más precisas e incluso un ahorro de recursos al no tener que procesar archivos de carpetas completas.
Última fase de pruebas
Entramos ya en la última fase de pruebas.
Aunque como siempre decimos, la aplicación nunca estará terminada, llevamos muchos años haciendo mejoras y nuestros clientes son testigos de ello, el 80% de esas mejoras provienen de sugerencias de los propios usuarios.
Esta última fase de pruebas se va a centrar en afinar las respuestas de nuestra IA en los diferentes contextos usados por nuestros clientes.
Por otro lado pronto se lanzará la nueva versión de Dataprius, la versión 9.4 que incluye un acumulado de mejoras y sobre todo incorpora gran rapidez en la transmisión de cambios en carpetas y archivos para los usuarios conectados, ahora funciona en tiempo real y sin retardos.
Seguramente la versión 9.4 ya disponga de la IA, pero su activación será bajo petición de cada usuario.
Seguiremos informando.
