¿Cuántos de los datos que generan las empresas son utilizados realmente con un fin? ¿Cuántos datos no sabemos que existen? ¿Cuánta de esta información posiblemente útil se queda escondida en archivos digitales y físicos?
Según una encuesta de Splunk, el 60% de las organizaciones afirma que más de la mitad de sus datos son datos oscuros, es decir, información que no saben que existe o cómo utilizar. Cuando, en realidad, aprovechar esta información normalmente oculta es una oportunidad para aplicar Inteligencia Artificial y mejorar cualquier negocio.
Saber qué datos se pueden utilizar, cómo recopilarlos, procesarlos y analizarlos es un reto para muchas de ellas. Se necesitan recursos y expertos, y en ocasiones se recurre a empresas especializadas en extraer valor de los datos como el Instituto de Ingeniería del Conocimiento (IIC).
¿Qué es el dark data?
El término dark data o datos oscuros hace referencia a la información que una empresa genera o recopila, pero no utiliza con un fin específico. Normalmente se trata de datos de difícil acceso, de los que se desconoce su potencial o incluso su existencia.
Con la tecnología de por medio, se crean datos constantemente. Todas las acciones y procesos que se realizan digitalmente –a través de Internet o de los sistemas y dispositivos que se utilizan en la organización– dejan una huella en forma de datos.
Además, en el mismo término se incluirían informes y documentos que las empresas guardan en los archivos físicos. La tarea de digitalizarlos impide muchas veces tenerlos en cuenta, cuando constituyen un buen background de la actividad.
Y es que el 90% de los encuestados saben de la importancia de extraer valor de los datos para el futuro, pero poco más de la mitad consideran que saben hacerlo o siquiera encontrarlo. Lo achacan a la falta de tecnología, procesos o conocimiento para convertirlos en información útil.
¿Puede ser el dark data útil para tu negocio?
Según la misma encuesta, el 81% de las organizaciones está de acuerdo en que el futuro éxito de la organización pasa por hacer que el data driven –tomar decisiones basadas en la evidencia que dan los datos– sea una realidad. Algo que incluye el uso inteligente del dark data, ya que el 77% cree que encontrar y recopilar los datos oscuros es una prioridad.
¿Qué dark data puedes utilizar?
El interés por el dark data y los datos en general es evidente, pero en ocasiones es arriesgado utilizar cierta información para según qué fin, sobre todo si hablamos de datos personales, confidencialidad y otras cuestiones legales. Además, muchos de esos datos “escondidos” pueden estar incompletos o duplicados y, por tanto, ser inservibles para crear cualquier sistema de Inteligencia Artificial.
Por el contrario, también existe cierto desconocimiento sobre el potencial de los datos que sí podemos explotar y que ya están registrados de una forma u otra. Puede que no sepamos que existen o que no percibamos el valor de los datos más allá de un uso inmediato. Por ejemplo, en el caso de RR. HH., hay datos que se generan para cumplir una tarea concreta, como puede ser pagar las nóminas, y que luego se descartan o se guardan en formatos que dificultan su explotación: documentos Excel, ficheros en bases de datos poco accesibles, etc.
En un mundo saturado de información, es importante discernir entre los datos que pueden ser útiles de los que simplemente no se pueden utilizar. Asegurar la calidad de cualquier proceso de análisis u optimización empieza aquí, pero también hay que saber cómo tratarlos.
Al final, el poder del Big Data y las tecnologías asociadas reside en nuestra capacidad para almacenar, procesar y combinar datos de todo tipo y extraer conclusiones e insights sobre la actividad de la organización, la interacción de los empleados o el comportamiento de los clientes.
¿Qué puedes hacer con el dark data?
Una vez tengamos claro que los datos –incluido el dark data– pueden ser fuente de conocimiento para una organización, llega el momento de definir un objetivo, buscar los que necesitamos y tratarlos adecuadamente. Y es que de su identificación al verdadero uso hay un proceso y tecnología de por medio.Precisamente otro de los obstáculos a superar, además del desconocimiento del valor de los datos, son las barreras tecnológicas. Muchas empresas no aprovechan la información porque no tienen la tecnología adecuada para tratar datos masivos.
Desde el IIC, trabajamos con diferentes clientes en el desarrollo de una infraestructura para almacenarlos y procesarlos, contando con la actitud proactiva de la organización en cuestión. Después, con la interpretación y análisis de los datos, implementamos distintas soluciones tecnológicas en diferentes ámbitos y sectores: energía, salud, legal, RR. HH., redes sociales y organizacionales, etc.
Con el objetivo de cada organización, nuestros expertos saben qué datos buscar, dónde buscarlos y cómo tratarlos adecuadamente para extraer valor de toda la información disponible. Todo esto sin olvidar la cantidad y calidad necesarias para que los resultados sean óptimos y ayuden a resolver problemas o mejorar diferentes aspectos del negocio.
Casos de uso del dark data
Los data scientist son los profesionales que se encargan de darle sentido a los datos, trabajando en su tratamiento y análisis. Además, trabajan con expertos en psicología o lingüística, por ejemplo, para buscar fuentes y prepararlos adecuadamente según el sector. Estos son algunos ejemplos de uso de dark data en proyectos reales del IIC:
- Dark data en RR. HH.: Se pueden utilizar datos de la comunicación e interacción entre empleados (correo, chat de empresa, etc.) para identificar referentes de conocimiento o relaciones dentro de una organización.
- Dark data en salud: las alertas inteligentes se basan en el texto de historias clínicas digitales que muchas veces no están digitalizadas.
- Dark data en inteligencia de cliente. Utilizamos las interacciones con tus clientes y sus opiniones en redes sociales para analizar su comportamiento y el impacto de tu marca o productos.
Estos casos de uso reflejan que todo tipo de datos pueden ser significativos a la hora de crear soluciones innovadoras. Tras el debido proceso, los datos servirán para crear algoritmos y aplicar Inteligencia Artificial en ámbitos muy diferentes. En definitiva, el dark data es útil si sabes cómo.