¿Es necesario integrar Bigdata en mi empresa?

¿Big data en mi negocio? Cada vez son más las empresas y organizaciones de todo tipo que se hacen esta pregunta e intentan obtener una respuesta para poder determinar si es necesario subirse a la ola del BigData o simplemente dar un paso más pequeño e iniciarse en la digitalización. Para poder obtener una respuesta completa y eficaz al respecto, es necesario determinar la viabilidad al igual que en cualquier otro tipo de proyecto.

¿Podría ayudarme el Big Data a reducir costes y mejorar?

El primer paso de todos es determinar en qué nos podrían ayudar las herramientas Big Data en la empresa. Así, cabe saber que los grandes puntos de análisis son: la reducción de costes tanto de mantenimiento como de personal y la mejora del producto. Por tanto, será necesario analizar si nuestra empresa tiene posibilidad de crecimiento dentro de estos dos puntos.

Una vez se analice lo anterior, es el momento de identificar posibles problemas existentes. En caso de no tener conocimiento de ningún punto de mejora, la idea se podría centrar en el descubrimiento de nuevas oportunidades que puedan ayudarnos a crecer. De ahí que no esté de más analizar cuestiones como la logística, planificación, gestión, etc.. para no encontrarnos después con piedras en el camino.

Resultados realistas

Ante todo, seamos prácticos. No es “inteligente” abordar en un primer momento la utilización de un conjunto de datos global. Podría ser demasiado ambicioso, y si no se obtienen los resultados deseados se puede llegar a la conclusión que el Big Data no es apropiado. Para ello, es recomendable realizar una acotación real de los objetivos, datos, y resultados deseados

¿Y mis datos? Un paso crítico es conocer los tipos de datos de los que se dispone en la empresa. El “petróleo” de mi organización está compuesto por los datos que ya conocemos (datos económicos, de planificación, tiempos de ejecución entre otros), además de los datos generados de forma automática mediante sistemas de registros automatizados o otros que se vayan a añadir a mayores como los datos generados por máquinas, sensores, dispositivos, etc.

A este maremagnum de datos hay que sumar los que son generados por personas, que aunque pueden ser menos fiables, son igualmente válidos y necesarios.

Las 5 V’s del Big Data

Una vez se tienen identificados estos datos se pueden analizar y determinar si cumplen algunas de las cinco dimensiones que los caracterizan, conocidas como las 5 V’s del Big Data. Veamos en qué consiste cada uno de estos aspectos:

Identificar las fuentes de datos existentes en la empresa y aquellos sistemas que podrían ser susceptibles de convertirse en generadores de datos. Se debería pensar que tipos de datos son, es decir existe variedad en el formato pdf, mp3, svg, csv, etc.
No solo determinar que volumen de datos estamos hablando sino de la frecuencia de los mismos. No es lo mismo generar 1Gb al segundo que a la semana, la velocidad es crítica.
Los datos son veraces o por otro lado no nos podemos fiar de ellos ya que en muchos casos faltan registros o se saben que son erróneos.
Los datos que estamos recogiendo tiene algún valor, el personal experto de nuestra empresa sabe que esa información va a ser de utilidad, pero no tiene las herramientas para aprovecharlo.
Las herramientas y sistemas Big Data nos permiten trabajar con una gran cantidad de datos que tienen valor, que son veraces, con una gran variedad de formatos.

Estudio de viabilidad económica del proyecto BigData

Estudiar el sistema y la infraestructura a utilizar, costes del despliegue tanto en hardware como en software. Si se selecciona una Cloud pública/privada/híbrida, si la computación se realizará en el Cloud/Fog/Edge, los software a utilizar software freeware/open source. Todas y cada una de las opciones tiene sus ventajas e inconvenientes costes de despliegue, de aprendizaje, de hardware.

Además, se han de tener en cuenta los recursos humanos necesarios durante las diferentes etapas: despliegue de las herramientas, captura de los datos, desarrollo de la algoritmia y mantenimiento de la arquitectura.

Implementación de un proyecto BigData

Perfecto, se ha llegado a un punto en el proyecto en el que se considera que la o las problemáticas planteadas requieren y son idóneas para la utilización de herramientas BigData. Se han identificado los objetivos, el alcance y existen datos suficientes en nuestra organización, ahora podemos lanzarnos a integrar BigData en la empresa.

Desde ITCL tenemos gran experiencia en el desarrollo de electrónica a medida para la captura de nuevos datos, el despliegue de herramientas Bigdata en cloud privadas como públicas y el análisis mediante algoritmos ad-hoc de las posibles problemáticas a plantear.