El término Big Data es relativamente reciente ya que se comenzó a usar a partir de Enero de 2012.
Big Data es el almacenamiento de enormes cantidades de datos, pero no es sólo eso. Cuando hablamos de Big Data, hablamos además de una posterior gestión y análisis de estos datos con tecnologías específicas, cuya finalidad es el procesamiento de estos datos almacenados para extraer de todos ellos un rendimiento y unas conclusiones, a raíz de un riguroso análisis. Son datos que no pueden ser tratados de manera convencional debido a que superan los límites y las herramientas de software que se utilizan normalmente en la gestión y procesamiento de datos.
¿Qué tiene de novedoso un sistema Big Data?
No es nuevo el tratamiento de datos e información en cantidades extremas, muchas de las grandes corporaciones ya manejan grandes volúmenes de datos con buenas herramientas de análisis. Lo que le hace realmente diferente, es que Big Data convierte un dato en un punto de información excelente para tomar decisiones de negocio especificas y diseñar estrategias relacionando todas las variables posibles de una forma más eficaz y con menor coste de almacenamiento. Utilizamos el Big Data para entender un perfil, sus preferencias, estímulos y deseo con respecto a un producto o servicio, proporcionando información valiosa sobre tendencias de mercado, o en el caso de las industrias, detectando de forma temprana problemas de calidad, lo que reduciría los costes de garantía, y optimizaría procesos de fabricación.
Si no tiene 5 “uves” no es Big Data
Volumen de datos. Terabytes o Petabytes, (un volumen que supera la capacidad del software habitual para ser gestionado).
Velocidad. La rapidez con que los datos se reciben, se procesan y se toman decisiones a partir de su análisis, prácticamente a tiempo real.
Variedad. Múltiples datos de diversas fuentes, (por ejemplo los obtenidos a través de redes sociales lo que incluye, hábitos de vida, preferencias, etc.)
Veracidad. Datos correctos y de calidad.
Valor. Obtenemos insights o rendimiento de ellos, fundamental para un plan de negocio.
¿Cómo surgió Big Data?
Google fue de las primeras empresas que se vio obligada a dar solución al procesamiento, almacén y gestión de grandes volúmenes de datos (mensajes en redes sociales, formularios, encuestas, archivos multimedia, etc…) con lo que desarrolló Google File System GFS, asi como Map Reduce, para que los desarrolladores de Apache crearan el software Apache Hadoop . Este software permite implementar un sistema Big Data, conectando muchos ordenadores entre si.
El Ingeniero y el Big Data
En el Big Data el papel del ingeniero de datos es fundamental ya que es el responsable de configurar sistemas y procesos, así como de construir sistemas, arquitecturas y plataformas, en las que otros integrantes del equipo de trabajo van a confiar y trabajar para tener éxito al manipular estos datos.
El ingeniero de datos deberá tomar la información más relevante y utilizar las herramientas de estadística, matemáticas e informática avanzada, para extraer el máximo rendimiento y saber gestionarlo adecuadamente con respecto al interés del negocio. En definitiva, es quien sabe cómo unir el impresionante volumen de datos, procesarlos y gestionarlos desde múltiples perspectivas dándoles un nuevo sentido.
