A medida que las organizaciones buscan cada vez más grandes conjuntos de datos para ofrecer valiosas ideas comerciales, se ha puesto de manifiesto que los sistemas tradicionales de gestión de bases de datos relacionales (RDBMS) que han sido el estándar durante los últimos 30 años no están a la altura de manejar estos nuevos requisitos de datos.

Como resultado, una variedad de opciones de base de datos para grandes conjuntos de datos han surgido. Aunque las tecnologías difieren, todas ellas diseñadas para superar las limitaciones del RDBMS para permitir a las organizaciones extraer valor de sus datos.

Requisitos de las base de datos Big Data

Para entender por qué hay una necesidad de nuevas opciones de base de datos para manejar grandes datos, es importante entender el impacto de las tres características principales que distinguen los grandes datos: volumen, variedad y velocidad.

Volumen: Fiel a su nombre, los datos grandes se miden comúnmente en petabytes, exabytes e incluso zetabytes.

Las BBDD tradicionales se escalan hacia fuera aumentando el numero de servidores y la capacidad de almacenamiento. Debido a que estos sistemas no están diseñados para ejecutarse de hardware en hardware y requieren técnicas de sharding altamente complejas para distribuir datos entre varios servidores, la escala puede ser extremadamente costosa y perjudicial.

Por ejemplo, un sistema tradicional como Oracle puede costar millones de dólares para almacenar sólo 20 terabytes de datos, una cantidad que podría representar un día de guardado de datos para una organización importante.

Por el contrario, las grandes bases de datos minimizan el costo y la carga de la escala con enfoques que facilitan la adición o reducción rápida de la capacidad utilizando hardware de bajo costo con poca o ninguna intervención manual.

Variedad: En el pasado, la mayoría de los datos se estructuraron para ajustarse al modelo de datos rígido relacional.

Con el surgimiento de grandes datos, los datos no estructurados, desde publicaciones de medios sociales, imágenes y video están creciendo mucho más rápidamente que los datos estructurados.

La única forma en que una BBDD puede manejar datos heterogéneos que no encajan con el esquema predefinido es a través de complejas y complicadas soluciones. Las grandes bases de datos no tienen este problema.

Ellas usan modelos de almacenamiento de datos flexibles que se construyen para garantizar que todos los tipos de datos se pueden almacenar y consultar fácilmente utilizando una variedad de métodos.

Velocidad: La velocidad es crítica en la era de los grandes datos. Se están creando volúmenes masivos de datos heterogéneos en tiempo real, y la expectativa es que puedan ser captados, almacenados y procesados en tiempo casi real.

Esto es particularmente importante con información tal como datos de series temporales. Sin la capacidad de manejar el volumen y la variedad de datos grandes, el rendimiento puede sufrir e incluso causar tiempo de inactividad.

Las grandes bases de datos están diseñadas para mantenerse al día con las demandas implacables de capturade todo tipo de datos sin perder rendimiento o disponibilidad.

Beneficios de una base de datos Big Data

Los sistemas que están diseñados con grandes datos en mente se llaman a menudo bases de datos NoSQL debido al hecho de que no necesariamente se basan en el lenguaje de consulta SQL utilizado por RDBMS.

Hay muchos sabores y marcas de bases de datos NoSQL que están diseñadas para diferentes casos de uso. Las principales categorías de bases de datos NoSQL son; Documento, clave / valor, grafos, tabla grande y series de tiempo, entre otros.

Debido a que la capacidad puede agregarse o reducirse de forma rápida y eficiente en cualquier momento, NoSQL permite a las organizaciones escalar fácilmente para abarcar grandes iniciativas de datos.

Rentabilidad: Como NoSQL utiliza hardware de bajo costo, el ahorro de costos en comparación con RDBMS se vuelve más dramático a medida que se necesita mayor capacidad para acomodar petabytes y exabytes de datos.

Además, las organizaciones sólo necesitan implementar la cantidad de hardware que se requiere para cumplir con los requisitos de capacidad en lugar de realizar grandes inversiones en hardware.

Flexibilidad: Ya sea que una organización esté desarrollando aplicaciones web, móviles o de series de tiempo, los modelos de datos fijos de las BBDD relacionales previenen o reducen drásticamente la capacidad de una organización para adaptarse a la evolución de los grandes requerimientos de aplicaciones de datos.

NoSQL permite a los desarrolladores utilizar los tipos de datos y las opciones de consulta que mejor se adapten al caso de uso específico de la aplicación, lo que permite un desarrollo más rápido y ágil.

Rendimiento: Como se mencionó, con las BBDD relacionales, el aumento del rendimiento implica enormes gastos y la sobrecarga manual.

Por otro lado, cuando los recursos de cálculo se agregan a una base de datos NoSQL, el rendimiento aumenta de manera proporcional para que las organizaciones puedan seguir ofreciendo una experiencia al usuario rápida.

Disponibilidad: Los sistemas RDBMS típicos se basan en arquitecturas primarias / secundarias que son complejas y pueden crear puntos de fallo únicos.

Al utilizar una arquitectura que distribuye automáticamente los datos entre varios recursos, algunos sistemas NoSQL distribuidos garantizan que la base de datos permanezca disponible y sea capaz de mantener el ritmo de las demandas masivas de lectura y escritura de las grandes aplicaciones de datos.

Análisis de datos Big Data

Más información en: Técnicas de Análisis de datos en Big Data

Big data en el sector público

Más información en: Big data en el sector público: Aplicaciones y Beneficios