Guía Esencial

Navegue en las secciones

BACKGROUND IMAGE: iSTOCK/GETTY IMAGES

Este contenido es parte de Guía Esencial: Tendencias tecnológicas para seguir en 2015
Evaluar Conozca los pros y contras de las tecnologías, productos y proyectos que está considerando.

Arquitectura de big data tomó un rol de procesamiento más amplio en 2014

Los profesionales de datos trabajaron para incorporar Hadoop 2 y tecnologías NoSQL en flujos de trabajo de procesamiento de datos existentes en 2014.

El año 2014 vio progreso en el desarrollo y despliegue de la arquitectura de big data, a medida que los usuarios adquirieron más experiencia con alternativas NoSQL a las bases de datos relacionales, y Hadoop 2 ganó fuerza para usos de analítica de operaciones más allá del rol de procesamiento por lotes original del marco de procesamiento distribuido.

El interés en las tecnologías de big data a menudo fue dirigido por la plataforma Hadoop 2, que llegó por primera vez a finales de 2013. La nueva versión separó el Sistema de Archivos Distribuidos Hadoop de su anterior dependencia del modelo de programación y motor de procesamiento MapReduce, orientado a lotes y motor de procesamiento, abriendo Hadoop a una gama mucho más amplia de usos –por ejemplo, las consultas interactivas y las aplicaciones de  procesamiento de flujos. Pero ir de prueba de concepto a producción era a veces un puente muy lejano para el ejército Hadoop, dejando batallas de despliegue adicionales para ser libradas en 2015.

Los arquitectos y gestores de datos también tuvieron una gran cantidad de aprendizaje en el puesto de trabajo, lidiando con nuevos esquemas de procesamiento en memoria que se volvieron disponibles para las bases de datos relacionales populares. Sin embargo, gran parte de la gran discusión de big data se centró en las alternativas no relacionales –y hubo mucho de qué hablar. "Una vez que usted decide que puede hacer algo que no requiere una base de datos SQL monolítica, no hay escasez de tecnologías emergentes actualmente", dijo Joe Caserta, fundador y presidente de la consultora neoyorquina Caserta Concepts.

A pesar del estruendo persistente sobre Hadoop, por ejemplo, incluso oscurecido a veces por otro fenómeno de código abierto similar a un cometa: Spark. El motor de procesamiento analítico es a menudo vinculado con Hadoop 2 para ejecutar trabajos por lotes más rápidamente de lo que MapReduce puede hacerlo. Pero Spark también consiguió una atención creciente por sí mismo para su uso en el aprendizaje automático, otra tendencia candente en los últimos 12 meses.

Solo diga NoSQL

MongoDB, Couchbase, Aerospike y más –la letanía de las bases de datos NoSQL resonó. Parecía que apenas había un día que no incluía una nueva tecnología NoSQL a considerar, como señaló con ironía Michael Simone, jefe global de la plataforma de ingeniería CitiData de Citigroup Inc., durante una presentación en la conferencia MongoDB World 2014 del pasado verano. Pero el humor no desmintió la realidad de que el software NoSQL fue desplegado cada vez más para hacer frente a masas de datos, a menudo nuevas formas de información provenientes de la web que no encajaban bien en esquemas relacionales rígidos.

Por ejemplo, las bases de datos NoSQL fueron aprovechadas como almacenamiento en memoria para la toma de decisiones en tiempo real sobre los datos de marketing basados en web, para alimentar un sistema de soporte técnico que ayuda a los operadores de call centers a seguir la actividad en el sitio web de los jugadores para resolver problemas técnicos, y para almacenar datos orientados al análisis de tendencias de medios sociales y actividades de divulgación. En algunos otros casos, sin embargo, los administradores de datos optaron por la llamada tecnología NewSQL, que busca vincular los mejores rasgos de las plataformas SQL y NoSQL.

Construyendo para el futuro de big data

Detrás de estos desarrollos hubo un montón de trabajo destinado a la incorporación de las nuevas herramientas de big data en las arquitecturas de datos empresariales que a menudo son blancos móviles por sí mismas. "Los mayores problemas con big data hoy son acerca de la arquitectura –cómo construir un entorno donde tiene muchas nuevas tecnologías que trabajan juntas", dijo Vince Dell'Anno, director general de gestión de la información para la cadena de suministro de datos en el grupo de consultoría de analítica de Accenture.

Dell'Anno dijo que un próximo reto en muchos departamentos de TI será la gestión de entornos híbridos que permiten que decenas de miles de usuarios finales accedan a los datos recientemente disponibles. De hecho, la construcción de sistemas escalables de big data y su integración con los entornos existentes de data warehousing, analítica y operativos fue un tema importante en 2014. A veces, las nuevas herramientas requirieron que los implementadores de arquitectura de big data renunciaran a formas familiares de trabajar con esquemas de datos, cambiando algunas convenciones de gestión de datos en sus cabezas.

Al llegar 2014 a su fin, Hadoop tuvo una especie de fiesta de presentación cuando Hortonworks Inc., uno de los tres proveedores independientes de la distribución de Hadoop, lanzó una oferta pública inicial (IPO). En el proceso, la compañía recaudó 100 millones de dólares –lo cual, dados los montones de capitalistas de riesgo que se han amontonado sobre Hadoop, es una cantidad relativamente modesta. Pero el analista de Ovum, Tony Baer, escribió en un blog que la salida a bolsa era más notable como declaración sobre las perspectivas de negocio de Hadoop. "Esto es en gran medida un mercado totalmente nuevo, ya que casi todas las ventas son nuevas, con pocos reemplazos siendo competitivos", dijo Baer. Y, añadió, "todavía hay un montón de mercado virgen allá afuera”.

Se espera que otros jugadores de Hadoop, así como algunos líderes del mercado NoSQL, se unan al desfile de salida a bolsa en 2015. Eso, a su vez, ayudaría a mantener el flujo de nuevas tecnologías de procesamiento de datos de primera calidad y completos –probablemente dándole a los equipos de gestión de datos aún más sobre lo cual poner sus brazos el año que viene.

Este artículo se actualizó por última vez en enero 2015

Inicie la conversación

Envíenme notificaciones cuando otros miembros comenten sobre este artículo.

Por favor cree un Nombre de usuario para poder comentar.

- ANUNCIOS POR GOOGLE

Close