Nuevos retos para nuevos profesionales

El aumento del ancho de banda disponible en las conexiones a internet y el auge de los smartphones han disparado la cantidad de datos que se generan diariamente en la red. Actualmente se estima que, en un minuto, se suben 300 horas de vídeo en Youtube, se almacenan 100 terabits de información en Facebook, se generan cerca de 500.000 tuits en Twitter, se mandan 200 millones de correos electrónicos y se comparten 350.000 fotografías por Whatsapp. Este crecimiento ha hecho que las técnicas tradicionales de procesado y almacenamiento de información estén quedando rápidamente obsoletas, lo que ha dado lugar a la aparición del concepto big data.

Big data hace referencia a cualquier conjunto de datos que satisfaga lo que se conoce como las 3 uves: volumen, velocidad y variedad; a lo que algunos autores añaden veracidad, visualización y valor. No obstante, dado que estos tres (o seis) parámetros dependen de la naturaleza y magnitud de cada problema, hoy en día existe una gran confusión acerca de las implicaciones y el alcance del concepto big data. Y es que, en realidad, big data no concierne únicamente a los datos en sí, sino que también hace referencia al almacenamiento, procesado y la extracción de información valiosa a partir de una cantidad ingente de datos. Ello requiere la combinación de campos tan aparentemente dispares como la ingeniería, las tecnologías de la información o el desarrollo de negocios.

Por esta razón, el big data necesita de un nuevo perfil interdisciplinar de profesional que, para manipular grandes volúmenes de información, sea capaz de superar las limitaciones tecnológicas actuales -como, por ejemplo, el ancho de banda de las redes de comunicaciones o la latencia en el almacenamiento de datos persistente- y pueda dar un valor añadido al negocio. Estos profesionales deben ser capaces de incorporarse en cualquier punto del ciclo de vida del big data: desde la generación y almacenamiento de los datos; pasando por el procesado, extracción y visualización de información; e incluyendo el diseño de aplicaciones dato dependientes. Concretamente, deben dominar las siguientes disciplinas:

Diseño de datacenters: Los centros de datos de nueva generación deben ser capaces de satisfacer los ambiciosos requerimientos del big data, el cual representa un nuevo orden de magnitud en cuanto a computación y almacenamiento de datos. Para que este sea posible, se requieren conocimientos avanzados de redes de comunicaciones y telemática que permitan, por un lado, entender los distintos flujos de datos de cada aplicación y, por el otro, diseñar arquitecturas jerárquicas altamente escalables que puedan incorporar soluciones basadas en el cloud computing.

Tecnologías de almacenamiento de datos: Una vez se tiene diseñado y desplegado el hierro (datacenter) que va a albergar eficientemente un gran volumen de información, se debe seleccionar qué tecnología de almacenamiento y procesado de datos se adapta mejor a cada tipo de aplicación. Es por eso que hay que entender las limitaciones de los sistemas relacionales clásicos y las ventajas (e inconvenientes) de las nuevas tecnologías NoSQL como MongoDB, Hadoop, Cassandra o Neo4J. Además, los profesionales del big data también deben saber aprovechar la naturaleza distribuida de los datos para realizar computaciones paralelas y así minimizar el tráfico que cruza las redes de comunicaciones.

Análisis de datos y Business Intelligence: Los datos no hablan por sí solos. No basta con tener trillones de bits almacenados en un datacenter súper escalable sobre el que corre la mejor tecnología de almacenamiento de datos. Para filtrar, organizar y visualizar todos estos datos es fundamental que los profesionales del big data dominen técnicas estadísticas como, por ejemplo, la inferencia, la regresión, el clustering o el data mining. Todo ello debe permitir mejorar los procesos y la eficiencia del negocio, lo que además requiere un conocimiento complementario en business intelligence.

Desarrollo de aplicaciones: Finalmente, estos nuevos profesionales deben tener una mente creativa que les permita innovar y beneficiarse de las ventajas y posibilidades que ofrece el paradigma del big data. Sin duda, esto les permitirá desarrollar nuevas aplicaciones dato dependientes que mejoren nuestro día a día.

En conclusión, estamos viviendo una nueva era en la que la gestión de datos requiere nuevos expertos interdisciplinares altamente cualificados que sean capaces de dar solución a los retos que propone el big data en la industria. Definitivamente, esta es una gran oportunidad de especialización para los estudiantes recién graduados, los cuales pueden introducir nuevas ideas que ayuden a empujar los horizontes del big data.

Todo ello, sin olvidarse de los perfiles más sénior que aportan una experiencia y una visión de la historia muy valiosa a la hora de implementar nuevas soluciones.