LinkedIn pone a disposición el proyecto Dynamometer para ayudar a empresas a realizar pruebas de Hadoop

LinkedIn pone a disposición el proyecto Dynamometer para ayudar a empresas a realizar pruebas de Hadoop LinkedIn, hadoop, big data noticias, servidores

LinkedIn lanzó hoy un proyecto de código abierto llamado Dynamometer para ayudar a las empresas a probar la tensión (stress) a gran escala en los sistemas de procesamiento de big data de Hadoop sin utilizar una gran cantidad de infraestructura.

La herramienta está diseñada para evitar un problema que la red social empresarial encontró a principios de 2015 cuando la empresa agregó 500 máquinas a su clúster Hadoop Distributed Filesystem (HDFS) en un intento por mejorar el rendimiento. En su lugar, el equipo se encontró con un error que solo aparecía a gran escala y que causaba que se agotara el tiempo de espera de los trabajos dirigidos al clúster.

Dynamometer, que lleva el nombre de una herramienta utilizada para probar automóviles, simula clústeres a gran escala y solo requiere aproximadamente el 5 por ciento de la infraestructura subyacente real. Eso ayuda a los desarrolladores a resolver uno de los problemas clave con el software de prueba a escala: en realidad, el aprovisionamiento de todas las máquinas puede ser costoso, incluso en un entorno de nube pública.

En cambio, los clientes pueden usar Dynamometer para probar los mismos tipos de cargas de trabajo que ven en la producción y asegurarse de que el sistema resistirá los cambios de software. LinkedIn usó la herramienta para analizar la migración de los clústeres HDFS de Hadoop 2.3 a 2.6, un cambio que requirió el ajuste de ciertos parámetros de los clusters para evitar problemas de rendimiento.

Erik Krogen, ingeniero principal de Dynamometer, dijo en un correo electrónico que la herramienta está pensada tanto para empresas que trabajan con Hadoop a gran escala, como LinkedIn, como para tiendas más pequeñas que proponen cambios al proyecto de código abierto HDFS y quieren asegurarse no afectarán el rendimiento a escala.

A largo plazo, Krogen espera que Dynamometer se convierta en parte de las pruebas de lanzamiento para HDFS, así como la integración continua y continua de los nuevos cambios de código entre lanzamientos. Es por eso que LinkedIn lo lanzó al público como un proyecto de código abierto. La compañía ya usó Dynamometer para ayudar con el lanzamiento de Hadoop 2.7.4, lo que le permitió verificar que la versión de mantenimiento no tuvo un impacto negativo en el rendimiento.