Google lanza Cloud Composer beta, un servicio administrado de Apache Airflow

Google lanzó hoy Cloud Composer, un servicio administrado de Apache Airflow, en versión beta. La herramienta está diseñada para una gestión y creación de flujos de trabajo consistentes.

Los analistas e ingenieros usan flujos de trabajo para automatizar procesos manuales, ahorrando tiempo y reduciendo la posibilidad de errores. Estos flujos de trabajo y los mecanismos que los ejecutan, a menudo piezas de infraestructura críticas, van desde scripts ad-hoc hasta frameworks completos, cuya administración puede requerir mucho tiempo y ser propensa a errores.

El equipo de Google Cloud quiere resolver este problema con una sola solución administrada a nivel de plataforma. Cloud Composer y Airflow actualmente son compatibles con BigQuery, Cloud Dataflow, Cloud Dataproc, Cloud Datastore, Cloud Storage y Cloud Pub / Sub. Los precios de Cloud Composer se basan en el consumo, por lo que paga por lo que usa, medido por vCPU / hora, GB / mes y GB transferidos / mes: hay varias unidades de precios porque Cloud Composer usa varios productos de GCP como componentes básicos.

Google eligió Apache Airflow como la base de Cloud Composer porque es un proyecto de código abierto. Además, Airflow tiene una comunidad de desarrolladores activa y diversa, se basa en Python con soporte para plugins personalizados, incluye operadores para muchas nubes y tecnologías comunes, cuenta con una interfaz de usuario web y herramientas de línea de comandos, brinda soporte para nube múltiple e híbrida orquestación, y ha sido utilizado en entornos de producción por empresas grandes y pequeñas.

Cloud Composer está diseñado para aprovechar Google Cloud Platform y ofrecer lo mejor de Airflow sin la responsabilidad de instalar y administrar Airflow por ti mismo. Esta versión beta inicial incluye lo siguiente:

  • Herramientas del cliente, incluidas Google Developer Console y Cloud SDK
  • Acceso fácil y controlado a la interfaz de usuario web de Airflow a través del Proxy de Cloud Identity-Aware
  • Configuración optimizada del tiempo de ejecución y el entorno de Airflow, como la compatibilidad con complementos
  • Stackdriver logging y monitoreo
  • Gestión de acceso a la identidad (IAM)
  • Gestión simplificada de DAG (flujo de trabajo)
  • Gestión de paquetes Python (PyPi)

En cuanto a las características en en camino, Google enumeró la inclusión de regiones adicionales de Google Cloud, la selección de la versión Airflow y Python y la autoescala.

Si eres nuevo en Apache Airflow, Google recomienda comenzar con el tutorial de Airflow DAG mientras utilizas la referencia de Airflow API y la documentación de Airflow GCP. Es posible que también desees consultar la documentación de Cloud Composer y las notas de la versión a medida que evoluciona el servicio.

Encuentra mas informacion aquí: https://cloud.google.com/composer/