¿Qué es el canary testing? Guía de mejores prácticas

El canary testing es una estrategia de despliegue de software que ayuda a reducir los riesgos al lanzar nuevas funcionalidades o actualizaciones. Es como probar el agua con el pie antes de tirarte de cabeza.

En este artículo exploraremos qué es el canary testing, cómo funciona y por qué se ha convertido en un enfoque tan popular en el desarrollo de software moderno.

Introducción

¿Alguna vez te has preguntado cómo consiguen las grandes empresas tecnológicas lanzar actualizaciones a millones de usuarios sin causar un caos generalizado? La respuesta suele estar en el canary testing. Esta ingeniosa técnica permite a los desarrolladores probar el terreno con un pequeño grupo de usuarios antes de lanzar nuevas funcionalidades a todos.

El canary testing es una forma de introducir cambios en tu software con cuidado, vigilando de cerca cómo funcionan en el mundo real. Se trata de minimizar riesgos y detectar posibles problemas antes de que se conviertan en grandes quebraderos de cabeza.

Pero espera, quizá estés pensando: «¿Eso no es simplemente test A/B?». Pues no exactamente. Aunque el canary testing, los canary releases y el canary deployment están relacionados, cada uno tiene su propio matiz. Vamos a desglosarlo:

• El canary testing es el proceso global de desplegar cambios de forma gradual y monitorizar su impacto.
• Los canary releases son las versiones de software que se lanzan a un pequeño subconjunto de usuarios.
• El canary deployment es la implementación técnica de cómo se envían estas versiones a los entornos de producción.

Ahora que ya tenemos claras las bases, ¡profundicemos en el mundo del canary testing!

¿Qué es el canary testing?

El canary testing es una técnica de despliegue en la que una nueva versión del software se lanza a un pequeño grupo de usuarios antes de desplegarla a toda la base de usuarios. Es como tener un grupo de valientes voluntarios que prueban el agua antes de que se lance todo el mundo.

El objetivo principal del canary testing es:

1. Identificar posibles problemas de forma temprana
2. Minimizar el impacto de errores o problemas de rendimiento
3. Recopilar feedback real de usuarios reales
4. Reducir el riesgo de fallos generalizados

Pero ¿por qué «canary»? El término proviene de una antigua práctica minera. Los mineros llevaban canarios a las minas de carbón como sistema de alerta temprana ante gases peligrosos. Si el canario dejaba de cantar (o peor, caía muerto), los mineros sabían que había que salir rápido. Del mismo modo, los canary tests actúan como un sistema de alerta temprana ante posibles problemas de software.

¿Por qué es eficaz el canary testing?

El canary testing se ha convertido en una estrategia de referencia para muchos equipos de desarrollo, y con razón. Estos son los motivos de su eficacia:

1. Reducción de riesgos: al limitar las nuevas versiones a un grupo pequeño, limitas el daño potencial de cualquier problema imprevisto.
2. Pruebas en el mundo real: por exhaustivo que sea tu proceso de QA, nada sustituye probar en el entorno real de producción con usuarios reales.
3. Despliegue gradual: el canary testing permite un proceso de lanzamiento controlado, paso a paso, lo que facilita la gestión y la monitorización de los cambios.
4. Feedback rápido: con un grupo pequeño de usuarios, puedes recopilar feedback e identificar problemas mucho más rápido que con un lanzamiento completo.
5. Monitorización del rendimiento: los canary tests te dan la oportunidad de monitorizar cómo afectan al rendimiento del sistema las nuevas funcionalidades o cambios antes de que lleguen a todos los usuarios.
6. Mejor experiencia de usuario: al detectar y corregir problemas pronto, puedes garantizar una experiencia más fluida para la mayoría de tus usuarios.
7. Rentable: corregir problemas al principio del ciclo de lanzamiento suele ser mucho más barato que solucionar problemas generalizados después de un despliegue completo.

¿Cuándo usar el canary testing?

El canary testing no es una solución válida para todos los casos, pero resulta especialmente útil en ciertos escenarios:

1. Actualizaciones de alto riesgo: cuando lanzas cambios importantes que podrían afectar de forma significativa a la experiencia de usuario o a la estabilidad del sistema.
2. Aplicaciones críticas para el rendimiento: en sistemas donde incluso pequeñas degradaciones del rendimiento podrían tener consecuencias graves.
3. Grandes bases de usuarios: cuanto mayor es tu base de usuarios, más beneficioso resulta el canary testing para gestionar los despliegues.
4. Entornos de despliegue continuo: el canary testing encaja a la perfección con los pipelines de integración y despliegue continuos (CI/CD), y permite actualizaciones frecuentes y de bajo riesgo.
5. Lanzamiento de nuevas funcionalidades: cuando no estás seguro de cómo reaccionarán los usuarios ante una nueva funcionalidad, el canary testing puede aportar información muy valiosa.
6. Cambios de infraestructura: probar primero a pequeña escala las actualizaciones o migraciones importantes de infraestructura puede evitar caídas generalizadas.

Los canary tests son especialmente importantes en entornos de despliegue continuo. En estos contextos de ritmo acelerado, donde los cambios de código se envían constantemente a producción, el canary testing actúa como una red de seguridad. Permite a los equipos mantener sus ciclos de lanzamiento rápidos sin perder de vista la calidad y el rendimiento.

¿Cómo hacer canary testing?

Ahora que hemos visto el "porqué" del canary testing, hablemos del "cómo". Este es un resumen básico del proceso:

1. Prepara tu lanzamiento: deja lista tu nueva versión para el despliegue.
2. Selecciona tu grupo canary: elige un pequeño subconjunto de usuarios o servidores para recibir la actualización.
3. Despliega el canary: lanza la nueva versión al grupo que has seleccionado.
4. Monitorea y analiza: vigila de cerca las métricas de rendimiento, las tasas de error y los comentarios de los usuarios.
5. Toma una decisión: según los resultados, decide si:
   • Continuar con un despliegue completo
   • Hacer ajustes y volver a probar
   • Revertir los cambios
6. Amplía o revierte: aumenta gradualmente el tamaño del grupo canary o vuelve a la versión anterior si se detectan problemas.
7. Completa el despliegue: cuando tengas confianza en la nueva versión, despliégala a todos los usuarios.

Este proceso puede parecer sencillo, pero cada paso implica mucho trabajo. Veamos más a fondo cómo funciona realmente el canary testing.

¿Cómo funciona el canary testing?

El canary testing consiste en planificar con cuidado, implementar con precisión y analizar a fondo. Estos son los detalles del proceso:

1. Fase de planificación

Antes de pensar siquiera en desplegar tu canary, tienes que hacer un trabajo previo:

• Define los criterios de éxito: ¿qué métricas usarás para determinar si el canary es un éxito? Pueden incluir tasas de error, tiempos de respuesta, engagement de los usuarios u otros indicadores clave de rendimiento (KPIs).
• Elige tu grupo canary: decide cómo seleccionarás a los usuarios para el canary test. Puede ser una selección aleatoria, segmentos de usuarios específicos o incluso servidores o regiones concretas.
• Configura el monitoreo: asegúrate de contar con un sistema de monitoreo sólido para seguir las métricas que hayas elegido. Herramientas como Prometheus, Grafana o soluciones de monitoreo nativas de la nube pueden ayudarte.
• Prepara los procedimientos de reversión: ten siempre un plan B. Asegúrate de poder volver rápidamente a la versión anterior si es necesario.

2. Fase de implementación

Ahora toca desplegar tu canary:

• Despliegue gradual: empieza con un porcentaje muy pequeño de usuarios, quizá entre el 1 y el 5 %. Así limitas el impacto potencial y, aun así, obtienes datos significativos.
• Usa feature flags: los feature flags te permiten activar o desactivar funcionalidades para usuarios específicos, lo que facilita controlar tu despliegue canary.
• Monitorea de cerca: mantén un seguimiento constante de las métricas que definiste. Muchos equipos configuran paneles dedicados para este fin.
• Recopila comentarios de los usuarios: si es posible, obtén opiniones directas de los usuarios del grupo canary. Esto puede aportar datos cualitativos valiosos que complementen tus métricas cuantitativas.

3. Fase de análisis

Una vez que tu canary está en producción, es el momento de analizar los resultados:

• Compara las métricas: observa cómo se comporta tu versión canary frente a la versión de producción actual. ¿Hay diferencias significativas?
• Revisa los errores: presta atención a cualquier tipo de error nuevo o a un aumento en las tasas de error.
• Analiza el comportamiento de los usuarios: ¿los usuarios interactúan con la nueva versión como esperabas? ¿Hay patrones inesperados?
• Toma una decisión: según tu análisis, decide si continuar con un despliegue más amplio, hacer ajustes o revertir los cambios.

Recuerda que el canary testing es un proceso iterativo. Puede que pases por varias rondas de pruebas y ajustes antes de estar listo para un despliegue completo.

Despliegue de un canary test

Veamos con más detalle el proceso de despliegue de un canary test:

Fase de planificación

1. Define los objetivos: describe con claridad qué quieres lograr con este lanzamiento.
2. Identifica los riesgos: ¿qué podría salir mal? Piensa en los posibles puntos de fallo y en cómo podrían afectar a los usuarios.
3. Configura las métricas: decide qué métricas vas a seguir y configura las herramientas de monitorización necesarias.
4. Elige tu grupo canary: determina cómo vas a seleccionar a los usuarios para el canary test. Puede basarse en:
   • Ubicación geográfica
   • Características del usuario (p. ej., usuarios avanzados frente a usuarios ocasionales)
   • Selección aleatoria
   • Beta testers voluntarios
5. Prepara la comunicación: ten un plan para comunicarte con los usuarios del grupo canary, sobre todo si vas a recopilar feedback.

Fase de implementación

1. Despliega en staging: antes de salir en vivo, despliega tus cambios en un entorno de staging que replique producción lo más fielmente posible.
2. Ejecuta tests automatizados: asegúrate de que todos tus tests automatizados pasen en el entorno de staging.
3. Despliega en canary: lanza la nueva versión a tu grupo canary seleccionado.
4. Monitorea de cerca: mantén un seguimiento constante de las métricas que definiste. Muchos equipos configuran paneles dedicados para este fin.
5. Expansión gradual: si los resultados iniciales son positivos, aumenta poco a poco el tamaño del grupo canary.

Fase de análisis

1. Compara las métricas: observa cómo rinde tu versión canary en comparación con la versión actual en producción.
2. Analiza el feedback de los usuarios: si estás recopilando feedback directo de los usuarios, revísalo y clasifícalo.
3. Busca anomalías: fíjate en cualquier comportamiento inesperado o métricas que destaquen.
4. Toma una decisión: a partir de tu análisis, decide si:
   • Continuar con un despliegue completo
   • Continuar las pruebas con un grupo canary más grande
   • Hacer ajustes y volver a probar
   • Revertir los cambios
5. Documenta lo aprendido: sea cual sea el resultado, documenta lo que has aprendido para futuras versiones.

Recuerda: la clave de un canary testing exitoso es empezar poco a poco, monitorizar de cerca y estar preparado para actuar rápido si surgen problemas.

Cómo ejecutar canary tests con feature flags

Los feature flags (también conocidos como feature toggles) son una herramienta potente dentro del conjunto de recursos del canary testing. Te permiten activar o desactivar funcionalidades para usuarios concretos sin necesidad de desplegar código nuevo.

Así es como los feature flags pueden mejorar tus canary tests:

1. Control granular: puedes activar nuevas funcionalidades para usuarios o grupos específicos sin afectar al resto.
2. Rollback rápido: si surgen problemas, puedes desactivar una funcionalidad al instante sin necesidad de volver a desplegar.
3. Tests A/B: los feature flags facilitan ejecutar tests A/B junto con tus canary tests.
4. Lanzamiento por etapas: puedes aumentar gradualmente el número de usuarios que ven una nueva funcionalidad ajustando la configuración del feature flag.

Para usar feature flags en canary testing:

1. Implementa la funcionalidad de feature flags en tu código.
2. Despliega el nuevo código en producción con la nueva funcionalidad desactivada.
3. Activa la funcionalidad para tu grupo canary mediante el feature flag.
4. Monitoriza y analiza como de costumbre.
5. Aumenta gradualmente el porcentaje de usuarios que tienen la funcionalidad activada.

Usar feature flags puede hacer tu proceso de canary testing más flexible y menos arriesgado. Es una técnica utilizada por muchas grandes empresas tecnológicas para gestionar sus complejos procesos de despliegue.

Ventajas de los canary tests

El canary testing ofrece numerosos beneficios:

1. Reducción de riesgos: al limitar los nuevos lanzamientos a un grupo pequeño, reduces el impacto potencial de errores o problemas de rendimiento.
2. Detección temprana: los problemas se pueden detectar y resolver antes de que afecten a toda tu base de usuarios.
3. Validación en el mundo real: los canary tests aportan información sobre cómo funcionan tus cambios en entornos de producción reales.
4. Lanzamiento gradual: puedes ir aumentando el lanzamiento poco a poco, lo que te da más control sobre el proceso.
5. Mejor experiencia de usuario: al detectar y corregir problemas a tiempo, garantizas una experiencia más fluida para la mayoría de los usuarios.
6. Rentable: corregir problemas al inicio del ciclo de lanzamiento suele ser mucho más barato que resolver incidencias generalizadas.
7. Mayor confianza: los canary tests exitosos pueden aumentar la confianza del equipo en sus despliegues.
8. Información sobre el rendimiento: los canary tests pueden revelar cómo afectan al rendimiento del sistema las nuevas funciones o los cambios.
9. Feedback de usuarios: puedes obtener comentarios valiosos de usuarios reales antes del lanzamiento completo.
10. Compatible con el despliegue continuo: los canary tests encajan bien con las prácticas de CI/CD y permiten actualizaciones frecuentes y de bajo riesgo.

Retos de los canary tests

Aunque los canary tests son muy potentes, también tienen sus retos:

1. Complejidad: configurar y gestionar canary tests puede ser complejo, sobre todo en sistemas grandes.
2. Uso intensivo de recursos: los canary tests requieren infraestructura y recursos de monitorización adicionales.
3. Posible sesgo: si no se diseñan con cuidado, los grupos canary pueden no ser representativos de toda tu base de usuarios.
4. Lanzamiento lento: la naturaleza gradual de los canary tests puede ralentizar el proceso de lanzamiento.
5. Falsos positivos/negativos: las muestras pequeñas a veces pueden dar resultados engañosos.
6. Confusión de los usuarios: los usuarios del grupo canary pueden notar incoherencias o cambios frecuentes.
7. Mayor carga operativa: gestionar varias versiones en producción puede ser complicado.
8. Coherencia de los datos: garantizar la coherencia de los datos entre distintas versiones puede ser complicado.
9. Desafíos de monitorización: puede ser difícil configurar una monitorización que capture con precisión el impacto de los cambios.
10. Toma de decisiones: interpretar los resultados de los canary tests y decidir cuándo avanzar con el lanzamiento completo puede ser un reto.

A pesar de estos retos, muchos equipos consideran que los beneficios de los canary tests superan con creces los inconvenientes.

¿Qué es un canary release?

Un canary release es una versión específica de tu software que se lanza a un pequeño subconjunto de usuarios como parte del proceso de canary testing. Es como un explorador que se envía a reconocer territorio nuevo antes de que llegue el grupo principal.

El objetivo de un canary release es:

1. Probar nuevas funciones o cambios en un entorno real de producción
2. Recopilar datos de rendimiento y feedback de los usuarios
3. Identificar posibles problemas antes de que afecten a todos los usuarios
4. Permitir un despliegue gradual y controlado de los cambios

Los canary releases pueden implementarse de forma distinta según se trate de aplicaciones web o móviles:

Canary releases en web

En las aplicaciones web, los canary releases suelen implicar:

1. Desplegar la nueva versión en un pequeño subconjunto de servidores
2. Dirigir un porcentaje del tráfico a esos servidores
3. Aumentar gradualmente el tráfico hacia la nueva versión si no se detectan problemas

Este enfoque permite revertir rápidamente los cambios simplemente redirigiendo el tráfico a la versión anterior si surgen problemas.

Canary releases en móvil

Los canary releases en móvil son algo más complicados por la naturaleza de las tiendas de aplicaciones. Algunas estrategias pueden ser:

1. Usar feature flags dentro de la app para controlar el acceso a las nuevas funciones
2. Lanzar versiones beta mediante TestFlight (iOS) o Google Play Beta Testing
3. Desplegar las actualizaciones gradualmente a un porcentaje de usuarios a través de la tienda de aplicaciones

Los canary releases en móvil suelen requerir más planificación y pueden ser más lentos de implementar debido a los procesos de aprobación de las tiendas de aplicaciones.

¿Debes ejecutar tus tests automatizados antes del canary testing?

¡Por supuesto! Ejecutar tests automatizados antes del canary testing es fundamental. Te explicamos por qué:

1. Detecta errores evidentes: los tests automatizados pueden detectar muchos problemas antes de que lleguen a usuarios reales.
2. Rendimiento de referencia: los tests automatizados ofrecen una base de rendimiento con la que comparar los resultados del canary.
3. Más confianza: superar los tests automatizados da al equipo más confianza en el lanzamiento canary.
4. Ahorro de tiempo y recursos: es mucho más barato y rápido corregir los problemas detectados por tests automatizados que los encontrados en producción.
5. Complemento del canary testing: los tests automatizados y el canary testing trabajan juntos para ofrecer un control de calidad integral.

Aunque el canary testing es excelente para detectar problemas del mundo real, no debería ser tu primera línea de defensa. Siempre se debe ejecutar un conjunto sólido de tests automatizados antes de que cualquier código llegue a producción, incluso en un lanzamiento canary.

Cabe destacar que el canary testing suele usarse junto con otras estrategias de testing, como los tests A/B. Mientras que los tests A/B se centran en comparar dos versiones para ver cuál funciona mejor (a menudo según métricas de negocio), el canary testing trata más bien de desplegar cambios de forma segura y detectar posibles problemas.

En el mundo de DevOps, donde el objetivo es acortar el ciclo de vida del desarrollo y ofrecer entrega continua, el canary testing desempeña un papel fundamental. Permite a los equipos mantener ciclos de lanzamiento rápidos sin renunciar a la calidad y la estabilidad.

Usar una herramienta de automatización de tests para ejecutar tests automatizados antes del canary testing

Para sacar el máximo partido a tus tests automatizados antes de los lanzamientos canary, considera usar una herramienta de automatización de tests robusta. Estas herramientas te ayudan a crear, gestionar y ejecutar tus tests de forma más eficiente.

Un ejemplo de este tipo de herramienta es Testsigma. Testsigma es una herramienta de automatización de tests basada en IA que te permite crear y ejecutar tests en plataformas web, móviles y de API. Ofrece funciones como:

• Creación de tests sin código
• Tests entre navegadores y dispositivos
• Integración con CI/CD
• Mantenimiento de tests con IA

Aunque Testsigma es solo una opción, hay muchas otras herramientas de automatización de tests excelentes. La clave es encontrar una que encaje bien con tu proceso de desarrollo y te facilite ejecutar tests completos antes de tus lanzamientos canary.

Recuerda: el objetivo es detectar el mayor número posible de problemas antes de que lleguen incluso a tus usuarios canary. Una buena herramienta de automatización de tests puede ayudarte a lograrlo.

Conclusión

El canary testing es una técnica potente para reducir riesgos y garantizar la calidad en los despliegues de software. Al lanzar los cambios gradualmente a un pequeño grupo de usuarios, los equipos pueden detectar posibles problemas a tiempo y tomar decisiones basadas en datos sobre lanzamientos más amplios.

Aunque conlleva algunos retos, los beneficios del canary testing suelen superar con creces sus inconvenientes. Permite validar los cambios en condiciones reales, respalda las prácticas de despliegue continuo y, en definitiva, conduce a una mejor experiencia de usuario.

A medida que los sistemas de software se vuelven más complejos y las expectativas de los usuarios siguen aumentando, técnicas como el canary testing serán cada vez más importantes. Tanto si gestionas una pequeña aplicación web como un sistema distribuido a gran escala, considera incorporar el canary testing a tu estrategia de despliegue. ¡Tus usuarios (y tus niveles de estrés) te lo agradecerán!

Preguntas frecuentes

P: ¿Cuáles son los beneficios de un lanzamiento canary?

R: Los lanzamientos canary ofrecen varios beneficios:

1. Menor riesgo de problemas generalizados
2. Detección temprana de problemas en un entorno real de producción
3. Posibilidad de recoger feedback de usuarios reales antes del despliegue completo
4. Lanzamiento gradual de los cambios, con mayor control
5. Mejor experiencia de usuario general al detectar los problemas a tiempo
6. Respaldo a las prácticas de despliegue continuo

P: ¿Por qué se llama testing "canary"?

R: El término "canary testing" viene de una antigua práctica de la minería del carbón. Los mineros llevaban canarios a las minas como sistema de alerta temprana ante gases peligrosos. Si el canario dejaba de cantar o moría, era la señal para que los mineros evacuaran. De forma similar, en el desarrollo de software, los tests canary funcionan como un sistema de alerta temprana ante posibles problemas en las nuevas versiones.

‍