Volver a todos los casos de uso

EvaluaciónSoftware / Plataformas digitales

Deje de dimensionar NVMe local para datos que lee una vez al trimestre

Proveedor de plataforma de dispositivos conectados

Diseño del almacenamiento por niveles para retenciones largas, de modo que los datos históricos residan en almacenamiento de objetos sin que el disco local determine cuánto tiempo pueden conservarse.

Descripción general

El almacenamiento por niveles traslada los segmentos de log cerrados a almacenamiento de objetos y mantiene la ventana reciente en el disco local, lo que desvincula la retención del tamaño del NVMe aprovisionado. AceMQ evalúa si los patrones de lectura lo justifican y diseña la configuración y el dimensionamiento a partir del comportamiento medido.

Reto

Los equipos con un requisito de retención de varios meses o varios años sobredimensionan el disco local en todos los brokers o recortan la retención y pierden la capacidad de reprocesar. El almacenamiento por niveles lo resuelve, pero solo si la ventana de caché local se ajusta a cómo leen realmente los consumidores: un proceso de reconstrucción que reprocesa un topic desde el principio extrae grandes volúmenes del almacenamiento de objetos, y los costes de peticiones y de salida de datos resultantes sorprenden a quienes no los han modelado.

Entorno

Clústeres de Redpanda en Kubernetes o en instancias en la nube con NVMe local y almacenamiento de objetos compatible con S3, que dan servicio tanto a consumidores en streaming como a reprocesamientos históricos periódicos.

Enfoque

AceMQ perfila a lo largo del tiempo los offsets de lectura de los consumidores para medir hasta dónde llegan realmente y con qué frecuencia, lo que determina la ventana de caché local. Después, la retención se divide por topic en un nivel local caliente y un nivel frío en almacenamiento de objetos, y el coste de las lecturas remotas se modela con los patrones de reprocesamiento reales y no con el peor caso.

Solución

  1. Perfil de los offsets de lectura de los consumidores para medir la ventana real de datos recientes y la frecuencia de los reprocesamientos históricos profundos
  2. Retención dividida por topic entre el almacenamiento local caliente y los niveles remotos de almacenamiento de objetos
  3. Dimensionamiento del disco local y de la caché a partir de la ventana caliente medida, más margen para los episodios de lag de los consumidores
  4. Modelado de los costes de peticiones, salida de datos y ciclo de vida del almacenamiento de objetos con los patrones de reprocesamiento reales y no con el peor caso
  5. Validación del rendimiento de las lecturas remotas para los procesos por lotes y de analítica que reprocesan desde el nivel frío
  6. Validación de los procedimientos de recuperación y de recreación de topics contra el nivel remoto, incluida la reconstrucción del clúster desde el almacenamiento de objetos

Resultado final

Los clientes amplían la retención en un orden de magnitud sin un aumento proporcional del almacenamiento local, y el modelo de costes refleja el comportamiento de lectura medido. Los procedimientos de recuperación se validan antes de que hagan falta y no en pleno incidente.

Tecnologías

RedpandaApache KafkaKubernetesApache Spark

¿Preparado para un health check de Redpanda?

Los ingenieros sénior de Redpanda de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.