Volver a todos los casos de uso

EvaluaciónSoftware / Plataformas digitales

Deje de dimensionar NVMe local para datos que lee una vez por trimestre

Proveedor de plataforma de dispositivos conectados

Diseño de tiered storage para retención prolongada, de modo que los datos históricos vivan en almacenamiento de objetos sin que el disco local determine cuánto tiempo puede conservarlos.

Descripción general

El tiered storage mueve los segmentos de log cerrados a almacenamiento de objetos y mantiene la ventana reciente en el disco local, lo que desacopla la retención del tamaño del NVMe que usted aprovisionó. AceMQ evalúa si los patrones de lectura lo justifican y diseña la configuración y el dimensionamiento a partir del comportamiento medido.

Desafío

Los equipos que enfrentan un requisito de retención de varios meses o varios años sobreaprovisionan el disco local en todos los brokers, o bien recortan la retención y pierden la capacidad de hacer replay. El tiered storage resuelve esto, pero solo si la ventana de caché local coincide con la forma en que los consumidores realmente leen: un job de reconstrucción que hace replay desde el inicio de un topic trae grandes volúmenes desde el almacenamiento de objetos, y los costos de solicitudes y egress resultantes sorprenden a quienes no los modelaron.

Entorno

Clústeres de Redpanda sobre Kubernetes o instancias en la nube con NVMe local y almacenamiento de objetos compatible con S3, al servicio tanto de consumidores de streaming como de replays históricos periódicos.

Enfoque

AceMQ perfila los offsets de lectura de los consumidores a lo largo del tiempo para medir hasta dónde llegan realmente hacia atrás y con qué frecuencia, lo que determina la ventana de caché local. Luego la retención se divide por topic en un nivel local hot y un nivel cold de objetos, y el costo de lectura remota se modela con los patrones de replay reales y no con el peor caso.

Solución

  1. Perfilado de los offsets de lectura de los consumidores para medir la ventana de recencia real y la frecuencia de los replays históricos profundos
  2. División de la retención por topic entre el almacenamiento local hot y los niveles remotos de almacenamiento de objetos
  3. Dimensionamiento del disco local y de la caché a partir de la ventana hot medida, más margen para los eventos de consumer lag
  4. Modelado de los costos de solicitudes, egress y ciclo de vida del almacenamiento de objetos con los patrones de replay reales y no con el peor caso
  5. Validación del rendimiento de lectura remota para los jobs batch y de analítica que hacen replay desde el nivel cold
  6. Validación de los procedimientos de recuperación y recreación de topics frente al nivel remoto, incluida la reconstrucción del clúster a partir del almacenamiento de objetos

Resultado final

Los clientes extienden la retención en un orden de magnitud sin un aumento proporcional del almacenamiento local, y el modelo de costos refleja el comportamiento de lectura medido. Los procedimientos de recuperación se validan antes de necesitarlos y no durante un incidente.

Tecnologías

RedpandaApache KafkaKubernetesApache Spark

¿Listo para un health check de Redpanda?

Los ingenieros sénior de Redpanda de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.