Descripción general
El almacenamiento por niveles traslada los segmentos de log cerrados a almacenamiento de objetos y mantiene la ventana reciente en el disco local, lo que desvincula la retención del tamaño del NVMe aprovisionado. AceMQ evalúa si los patrones de lectura lo justifican y diseña la configuración y el dimensionamiento a partir del comportamiento medido.
Reto
Los equipos con un requisito de retención de varios meses o varios años sobredimensionan el disco local en todos los brokers o recortan la retención y pierden la capacidad de reprocesar. El almacenamiento por niveles lo resuelve, pero solo si la ventana de caché local se ajusta a cómo leen realmente los consumidores: un proceso de reconstrucción que reprocesa un topic desde el principio extrae grandes volúmenes del almacenamiento de objetos, y los costes de peticiones y de salida de datos resultantes sorprenden a quienes no los han modelado.
Entorno
Clústeres de Redpanda en Kubernetes o en instancias en la nube con NVMe local y almacenamiento de objetos compatible con S3, que dan servicio tanto a consumidores en streaming como a reprocesamientos históricos periódicos.
Enfoque
AceMQ perfila a lo largo del tiempo los offsets de lectura de los consumidores para medir hasta dónde llegan realmente y con qué frecuencia, lo que determina la ventana de caché local. Después, la retención se divide por topic en un nivel local caliente y un nivel frío en almacenamiento de objetos, y el coste de las lecturas remotas se modela con los patrones de reprocesamiento reales y no con el peor caso.
Solución
- Perfil de los offsets de lectura de los consumidores para medir la ventana real de datos recientes y la frecuencia de los reprocesamientos históricos profundos
- Retención dividida por topic entre el almacenamiento local caliente y los niveles remotos de almacenamiento de objetos
- Dimensionamiento del disco local y de la caché a partir de la ventana caliente medida, más margen para los episodios de lag de los consumidores
- Modelado de los costes de peticiones, salida de datos y ciclo de vida del almacenamiento de objetos con los patrones de reprocesamiento reales y no con el peor caso
- Validación del rendimiento de las lecturas remotas para los procesos por lotes y de analítica que reprocesan desde el nivel frío
- Validación de los procedimientos de recuperación y de recreación de topics contra el nivel remoto, incluida la reconstrucción del clúster desde el almacenamiento de objetos
Resultado final
Los clientes amplían la retención en un orden de magnitud sin un aumento proporcional del almacenamiento local, y el modelo de costes refleja el comportamiento de lectura medido. Los procedimientos de recuperación se validan antes de que hagan falta y no en pleno incidente.