Descripción general
El tiered storage mueve los segmentos de log cerrados a almacenamiento de objetos y mantiene la ventana reciente en el disco local, lo que desacopla la retención del tamaño del NVMe que usted aprovisionó. AceMQ evalúa si los patrones de lectura lo justifican y diseña la configuración y el dimensionamiento a partir del comportamiento medido.
Desafío
Los equipos que enfrentan un requisito de retención de varios meses o varios años sobreaprovisionan el disco local en todos los brokers, o bien recortan la retención y pierden la capacidad de hacer replay. El tiered storage resuelve esto, pero solo si la ventana de caché local coincide con la forma en que los consumidores realmente leen: un job de reconstrucción que hace replay desde el inicio de un topic trae grandes volúmenes desde el almacenamiento de objetos, y los costos de solicitudes y egress resultantes sorprenden a quienes no los modelaron.
Entorno
Clústeres de Redpanda sobre Kubernetes o instancias en la nube con NVMe local y almacenamiento de objetos compatible con S3, al servicio tanto de consumidores de streaming como de replays históricos periódicos.
Enfoque
AceMQ perfila los offsets de lectura de los consumidores a lo largo del tiempo para medir hasta dónde llegan realmente hacia atrás y con qué frecuencia, lo que determina la ventana de caché local. Luego la retención se divide por topic en un nivel local hot y un nivel cold de objetos, y el costo de lectura remota se modela con los patrones de replay reales y no con el peor caso.
Solución
- Perfilado de los offsets de lectura de los consumidores para medir la ventana de recencia real y la frecuencia de los replays históricos profundos
- División de la retención por topic entre el almacenamiento local hot y los niveles remotos de almacenamiento de objetos
- Dimensionamiento del disco local y de la caché a partir de la ventana hot medida, más margen para los eventos de consumer lag
- Modelado de los costos de solicitudes, egress y ciclo de vida del almacenamiento de objetos con los patrones de replay reales y no con el peor caso
- Validación del rendimiento de lectura remota para los jobs batch y de analítica que hacen replay desde el nivel cold
- Validación de los procedimientos de recuperación y recreación de topics frente al nivel remoto, incluida la reconstrucción del clúster a partir del almacenamiento de objetos
Resultado final
Los clientes extienden la retención en un orden de magnitud sin un aumento proporcional del almacenamiento local, y el modelo de costos refleja el comportamiento de lectura medido. Los procedimientos de recuperación se validan antes de necesitarlos y no durante un incidente.