Présentation
Un fournisseur d'analytique de sécurité exploitait des tables ReplicatedMergeTree sur un cluster à plusieurs shards. Les files de réplication se bloquaient derrière des entrées coincées, les requêtes ad hoc des analystes atteignaient les limites de mémoire et échouaient, et les mutations de suppression s'accumulaient sans jamais aboutir. AceMQ a repris le support avec des ingénieurs seniors attitrés, sans tri de niveau 1.
Défi
Les modes de défaillance de ClickHouse sont peu familiers aux équipes habituées aux bases de données orientées lignes. Une entrée bloquée dans la file de réplication bloque tout ce qui se trouve derrière elle et exige une intervention délibérée. On répondait aux échecs de requêtes d'analystes liés aux limites de mémoire en relevant ces limites, ce qui poussait au contraire le cluster vers une pression mémoire au niveau des hôtes. Les mutations étaient lancées comme de simples suppressions de routine, sans tenir compte du coût de réécriture qu'elles imposent.
Environnement
ClickHouse sur Kubernetes avec coordination par ClickHouse Keeper, au service de la recherche et de l'analytique d'événements de sécurité.
Approche
AceMQ a établi des procédures de diagnostic pour chaque catégorie de défaillance récurrente, afin que l'équipe du client puisse traiter directement les cas courants et réserver l'escalade aux incidents réellement inédits. Des contrôles au niveau des requêtes ont remplacé les hausses généralisées des limites de mémoire, et la pratique des mutations a été encadrée par une politique.
Solution
- Élaboration de procédures de diagnostic et de rétablissement pour les entrées bloquées de la file de réplication et les problèmes de session Keeper
- Remplacement des hausses généralisées des limites de mémoire par des limites par requête et par utilisateur, avec un débordement contrôlé sur disque
- Réécriture des requêtes d'analystes les plus coûteuses pour utiliser des projections et des tables d'agrégats au lieu de scans complets
- Mise en place d'une politique de mutations couvrant le regroupement, la planification et les cas où l'expiration par TTL est l'outil le plus adapté
- Instrumentation du retard de réplication, de l'arriéré de mutations et de l'utilisation mémoire par requête comme signaux suivis
- Escalade 24/7 directement vers des ingénieurs ClickHouse seniors, avec des objectifs de réponse à partir de 15 minutes, selon le plan
Résultat obtenu
Les blocages de réplication sont désormais détectés et résolus avant d'affecter les résultats des requêtes, et les échecs de requêtes liés à la mémoire ne représentent plus qu'une petite fraction de leur niveau antérieur. L'équipe du client résout la plupart des cas récurrents à l'aide des runbooks, sans escalade.