Retour à tous les cas d'usage

SupportMultisectoriel

Support ClickHouse 24/7 avec des ingénieurs seniors et des objectifs de réponse à partir de 15 minutes, selon le plan

Fournisseur d'analytique de cybersécurité

Support continu de clusters ReplicatedMergeTree couvrant les blocages de la file de réplication, les échecs de requêtes volumineuses dus aux limites de mémoire et l'accumulation de mutations.

Présentation

Un fournisseur d'analytique de sécurité exploitait des tables ReplicatedMergeTree sur un cluster à plusieurs shards. Les files de réplication se bloquaient derrière des entrées coincées, les requêtes ad hoc des analystes atteignaient les limites de mémoire et échouaient, et les mutations de suppression s'accumulaient sans jamais aboutir. AceMQ a repris le support avec des ingénieurs seniors attitrés, sans tri de niveau 1.

Défi

Les modes de défaillance de ClickHouse sont peu familiers aux équipes habituées aux bases de données orientées lignes. Une entrée bloquée dans la file de réplication bloque tout ce qui se trouve derrière elle et exige une intervention délibérée. On répondait aux échecs de requêtes d'analystes liés aux limites de mémoire en relevant ces limites, ce qui poussait au contraire le cluster vers une pression mémoire au niveau des hôtes. Les mutations étaient lancées comme de simples suppressions de routine, sans tenir compte du coût de réécriture qu'elles imposent.

Environnement

ClickHouse sur Kubernetes avec coordination par ClickHouse Keeper, au service de la recherche et de l'analytique d'événements de sécurité.

Approche

AceMQ a établi des procédures de diagnostic pour chaque catégorie de défaillance récurrente, afin que l'équipe du client puisse traiter directement les cas courants et réserver l'escalade aux incidents réellement inédits. Des contrôles au niveau des requêtes ont remplacé les hausses généralisées des limites de mémoire, et la pratique des mutations a été encadrée par une politique.

Solution

  1. Élaboration de procédures de diagnostic et de rétablissement pour les entrées bloquées de la file de réplication et les problèmes de session Keeper
  2. Remplacement des hausses généralisées des limites de mémoire par des limites par requête et par utilisateur, avec un débordement contrôlé sur disque
  3. Réécriture des requêtes d'analystes les plus coûteuses pour utiliser des projections et des tables d'agrégats au lieu de scans complets
  4. Mise en place d'une politique de mutations couvrant le regroupement, la planification et les cas où l'expiration par TTL est l'outil le plus adapté
  5. Instrumentation du retard de réplication, de l'arriéré de mutations et de l'utilisation mémoire par requête comme signaux suivis
  6. Escalade 24/7 directement vers des ingénieurs ClickHouse seniors, avec des objectifs de réponse à partir de 15 minutes, selon le plan

Résultat obtenu

Les blocages de réplication sont désormais détectés et résolus avant d'affecter les résultats des requêtes, et les échecs de requêtes liés à la mémoire ne représentent plus qu'une petite fraction de leur niveau antérieur. L'équipe du client résout la plupart des cas récurrents à l'aide des runbooks, sans escalade.

Technologies

ClickHouseClickHouse KeeperKubernetesPrometheus

Besoin d'un support ClickHouse expert ?

Les ingénieurs ClickHouse seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.