Przegląd
Wolumen telemetrii pobieranej przez dostawcę SaaS rósł znacznie szybciej niż jego biznes, a za ten wzrost nikt wyraźnie nie odpowiadał. AceMQ pomogło przypisać wolumen do źródeł, usunąć to, z czego nic nie korzystało, i wprowadzić mechanizmy kontroli w warstwie zbierania danych, tak aby redukcja okazała się trwała.
Wyzwanie
W wolumenie dominowało kilka źródeł: rozwlekłe logi frameworków przekazywane na poziomie debug, niestandardowe zdarzenia emitowane przy każdym żądaniu, które zawsze były wyłącznie agregowane, oraz metryki infrastruktury zbierane w znacznie gęstszym interwale, niż prezentował jakikolwiek dashboard. Nikt nie widział, telemetria którego zespołu odpowiada za jaką część rachunku, więc rozmowy o kosztach do niczego nie prowadziły, a wzrost trwał kwartał po kwartale.
Środowisko
New Relic w wielokontowym środowisku AWS z obciążeniami na Kubernetes i kilkoma autonomicznymi zespołami produktowymi.
Podejście
AceMQ nie obsługuje platformy dostawcy — pomagamy klientom decydować o tym, co opuszcza ich infrastrukturę, i to kontrolować. W ramach projektu przypisujemy wolumen do zespołów i źródeł, sprawdzamy, co jest faktycznie odpytywane, oraz wdrażamy reguły odrzucania (drop rules) i próbkowanie w warstwie zbierania danych, gdzie działają niezależnie od tego, co emitują poszczególne aplikacje.
Rozwiązanie
- Przypisanie wolumenu do zespołów, usług i typów telemetrii, aby koszt miał właściciela, a nie był tylko sumą
- Zestawienie z wykorzystaniem zapytań i dashboardów w celu wskazania telemetrii, która jest pobierana, ale nigdy nie jest wykorzystywana
- Reguły odrzucania zastosowane w warstwie zbierania danych dla klas logów i zdarzeń, o których wykazano, że nikt z nich nie korzysta
- Korekta poziomów przekazywania logów u źródła i usunięcie wyjścia debug pozostawionego po dawnych incydentach
- Dopasowanie interwałów zbierania metryk infrastruktury do rozdzielczości faktycznie używanej przez dashboardy i alerty
- Budżety wolumenu dla poszczególnych zespołów wraz z monitoringiem, dzięki któremu zmiana w logowaniu ujawnia się jako alert, a nie jako faktura
Efekt
Pobierany wolumen spadł o mniej więcej czterdzieści procent, a żaden dashboard ani alert nie stracił źródła danych. Ponieważ wolumen jest teraz przypisany do zespołów i objęty budżetem, wzrost jest widoczną decyzją, a nie kwartalną niespodzianką.