Visão geral
Jobs Flink com centenas de gigabytes de estado por chave têm restrições operacionais que jobs pequenos não têm: reinícios levam um tempo considerável, mudanças de paralelismo exigem redistribuir o savepoint e uma chave mal escolhida concentra o estado em poucos task managers. A AceMQ desenha a camada de estado para que essas restrições continuem gerenciáveis à medida que o job cresce.
Desafio
Jobs com estado grande se tornam, aos poucos, impossíveis de implantar. Um savepoint demora tanto que um deploy de rotina passa a exigir janela de manutenção, então os deploys são agrupados e cada um carrega mais risco. O max parallelism ficou no valor padrão, então o job não pode ser reescalonado além de um limite fixo sem reconstruir todo o estado. A distribuição dos key groups é desigual porque a chave tem skew, e dois task managers fazem a maior parte do trabalho. O disco local foi dimensionado para o estado inicial, e não para o estado atual.
Ambiente
Apache Flink em Kubernetes com state backend RocksDB, estado por chave de grande volume e checkpoints ou savepoints em armazenamento de objetos.
Abordagem
A AceMQ mede o tamanho e a distribuição do estado por key group e por task manager e, depois, desenha a solução em torno dos requisitos operacionais: orçamento de tempo de reinício, faixa de paralelismo esperada e cadência de upgrades. O max parallelism e o número de key groups são definidos para a vida útil esperada do job, e não para o seu tamanho atual, e os caminhos de recuperação são testados, e não presumidos.
Solução
- Análise do tamanho do estado e da distribuição de key groups por operador e por task manager, para expor o skew de particionamento
- Dimensionamento do max parallelism e dos key groups para a faixa de escalabilidade esperada do job, e não para o tamanho no lançamento
- Configuração do RocksDB cobrindo managed memory, block cache, write buffers, estilo de compaction e layout das column families
- Dimensionamento do armazenamento local e escolha da classe de disco para os working sets do RocksDB e o staging de checkpoints
- Estratégia de savepoints, checkpoints retidos e recuperação local, com orçamentos de tempo de reinício medidos
- Runbook de reescalonamento e upgrade validado em ensaio, incluindo os caminhos de evolução do schema de estado
Resultado obtido
Os tempos de reinício e de reescalonamento se tornam previsíveis e limitados, então os deploys deixam de exigir janela de manutenção. A distribuição do estado se equilibra entre os task managers, o que elimina o comportamento de nó quente que vinha limitando o throughput.