Acompanhamento da coleta
Coletas assíncronas, página a página, com checkpoint após cada página — falhas da fonte externa nunca derrubam o SmartMAP.
Progresso da coleta atual
50%
2 de 4 páginas
Registros coletados
2.140
96 duplicados descartados por hash
Registros inválidos
12
Classificados individualmente; a página nunca é descartada inteira
Checkpoint
página 3
Coletas interrompidas retomam do último checkpoint
Hortifrúti — agricultura familiar (chamada pública)
Métricas por página
Duração e volume de cada página são armazenados para monitoramento da fonte externa
| Página | Duração | Volume | Registros | Inválidos | Situação |
|---|---|---|---|---|---|
| 1 | 5.89 s | 2.20 MB | 1.070 | 5 | Concluída |
| 2 | 6.42 s | 2.18 MB | 1.070 | 7 | Concluída |
| 3 | — | — | — | — | Na fila |
| 4 | — | — | — | — | Na fila |
Proteções ativas
Concorrência 1 contra a fonte
As páginas são solicitadas uma a uma; nunca em paralelo contra a SEFAZ/AL.
Anti-loop de paginação
Se a página retornada divergir da solicitada repetidamente, a coleta é interrompida como inconsistente.
Limite interno de volume
Máximo de páginas e de registros por pesquisa; respostas acima do limite geram alerta.
Deduplicação por hash
Registros repetidos entre páginas e coletas são marcados como DUPLICATE e não inflam a amostra.
Resultados parciais
Cancelamentos e falhas preservam o que já foi coletado, com status PARTIAL e alerta gerencial.
Circuit breaker
Indisponibilidade prolongada da fonte abre o circuito e pausa novas tentativas por um período.