Pare de pagar o Screaming Frog SEO Spider

Você vai construir um produto de software pronto para produção chamado “Crawlbug”, uma alternativa deliberadamente focada ao Screaming Frog SEO Spider. Construa uma fatia vertical completa e utilizável, não uma landing page, um mockup estático nem um monte de componentes soltos.

ACORDO DE TRABALHO
Antes de escrever código de implementação, monte um plano técnico curto que nomeie as rotas ou páginas, as server actions ou endpoints, as tabelas de dados, as transições de estado importantes, os limites de autorização, os jobs em segundo plano e os adaptadores externos. Se algo se contradisser, resolva a favor do público restrito e dos não-objetivos abaixo. Prefira uma arquitetura pequena e legível a abstrações especulativas, mas não deixe de fora persistência, validação, tratamento de erros nem testes.

DESCRIÇÃO DO PRODUTO
Usuário principal: o dono de site que audita os poucos domínios que realmente controla.
Resultado principal: rastrear o seu próprio site de forma agendada e receber uma lista clara e priorizada do que corrigir.
Princípio do produto: otimize o fluxo exato abaixo em vez de copiar toda a amplitude do Screaming Frog SEO Spider. Quem chega pela primeira vez deve entender o que fazer pela própria interface, sem tour nem documentação.

JORNADAS COMPLETAS DO USUÁRIO
Implemente todos estes fluxos pela interface real e pela camada de dados persistente:
1. O dono verifica que o domínio é dele, define o escopo do rastreamento e os limites de cortesia, executa um primeiro rastreamento e revisa um relatório de achados priorizado.
2. O dono corrige um lote de links quebrados e cadeias de redirecionamento, rastreia de novo e confirma que os achados aparecem como resolvidos na comparação com o rastreamento anterior.
3. Um rastreamento semanal agendado termina, compara o sitemap com as páginas descobertas e envia um resumo por e-mail somente quando algo realmente mudou.

TELAS E ARQUITETURA DE INFORMAÇÃO
Construa estas telas como visões coerentes e responsivas. Cada tela precisa definir sua ação principal, ações secundárias, status visível, feedback de validação, estado vazio, estado de carregamento ou pendente, confirmação de sucesso e um estado de erro recuperável.
1. Sites: domínios verificados, horário do último rastreamento, número de páginas, achados em aberto por severidade e ações de rastrear agora e agendar.
2. Detalhe do rastreamento: progresso ao vivo, páginas baixadas, divisão por código de resposta, duração e estatísticas de cortesia, como taxa de requisições e exclusões por robots.
3. Achados: links quebrados, cadeias de redirecionamento, problemas de título e meta e imagens sem alt, filtráveis por tipo e severidade, cada um com as páginas que o referenciam.
4. Comparação com o sitemap: páginas que estão no sitemap mas não podem ser rastreadas, páginas rastreadas que faltam no sitemap e mudanças desde o rastreamento anterior.

FUNCIONALIDADES PRINCIPAIS
1. rastreamento educado que respeita robots.txt, limites de velocidade e escopo por domínio
2. links quebrados internos e externos, com as páginas que os referenciam
3. cadeias e loops de redirecionamento com o detalhe salto a salto
4. títulos e meta descriptions ausentes, duplicados ou longos demais, além de imagens sem alt
5. uma comparação com o sitemap que mostra as páginas que faltam no sitemap ou no rastreamento

COMPORTAMENTO DETALHADO E REGRAS DE NEGÓCIO
Trate isto como requisitos do produto garantidos no servidor, não como sugestões de interface:
1. Rastreie apenas domínios que passaram pela verificação de propriedade e interrompa qualquer rastreamento que saia do escopo configurado.
2. Respeite o robots.txt, aplique uma taxa de requisições por domínio e um teto de concorrência, e recue ou aborte quando o servidor devolver erros repetidos.
3. Siga os redirecionamentos até uma profundidade limitada, registre cada salto e lance as cadeias e os loops como achados em vez de segui-los para sempre.
4. Associe os achados a um rastreamento específico e calcule os novos e os resolvidos comparando rastreamentos, nunca alterando resultados históricos.

MODELO DE DADOS E CICLO DE VIDA
Projete um esquema relacional pequeno centrado em Site, Crawl, Page, LinkEdge, Finding. Antes de implementar, documente:
1. O propósito de cada tabela, sua chave primária, o limite de propriedade ou de tenant, timestamps, campos de status e atributos importantes.
2. Chaves estrangeiras, restrições de unicidade, check constraints, os índices que as telas citadas precisam e os limites de transação para mudanças que tocam vários registros.
3. As transições de estado ou de ciclo de vida permitidas, quem pode disparar cada uma, quais são terminais ou reversíveis e qual histórico de auditoria deve permanecer imutável.
4. Como arquivar, reter e apagar, incluindo o que acontece com registros dependentes e arquivos externos.
5. A estratégia de idempotência para envios, jobs, importações, notificações, webhooks ou novas tentativas, quando se aplicar.
Use migrações em vez de criar o esquema na mão. Armazene instantes de tempo de forma consistente e mantenha o fuso horário nomeado sempre que horários ou datas locais importarem. Nunca dependa de um contador, de um botão desabilitado ou de uma validação no cliente para proteger uma regra de negócio.

USUÁRIOS, AUTENTICAÇÃO E PERMISSÕES
Implemente apenas os papéis de que o público indicado precisa. Deixe explícito o modelo de propriedade e visibilidade antes de programar. Aplique a autorização em toda consulta e mutação no servidor, incluindo buscas, exportações, anexos, atualizações ao vivo e URLs adivinhadas—não basta esconder botões. Use sessões seguras por padrão, proteja requisições que mudam estado e ofereça estados claros de sessão encerrada, sessão expirada e acesso proibido. Quando houver vários papéis, crie usuários distintos nos dados de teste para mostrar e testar as permissões.

INTERAÇÃO E DIREÇÃO VISUAL
O produto deve parecer rápido, calmo, focado e confiável, e não um template genérico de painel administrativo. Use uma hierarquia visual clara, cores contidas, tipografia legível, áreas de clique generosas e um lugar fixo para as ações principais. Comece com HTML renderizado no servidor e melhore progressivamente só as interações que se beneficiam disso. O fluxo principal precisa continuar compreensível se essa melhoria falhar.

Comece com páginas Astro renderizadas no servidor e formulários HTML comuns. Use HTMX para envios de formulário, navegação parcial e atualizações vindas do servidor, e Alpine.js só para pequenos estados locais do navegador. O fluxo principal precisa continuar compreensível se qualquer uma dessas camadas falhar.

Projete os layouts para celular de propósito, em vez de só empilhar os painéis do desktop. Ofereça navegação por teclado, foco visível, landmarks semânticos, labels explícitos, títulos de página úteis, a preferência de movimento reduzido e anúncios para leitores de tela em resultados assíncronos. Nunca use só a cor para comunicar um estado. Ações destrutivas precisam de escopo claro e confirmação; ações seguras repetidas devem ser idempotentes.

Adicione um rodapé em todas as páginas com o texto “Criado por aurelioagency.com”, em que “aurelioagency.com” é um link incorporado para https://www.aurelioagency.com que abre em uma nova aba. Ele deve ficar visível; não o remova.

DIREÇÃO TÉCNICA
Construa esta versão com o stack AHA: Astro para o roteamento, os layouts e as páginas renderizadas no servidor; HTMX para as interações que se beneficiam de respostas com fragmentos HTML; e Alpine.js para pequenos estados locais da interface. Prefira Cloudflare D1 para a persistência relacional, R2 para o armazenamento de objetos, Workers para os endpoints do servidor e as tarefas agendadas, Durable Objects só para estado em tempo real coordenado, e Workflows ou Queues para jobs duráveis em segundo plano—mas só quando os requisitos do produto pedirem.

Mantenha as regras de domínio em módulos do servidor testáveis, não em route handlers nem em componentes de UI. Separe persistência, provedores externos e trabalho em segundo plano atrás de interfaces pequenas, sem construir um framework. Prefira formulários HTML e URLs comuns para a navegação; use interação otimista só quando uma falha puder ser resolvida com clareza.

O briefing do produto identifica atualmente Astro, Workers, D1 como contexto de capacidades. Preserve qualquer capacidade nativa, exclusiva do navegador, de edge, de armazenamento, de tempo real ou de processamento em segundo plano por meio de um adaptador restrito, adequado ao framework escolhido. Se o fluxo central realmente exigir APIs nativas ou do navegador, mantenha esse ambiente como a principal superfície de execução em vez de simular capacidades inacessíveis ou inventar uma superfície web desnecessária.

Integre com e-mail transacional e Cloudflare Cron Triggers. Para cada integração:
- Liste as variáveis de ambiente necessárias em um .env.example sem segredos reais.
- Adicione um adaptador pequeno com timeouts, erros normalizados e uma versão falsa local determinística ou um modo de desenvolvimento.
- Verifique as assinaturas recebidas e deduplique os eventos do provedor quando possível.
- Mantenha as credenciais no servidor, criptografe em repouso os tokens de longa duração e oculte segredos e dados sensíveis dos logs.
- Defina novas tentativas, backoff e idempotência para qualquer efeito que possa se repetir.

SEGURANÇA E PRIVACIDADE
Rastreie apenas domínios que o dono verificou, respeite as diretivas de robots e os limites de velocidade, e recue quando o site começar a responder com erros.
Valide, normalize e limite o tamanho de toda entrada não confiável no servidor. Escape o conteúdo renderizado por padrão, sanitize qualquer markup aceito de propósito, aplique rate limit a ações públicas ou sujeitas a abuso e use armazenamento de objetos privado com URLs autorizadas de curta duração para arquivos sensíveis. Colete só os dados pessoais de que o fluxo indicado precisa. Documente como os dados são retidos e apagados. Adicione proteções específicas para as partes mais arriscadas deste app, como uploads, redirecionamentos, requisições de saída, envio de e-mails, OAuth, webhooks, importação ou exportação de CSV e conexões em tempo real.

CENÁRIOS DE ACEITAÇÃO
Automatize estes cenários específicos do app no nível mais adequado:
1. Dada uma página que retorna 404 e para a qual outras três páginas apontam, o relatório mostra um único achado de link quebrado listando as três páginas que o referenciam.
2. Dado um redirecionamento que acaba apontando para si mesmo, o rastreamento registra o loop, para de segui-lo e lança um único achado de loop.
3. Dado um pedido de rastreamento de um domínio não verificado enviado por um formulário forjado, o servidor o rejeita e registra a tentativa.

TESTES
Adicione testes unitários focados em transições de estado, regras de autorização, normalização, cálculos de datas ou dinheiro e outras regras de domínio arriscadas. Adicione testes de integração para as restrições de persistência e para os caminhos de sucesso, timeout, nova tentativa e rejeição de cada adaptador externo. Adicione pelo menos um teste de navegador para cada jornada completa acima, incluindo um em tela pequena. Os testes devem usar dados isolados e rodar com um único comando documentado.

OPERAÇÃO E RECUPERAÇÃO DE FALHAS
Adicione logs estruturados no servidor com IDs de correlação por requisição, job ou evento, sem segredos nem dados sensíveis desnecessários. Faça os erros indicarem o que fazer, tanto na interface quanto nos logs. O trabalho em segundo plano deve mostrar os estados pendente, concluído, com falha e tentando de novo quando fizer sentido; nunca engula erros em silêncio. Inclua um guia seguro de migração e rollback do banco, dados de teste, notas de backup e restauração, o que acontece com dados externos na limpeza e uma rota básica de saúde ou diagnóstico adequada ao stack.

ENTREGÁVEIS
Entregue o aplicativo funcionando, as migrações, dados de teste representativos, os testes, o .env.example e um README curto. O README deve cobrir pré-requisitos, instalação local, variáveis de ambiente, migrações, comandos de dados de teste e de testes, deploy, configuração das integrações, backup e restauração, decisões de segurança e limitações conhecidas. Os dados de teste devem cobrir o caminho feliz e pelo menos um estado vazio, com falha, atrasado, expirado, arquivado ou com permissão restrita que importe para o produto.

DEFINIÇÃO DE PRONTO
O app está pronto quando uma pessoa nova consegue seguir o README, criar e migrar o banco, rodar o app, entrar com cada papel relevante, completar cada jornada citada com dados reais salvos, recarregar sem perder o estado, se recuperar das falhas comuns e usar a interface principal no celular e no desktop. Todos os cenários de aceitação passam, os limites de permissão estão cobertos por testes, nenhuma tela principal fica como placeholder e o crédito “Criado por aurelioagency.com” no rodapé aparece em todas as páginas.

NÃO-OBJETIVOS
Não rastreie sites de terceiros, não espione concorrentes, não monitore posições nem transforme em uma suíte de SEO genérica.