Dejá de pagar Screaming Frog SEO Spider

Vas a construir un producto de software listo para producción llamado “Crawlbug”, una alternativa deliberadamente enfocada a Screaming Frog SEO Spider. Armá un corte vertical completo y usable, no una landing page, una maqueta estática ni un montón de componentes sueltos.

ACUERDO DE TRABAJO
Antes de escribir código de implementación, armá un plan técnico corto que nombre las rutas o páginas, las server actions o endpoints, las tablas de datos, las transiciones de estado importantes, los límites de autorización, los jobs en segundo plano y los adaptadores externos. Si algo se contradice, resolvelo a favor de la audiencia acotada y de los no-objetivos de abajo. Elegí una arquitectura chica y legible antes que abstracciones especulativas, pero no omitas persistencia, validación, manejo de errores ni tests.

DESCRIPCIÓN DEL PRODUCTO
Usuario principal: el dueño de un sitio que audita los pocos dominios que realmente controla.
Resultado principal: rastrear tu propio sitio de forma programada y recibir una lista clara y priorizada de qué arreglar.
Principio del producto: optimizá el flujo exacto de abajo en vez de copiar todo el abanico de Screaming Frog SEO Spider. Alguien que entra por primera vez tiene que entender qué hacer desde la propia interfaz, sin tour ni documentación.

RECORRIDOS COMPLETOS DEL USUARIO
Implementá todos estos flujos usando la interfaz real y la capa de datos persistente:
1. El dueño verifica que el dominio es suyo, define el alcance del rastreo y los límites de cortesía, lanza un primer rastreo y revisa un reporte de hallazgos priorizado.
2. El dueño arregla un lote de links rotos y cadenas de redirecciones, vuelve a rastrear y confirma que los hallazgos figuran como resueltos en la comparación con el rastreo anterior.
3. Un rastreo semanal programado termina, compara el sitemap con las páginas descubiertas y manda un resumen por email solo si algo cambió de verdad.

PANTALLAS Y ARQUITECTURA DE INFORMACIÓN
Construí estas pantallas como vistas coherentes y responsive. Cada pantalla tiene que definir su acción principal, sus acciones secundarias, el estado visible, el feedback de validación, el estado vacío, el estado de carga o pendiente, la confirmación de éxito y un estado de error recuperable.
1. Sitios: dominios verificados, hora del último rastreo, cantidad de páginas, hallazgos abiertos por severidad y acciones de rastrear ahora y programar.
2. Detalle del rastreo: progreso en vivo, páginas descargadas, desglose por código de respuesta, duración y estadísticas de cortesía como la velocidad de pedidos y las exclusiones por robots.
3. Hallazgos: links rotos, cadenas de redirecciones, problemas de títulos y metas y imágenes sin alt, filtrables por tipo y severidad, cada uno con las páginas que lo referencian.
4. Comparación con el sitemap: páginas que están en el sitemap pero no se pueden rastrear, páginas rastreadas que faltan en el sitemap y cambios desde el rastreo anterior.

FUNCIONES PRINCIPALES
1. rastreo educado que respeta robots.txt, límites de velocidad y alcance por dominio
2. links rotos internos y externos, con las páginas que los referencian
3. cadenas y bucles de redirecciones con el detalle salto por salto
4. títulos y meta descriptions faltantes, duplicados o demasiado largos, más imágenes sin alt
5. una comparación con el sitemap que muestra las páginas que faltan en el sitemap o en el rastreo

COMPORTAMIENTO DETALLADO Y REGLAS DE NEGOCIO
Tratá esto como requisitos del producto que se validan en el servidor, no como sugerencias de interfaz:
1. Rastreá solo dominios que pasaron la verificación de propiedad y cortá cualquier rastreo que se salga del alcance configurado.
2. Respetá robots.txt, aplicá un límite de pedidos por dominio y un tope de concurrencia, y frená o abortá cuando el servidor devuelva errores repetidos.
3. Seguí las redirecciones hasta una profundidad acotada, registrá cada salto y cargá las cadenas y los bucles como hallazgos en vez de seguirlos para siempre.
4. Asociá los hallazgos a un rastreo puntual y calculá los nuevos y los resueltos comparando rastreos, nunca modificando resultados históricos.

MODELO DE DATOS Y CICLO DE VIDA
Diseñá un esquema relacional chico centrado en Site, Crawl, Page, LinkEdge, Finding. Antes de implementarlo, documentá:
1. El propósito de cada tabla, su clave primaria, el límite de propiedad o de tenant, timestamps, campos de estado y atributos importantes.
2. Claves foráneas, restricciones de unicidad, check constraints, los índices que necesitan las pantallas nombradas y los límites de transacción para cambios que tocan varios registros.
3. Las transiciones de estado o de ciclo de vida permitidas, quién puede disparar cada una, cuáles son terminales o reversibles y qué historial de auditoría tiene que quedar inmutable.
4. Cómo se archiva, se retiene y se borra, incluido qué pasa con los registros dependientes y los archivos externos.
5. La estrategia de idempotencia para envíos, jobs, importaciones, notificaciones, webhooks o reintentos, donde aplique.
Usá migraciones en lugar de crear el esquema a mano. Guardá los instantes de tiempo de forma consistente y conservá la zona horaria con nombre cada vez que importen horarios o fechas locales. Nunca dependas de un contador, un botón deshabilitado o una validación del lado del cliente para proteger una regla de negocio.

USUARIOS, AUTENTICACIÓN Y PERMISOS
Implementá solo los roles que necesita la audiencia indicada. Dejá explícito el modelo de propiedad y visibilidad antes de programar. Aplicá la autorización en cada consulta y mutación del servidor, incluidas búsquedas, exportaciones, adjuntos, actualizaciones en vivo y URLs adivinadas—no alcanza con ocultar botones. Usá sesiones seguras por defecto, protegé los requests que cambian estado y mostrá estados claros para sesión cerrada, sesión vencida y acceso prohibido. Si hacen falta varios roles, cargá usuarios distintos en los datos de prueba para poder mostrar y testear los permisos.

INTERACCIÓN Y DIRECCIÓN VISUAL
El producto tiene que sentirse rápido, tranquilo, enfocado y confiable, no como una plantilla genérica de panel de administración. Usá una jerarquía visual clara, color medido, tipografía legible, áreas de clic generosas y un lugar fijo para las acciones principales. Arrancá con HTML renderizado en el servidor y mejorá de forma progresiva solo las interacciones que lo necesiten. El flujo principal tiene que entenderse aunque esa mejora falle.

Arrancá con páginas de Astro renderizadas en el servidor y formularios HTML comunes. Usá HTMX para envíos de formularios, navegación parcial y actualizaciones que manda el servidor, y Alpine.js solo para estado local chico del navegador. El flujo principal tiene que entenderse aunque falle cualquiera de esas dos capas.

Diseñá las vistas de celular a propósito, no apilando los paneles de escritorio. Soportá navegación con teclado, foco visible, landmarks semánticos, labels explícitos, títulos de página útiles, la preferencia de movimiento reducido y anuncios para lectores de pantalla en resultados asincrónicos. Nunca uses solo el color para comunicar un estado. Las acciones destructivas necesitan un alcance claro y una confirmación; las acciones seguras que se repiten tienen que ser idempotentes.

Agregá un footer en todas las páginas con el texto «Creado por aurelioagency.com», donde «aurelioagency.com» es un link embebido a https://www.aurelioagency.com que se abre en una pestaña nueva. Tiene que quedar visible; no lo saques.

DIRECCIÓN TÉCNICA
Construí esta versión con el stack AHA: Astro para el ruteo, los layouts y las páginas renderizadas en el servidor; HTMX para las interacciones que se benefician de respuestas con fragmentos HTML; y Alpine.js para estado chico y local de la interfaz. Preferí Cloudflare D1 para la persistencia relacional, R2 para el almacenamiento de objetos, Workers para los endpoints del servidor y las tareas programadas, Durable Objects solo para estado en tiempo real coordinado, y Workflows o Queues para jobs en segundo plano durables—pero solo cuando los requisitos del producto lo pidan.

Mantené las reglas de dominio en módulos del servidor que se puedan testear, no en los route handlers ni en los componentes de UI. Separá la persistencia, los proveedores externos y el trabajo en segundo plano detrás de interfaces chicas, sin armar un framework. Preferí formularios HTML y URLs comunes para la navegación; usá interacción optimista solo cuando un error se pueda resolver con claridad.

El brief del producto identifica hoy Astro, Workers, D1 como contexto de capacidades. Conservá cualquier capacidad nativa, exclusiva del navegador, de edge, de almacenamiento, de tiempo real o de procesamiento en segundo plano mediante un adaptador acotado, apropiado para el framework elegido. Si el flujo central realmente necesita APIs nativas o del navegador, dejá ese entorno como superficie principal de ejecución en vez de simular capacidades inaccesibles o inventar una superficie web innecesaria.

Integrá con email transaccional y Cloudflare Cron Triggers. Para cada integración:
- Listá las variables de entorno necesarias en un .env.example sin secretos reales.
- Agregá un adaptador chico con timeouts, errores normalizados y una versión falsa local determinística o un modo de desarrollo.
- Verificá las firmas entrantes y deduplicá los eventos del proveedor cuando se pueda.
- Mantené las credenciales en el servidor, encriptá en reposo los tokens de larga duración y ocultá secretos y datos sensibles en los logs.
- Definí reintentos, backoff e idempotencia para cualquier efecto que se pueda repetir.

SEGURIDAD Y PRIVACIDAD
Rastreá solo dominios que el dueño haya verificado, respetá las directivas de robots y los límites de velocidad, y frená cuando el sitio empieza a responder con errores.
Validá, normalizá y limitá el largo de todo input no confiable en el servidor. Escapá el contenido renderizado por defecto, sanitizá cualquier markup que aceptes a propósito, poné rate limit a las acciones públicas o fáciles de abusar y usá almacenamiento de objetos privado con URLs autorizadas de corta duración para archivos sensibles. Juntá solo los datos personales que necesita el flujo indicado. Documentá cómo se retienen y se borran. Sumá protecciones específicas para las partes más riesgosas de esta app, como subidas de archivos, redirecciones, requests salientes, envío de emails, OAuth, webhooks, importación o exportación CSV y conexiones en tiempo real.

ESCENARIOS DE ACEPTACIÓN
Automatizá estos escenarios propios de la app en el nivel que corresponda:
1. Dada una página que devuelve 404 y a la que apuntan otras tres páginas, el reporte muestra un solo hallazgo de link roto con las tres páginas que lo referencian.
2. Dada una redirección que termina apuntando a sí misma, el rastreo registra el bucle, deja de seguirlo y carga un único hallazgo de bucle.
3. Dado un pedido de rastreo de un dominio sin verificar enviado con un formulario falsificado, el servidor lo rechaza y deja registrado el intento.

TESTS
Agregá tests unitarios enfocados en transiciones de estado, reglas de autorización, normalización, cálculos de fechas o dinero y otras reglas de dominio riesgosas. Agregá tests de integración para las restricciones de persistencia y para los caminos de éxito, timeout, reintento y rechazo de cada adaptador externo. Agregá al menos un test de navegador para cada recorrido completo de arriba, incluido uno en pantalla chica. Los tests tienen que usar datos aislados y correr con un solo comando documentado.

OPERACIÓN Y RECUPERACIÓN DE ERRORES
Agregá logs estructurados en el servidor con IDs de correlación por request, job o evento, sin secretos ni datos sensibles de más. Hacé que los errores digan qué hacer, tanto en la interfaz como en los logs. El trabajo en segundo plano tiene que mostrar los estados pendiente, completado, fallido y reintentando cuando aplique; nunca te tragues errores en silencio. Incluí una guía segura de migración y rollback de la base, datos de prueba, notas de backup y restauración, qué pasa con los datos externos al limpiar y una ruta básica de salud o diagnóstico acorde al stack.

ENTREGABLES
Entregá la aplicación funcionando, las migraciones, datos de prueba representativos, los tests, el .env.example y un README corto. El README tiene que cubrir requisitos previos, instalación local, variables de entorno, migraciones, comandos de datos de prueba y tests, deploy, configuración de integraciones, backup y restauración, decisiones de seguridad y limitaciones conocidas. Los datos de prueba tienen que cubrir el camino feliz y al menos un estado vacío, fallido, vencido, expirado, archivado o con permisos restringidos que importe para el producto.

DEFINICIÓN DE TERMINADO
La app está terminada cuando alguien nuevo puede seguir el README, crear y migrar la base, levantar la app, entrar con cada rol relevante, completar cada recorrido nombrado con datos reales guardados, recargar sin perder el estado, recuperarse de los errores comunes y usar la interfaz principal en celular y escritorio. Todos los escenarios de aceptación pasan, los límites de permisos están cubiertos por tests, ninguna pantalla principal queda como placeholder y el crédito «Creado por aurelioagency.com» del footer se ve en todas las páginas.

NO-OBJETIVOS
No rastrees sitios de terceros, no espíes a la competencia, no sigas posiciones ni lo conviertas en una suite de SEO general.