Vea cómo los motores de búsqueda de IA leen su sitio web.
Escanee su sitio web en segundos para verificar si ChatGPT, Claude, Gemini y Perplexity pueden descubrir, analizar y citar su contenido. Obtenga una puntuación de preparación instantánea con correcciones claras para copiar y pegar.
Auditorías de IA exhaustivas
Auditorías ponderadas en más de 25 parámetros que determinan cómo los agentes de búsqueda analizan las estructuras de sus páginas.
Descubrimiento de IA
Busque llms.txt, agents.json, mapas del sitio, fuentes RSS y etiquetas canónicas.
Comprensión de IA
Detecte esquemas JSON-LD, etiquetas de página de preguntas frecuentes, HTML semántico y texto alternativo de imágenes.
SEO técnico
Verifique HTTPS, parámetros de ventana gráfica, estructuras de títulos y meta descripciones.
Accesibilidad de IA
Audite los bloqueos de robots.txt para GPTBot, ClaudeBot, PerplexityBot y Bytespider.
Rendimiento
Compruebe las velocidades de respuesta del servidor (TTFB), el tamaño de la carga útil de la página y los riesgos de renderizado de JS del lado del cliente.
Probabilidad de citación
Modelos de puntuación heurística que estiman la visibilidad y las métricas de citación por agente de búsqueda.
El canal de escaneo
Obtener contexto del sitio
Obtenemos su HTML a través de un extractor de servidor seguro y protegido contra SSRF, descargando robots.txt, sitemap.xml, llms.txt y agents.json.
Análisis de estructura
Los analizadores estructurales de Cheerio decodifican esquemas JSON-LD, estructura de encabezados, descriptores de imágenes y bloqueos de robots.
Puntuación de preparación
Calculamos un índice de rendimiento ponderado (0-100%) y ejecutamos algoritmos personalizados para ChatGPT, Claude, Perplexity y Gemini.
Precios y Planes
Comience a escanear gratis. Actualice cuando la visibilidad web basada en agentes se vuelva crítica para el negocio.
Gratuito
Ideal para desarrolladores individuales que auditan sitios personales.
- 3 escaneos en total
- Informes de auditoría completos
- Plantillas de corrección precargadas
- Validación de seguridad SSRF
Pro
Perfecto para startups de SaaS en crecimiento y creadores independientes.
- Escaneos ilimitados
- Comparación lado a lado
- Insignias SVG integrables
- Velocidad de rastreo prioritaria
- Auditorías de cadena de redireccionamiento
Agencia
Diseñado para agencias, empresas de SEO y equipos más grandes.
- Informes PDF de marca blanca
- Acceso a la API para desarrolladores
- Monitoreo de múltiples dominios
- Alertas automáticas por correo electrónico
- Soporte prioritario 24/7
AI Crawler Checker: The Technical Blueprint
Managing how LLM crawlers interact with your origin server requires a strategic configuration of edge firewalls, robots.txt rules, and structured semantic templates. Use this guide to audit your setups, check if website blocks ai, and learn how to optimize visibility.
01. Crawler Auditing & Diagnostics
Using our free ai crawler checker and online ai bot tester, developers can run an accurate ai crawl check to dissect headers, TLS versions, and server status codes. This system behaves as a combined chatgpt bot checker and claudebot checker, identifying user-agent requests from agents like GPTBot or ClaudeBot.
An expert-level perplexity user agent audit analyzes if Perplexity's real-time retriever, PerplexityBot, faces blockage. A typical diagnostic scan checks if your origin server returns 403 Forbidden or 429 Too Many Requestsstatus codes, verifying your site's availability.
- User-Agent Verification: Validate token request headers.
- Status Codes: Ensure dynamic crawler requests return 200 OK.
- CDN Firewalls: Check if Edge rules block AI scraping requests.
02. Blocking vs. Optimizing Search Visibility
If your goal is to protect website from ai scraping, you must configure a robust prevent ai data training tool. Many sites implement a block llm scrapers tool using Cloudflare WAF or local server configurations to filter out training bots.
However, blocking everything will hide your website from next-generation AI search engines. Our platform allows you to check website ai readiness so you can strategically block training scrapers while you allow chatgpt search bot (OAI-SearchBot) and Google's extended agents to maintain visibility in search engines. Using this comprehensive ai crawler checker tool and ai bot checker, you retain complete authority over your content.
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
AI User-Agents & Crawl Directives Breakdown
A comparison table displaying how user-agents behave and which configurations govern their access.
| User-Agent Token | Crawl Category | Standard Behavior | Control Mechanism | Optimal Setting |
|---|---|---|---|---|
| GPTBot | LLM Training Scraper | Scrapes text content to train OpenAI models. | Robots.txt / IP block | Disallow: / |
| OAI-SearchBot | Real-time Search Retriever | Retrieves real-time answers for SearchGPT queries. | Robots.txt directive | Allow: / |
| ClaudeBot | LLM Training & Search | Crawls content for Anthropic's Claude platforms. | Robots.txt / WAF rule | Disallow (if training) |
| PerplexityBot | Real-time Search Indexer | Fetches live content for Perplexity AI answers. | User-Agent matching | Allow: / |
| Google-Extended | Gemini Data training | Indexes web pages for Gemini model training. | Robots.txt directive | Allow / Disallow |
Robots.txt Auditing
To prevent unapproved ingestion, it is critical to test robots.txt for ai agents. Be sure to check the capitalization of headers like User-agent and Disallow, as malformed text can render rules ineffective.
LLMs.txt Deployment
Configure your directory layout with our llms.txt checker. Adding a clean markdown file at the root (/llms.txt) provides a concise, high-context map of your site's structure, allowing AI search engines to scan your content efficiently.
AI Crawl Check Metrics
Verify parameters such as semantic layouts, structured JSON-LD schemas, and viewport sizing to check ai search visibility. A well-formatted metadata and navigation structure translates directly to higher inclusion rates in search replies.
FAQ
¿Qué es la preparación para la IA?+
La preparación para la IA mide la eficacia con la que los modelos de búsqueda como ChatGPT, Claude, Perplexity y Gemini pueden rastrear, analizar, resumir y citar el contenido de su sitio web.
¿Cómo funciona el escáner?+
Nuestro módulo de obtención del servidor recupera la página de inicio de su sitio web y rastrea los archivos asociados (/robots.txt, /llms.txt, /sitemap.xml, /agents.json) para analizar metadatos, encabezados, puntos de referencia semánticos y esquemas.
¿Necesito registrarme para ver los informes?+
No. El escáner genera una URL única y compartible para cada página escaneada, lo que permite el acceso público y el intercambio sin credenciales.
¿Cómo se calcula la probabilidad de citación?+
Realizamos una serie de comprobaciones ponderadas (por ejemplo, el esquema de preguntas frecuentes, la calidad del texto alternativo, los permisos de robots, la disponibilidad de llms.txt) para evaluar si los rastreadores pueden hacer referencia a sus enlaces.