Crawlen is het indexeren van de inhoud van jouw website door zoekmachines. Het aantal pagina’s die zoekmachines als Google crawlen over een bepaalde periode wordt crawl budget genoemd. De hoeveelheid pagina’s dat een zoekmachine crawled is afhankelijk van een diverse elementen: grootte website, aantal inkomende links, snelheid website,…