Vertalingen vooraf laden met de scraper
Clonable vertaalt een pagina via de reverse proxy zodra iemand die pagina opent. Bij het eerste bezoek moeten de vertalingen nog worden gemaakt, waardoor de pagina langzamer kan laden.
Met de scraper kunt u vertalingen vooraf laden. De scraper opent de pagina's uit de sitemap van uw clone, zodat de vertalingen al worden gemaakt voordat bezoekers deze pagina's openen.
Voordat u begint
- Sluit eerst de pagina's uit die u niet wilt meenemen. Uitgesloten pagina's worden ook niet meegeteld in het totale aantal te scrapen pagina's.
- Zorg dat uw clone niet op no index staat. Schakel no index uit voordat u de scraper gebruikt.
De scraper gebruiken
- Voer de sitemap-URL van uw clone in bij de scraper.
- Wacht tot Clonable de sitemap heeft gevalideerd en de pagina's heeft geteld. Bij een grote sitemap kan dit even duren.
- Zodra de status Ready to scrape verschijnt, kunt u de scraper starten.
- Volg de status van de scrapejob. Vernieuw de pagina tijdens het scrapen om de bijgewerkte status te zien.
Hoe lang duurt het scrapen?
De scraper opent één pagina per 30 seconden. Reken voor 100 pagina's op ongeveer 50 minuten en voor 1.000 pagina's op ongeveer 8 uur en 20 minuten. Het scannen van de sitemap en het starten van de scraper kosten daarnaast tijd.
Statussen van een scrapejob
| Status | Betekenis |
|---|---|
| New | De sitemap is gevalideerd en wacht tot het tellen begint. |
| Scanning sitemap | Clonable telt de pagina's in uw sitemap. Hoe groter de sitemap, hoe langer dit kan duren. |
| Ready to scrape | Het tellen is klaar. Uitgesloten pagina's zijn niet opgenomen in het totaal. De job is klaar om te starten. |
| Sitemap error | De scraper kon niet starten door een fout met de sitemap. Controleer of u de juiste sitemap-URL van uw clone heeft ingevoerd en of de sitemap bereikbaar is. |
| Starting scraper | De scraper wordt gestart en begint binnenkort met het openen van pagina's. |
| Scraping | De scraper opent uw pagina's om vertalingen vooraf te laden. Vernieuw de pagina om de bijgewerkte status te zien. |
| Completed | De scrapejob is afgerond. |
Opnieuw scrapen
U kunt een nieuwe scrapejob starten zodra de vorige is afgerond. Dit is bijvoorbeeld handig als u veel nieuwe pagina's heeft toegevoegd en de vertalingen daarvan ook vooraf wilt laden. Zorg dat deze pagina's in de sitemap van uw clone staan.
User agent
De scraper gebruikt de volgende user agent bij het openen van de URL's uit uw sitemap:
Mozilla/5.0 (compatible; ClonableSearchBot/1.0; +https://www.clonable.net)
Als uw website beveiligingsregels gebruikt die bots beperken, zorg er dan voor dat de scraper toegang heeft tot de pagina's die u vooraf wilt laden.