Naar de inhoud

Master CELSA Mines

Communication, numérique et technologies

Hoe gebruik je een sitemap om de bronnen van een website eenvoudig te verkennen?

Een XML-sitemap is meer dan een passief bestand dat in de hoofdmap van een server wordt geplaatst. Bij correct gebruik wordt het een audittool,…

Femme analysant un diagramme de sitemap web imprimé sur un bureau en bois dans un bureau à domicile moderne

Een XML-sitemap is meer dan een passief bestand dat in de hoofdmap van een server wordt geplaatst. Bij correct gebruik wordt het een hulpmiddel voor audits, diagnoses en verkenning dat veel verder reikt dan SEO. Als je begrijpt hoe het intern werkt, kun je er informatie uit halen die je niet ontdekt door een website op de gebruikelijke manier te doorzoeken.

De sitemap gebruiken als hulpmiddel voor een structuurcontrole

De eerste praktische toepassing van een sitemap, die in algemene handleidingen vaak over het hoofd wordt gezien, is het vergelijken van de URL’s die erin staan met de URL’s die daadwerkelijk via de interne links bereikbaar zijn. Een verschil tussen deze twee verzamelingen wijst op weespagina’s of pagina’s met gebrekkige interne links.

Download het XML-bestand (meestal bereikbaar via /sitemap.xml of /sitemap_index.xml) en vergelijk het vervolgens met een volledige crawl van de website. Zo kun je drie categorieën onderscheiden: URL’s die zowel in de sitemap als in de crawl voorkomen, URL’s die alleen in de sitemap staan (geïsoleerde pagina’s) en URL’s die wel zijn gecrawld maar niet in de sitemap staan (vergeten URL’s).

Deze inventarisatiemethode werkt voor elke openbare website. Zo geeft de sitemap van Mon Habitat de volledige sitestructuur weer, zodat je snel een overzicht krijgt van de gepubliceerde content zonder elke rubriek handmatig te hoeven doorzoeken.

Voor grote websites raden we aan deze vergelijking te automatiseren met een spreadsheet of een script dat de XML parseert en vergelijkt met de URL’s uit de crawl. Zo komen problemen met de interne linkstructuur aan het licht voordat ze de indexering beïnvloeden.

Mannelijke webontwikkelaar raadpleegt staand een visuele sitemaptool op twee schermen in een open kantoorruimte

De lastmod-tag in een XML-sitemap: betrouwbaarheid en valkuilen

De tag <lastmod> geeft de datum van de laatste daadwerkelijke wijziging van een pagina aan. Google kan deze gebruiken om een nieuwe crawl prioriteit te geven, maar alleen als de datum overeenkomt met een echte inhoudelijke wijziging. De waarde van lastmod bij elke technische implementatie bijwerken zonder de redactionele inhoud te wijzigen, is hetzelfde als een storend signaal versturen.

De meest voorkomende valkuil: een CMS dat de datum van lastmod automatisch opnieuw genereert wanneer een template wordt gewijzigd of een plugin wordt bijgewerkt. Als de datums niet overeenkomen met daadwerkelijke wijzigingen in de content, negeert de zoekmachine de tag uiteindelijk voor het hele domein.

De consistentie van datums controleren

Door de opgegeven lastmod-datum te vergelijken met de zichtbare wijzigingsdatum op de pagina (of met de HTTP-header Last-Modified) kun je inconsistenties opsporen. Een structureel verschil tussen deze twee waarden wijst op een configuratieprobleem in het CMS.

  • Gebruik de lastmod-tag alleen voor pagina’s waarvan de redactionele inhoud daadwerkelijk en regelmatig verandert
  • Verwijder lastmod van statische pagina’s (juridische informatie, algemene voorwaarden) in plaats van een onjuiste recente datum weer te geven
  • Configureer het CMS zo dat lastmod alleen wordt bijgewerkt na een handmatige opslag of een wijziging van een tekstveld

Het sitemaprapport in Google Search Console: wat het wel en niet laat zien

Het sitemapsrapport in Search Console toont drie gegevens: de leesstatus van het bestand, eventuele syntaxisfouten en het aantal gevonden URL’s. Dit rapport bevestigt niet dat URL’s zijn geïndexeerd. Een ‘ontdekte’ URL kan voor onbepaalde tijd in de wachtrij van de crawler blijven staan zonder ooit te worden geïndexeerd.

Om te controleren of URL’s daadwerkelijk zijn geïndexeerd, moet je het sitemaprapport vergelijken met het dekkingsrapport (of het rapport ‘Pagina’s’ in de huidige versie van Search Console). URL’s die wel in de sitemap staan maar niet in de index, worden dan weergegeven met een reden voor niet-indexering: dubbele pagina, omleiding, geblokkeerd door robots.txt of beoordeeld als content zonder toegevoegde waarde.

Een sitemap indienen bij Bing via Bing Webmaster Tools

Google is niet de enige zoekmachine die sitemaps gebruikt. Bing Webmaster Tools accepteert rechtstreekse indiening van het bestand en ondersteunt ook het IndexNow-protocol, waarmee je in realtime kunt melden dat URL’s zijn toegevoegd, gewijzigd of verwijderd. Dit protocol is een aanvulling op de sitemap voor websites waarvan de content regelmatig verandert.

Jonge vrouw bekijkt een interactieve sitemap op een tablet terwijl ze in kleermakerszit op een linnen bank zit in een ontspannen woonkamer

Sitemapindex: een XML-bestand structureren voor grote websites

Een enkel sitemapbestand is onderworpen aan volumelimieten: een maximale ongecomprimeerde bestandsgrootte en een maximaal aantal URL’s per bestand. Als een website deze limieten overschrijdt, kun je een sitemapindex gebruiken: een bovenliggend XML-bestand dat naar meerdere onderliggende sitemaps verwijst.

Elke onderliggende sitemap bevat een logisch onderdeel van de website, zoals blogartikelen, productpagina’s of categoriepagina’s. Dankzij deze indeling kun je de indexering per contenttype in Search Console controleren, omdat elke subsitemap een eigen rapport heeft.

  • Deel in op contenttype (artikelen, producten, media) in plaats van alfabetisch of chronologisch
  • Geef bestanden duidelijke namen (sitemap-articles.xml, sitemap-produits.xml) om diagnoses te vergemakkelijken
  • Vermeld de sitemapindex in het bestand robots.txt met de instructie Sitemap:, gevolgd door de volledige URL van het bestand
  • Controleer of elke onderliggende sitemap alleen canonieke URL’s bevat, zonder sessieparameters of duplicaten

De sitemap van een website van derden bekijken om de content in kaart te brengen

Om de content van een website waarvan je geen eigenaar bent te verkennen, kun je vaak de sitemap raadplegen. De meeste websites stellen dit bestand openbaar beschikbaar. Twee gebruikelijke ingangen zijn de rechtstreekse URL /sitemap.xml en de instructie Sitemap in het bestand robots.txt (bereikbaar via /robots.txt).

Sommige CMS’en genereren sitemaps op afwijkende paden (/sitemap_index.xml, /wp-sitemap.xml voor WordPress). Het robots.txt-bestand controleren blijft de betrouwbaarste manier om het bestand te vinden, omdat de instructie daarin naar de exacte URL verwijst.

Als je het bestand eenmaal hebt opgehaald, kun je het in een browser openen om de ruwe lijst met URL’s te bekijken. Voor een gestructureerde verwerking kun je een XML-parser gebruiken of het bestand eenvoudigweg in een spreadsheet importeren om te filteren op sectie, datum of URL-diepte. Deze aanpak is bijzonder handig om de redactionele dekking van een concurrent in kaart te brengen of de content van een portaal te inventariseren vóór een migratie.

Een sitemap blijft een declaratief bestand: het geeft weer wat de webmaster ervoor kiest zichtbaar te maken voor zoekmachines. Sommige pagina’s kunnen er bewust buiten worden gehouden. Door de sitemap te combineren met een externe crawl krijg je een vollediger beeld van de werkelijke structuur van de website.

Hoe gebruik je een sitemap om de bronnen van een website eenvoudig te verkennen?