SEO - De Verdwenen Website

Op verzoek maak ik aanpassingen aan een door RVN ontwikkelde website. Na ongeveer twee weken zie ik dat Google nog steeds de oude resultaten van de website weergeeft en ik besluit de site handmatig door Google te laten indexeren (Google Webmaster Tools, Fetchen als Google).

Enkele dagen later kijk ik of de veranderingen door Google worden weergegeven in de zoekresultaten. Maar eehhh... Huh..? Wacht eens!? Paniek!! De website is verdwenen uit de zoekresultaten!? Hoe kan dit? En nu?

De site wordt voornamelijk gebruikt als referentie om bestaande en nieuwe klanten een goed idee te laten krijgen van de diensten die het bedrijf aanbied. Denk hierbij aan vermeldingen van de website op visitekaartjes, briefpapier, email correspondentie en raam- en autoreclame . Slecht een klein deel (minder dan 15 procent) van de klandizie komt binnen via Google en andere zoekmachines zoals DuckDuckgo. Het is dus niet direct een groot probleem. Maar toch...

Hieronder een verslag van de stappen die ik heb uitgevoerd om uiteindelijk achter het probleem te komen.


Stap 1

Google's 'site:' operator

Allereerst Google's 'site:' operator om te kijken of de site nog wordt weergegeven in Google's index. Oftewel: site:de.groenteman.nl. Voor uitleg over de 'site:' operator kijk hier.

site oparetor

Gelukkig, alle pagina's worden weergegeven behalve... de startpagina, de belangrijkste pagina van de website.


Stap 2

Het noindex attribuut

Ik duik de HTML code in. Misschien is er gebruik gemaakt van het meta noindex attribuut. Voor uitleg over het noindex attribuut kijk hier.

<meta name="robots" content="noindex">

Als je iets als bovenstaande vindt in je meta code dan is dat het probleem, zo niet, dan zul je verder moeten zoeken.


Stap 3

Het robots.txt bestand

Bij vergissing een vermelding in het robots.txt bestand van de site? Voor uitleg over dit bestand kijk hier. Dit bestand is in zijn geheel niet aanwezig, ook hier ligt geen probleem.


Stap 4

Penalty check

Wij maken geen gebruik van dubieuze SEO technieken om een website hoger in de Google ranglijsten te krijgen. Google's richtlijnen worden gevolgd zoals goede, rijke, originele content, geen gekopieerde teksten, responsieve websites geschikt voor smartphones, tablets en desktops, gecodeerd en gebruikmakend van de laatste HTML technieken en voorzien van een veilige TLS verbinding. Daar kan het dus niet aan liggen.


webspamacties

Maar ik wil mijn due diligence doen en duik de Google Webmaster Tools in en kijk bij Handmatige acties (kolom links, Zoekverkeer, Handmatige acties). Geen verrassingen hier: Geen handmatige webspamacties gevonden.

Ik ben er, na nog wat additioneel speurwerk, vrij zeker van dat een penalty niet aan de orde is.


Stap 5

Verwijderde URL's

Iets anders wat je kunt bekijken in de Google Webmaster Tools is de tab URL's verwijderen (kolom links, Zoekverkeer, URL's verwijderen) en controleren of de pagina niet is toegevoegd als verwijderingsverzoek (ongeacht of het per ongeluk of onjuist is). Je weet nooit... Het is altijd het beste om te controleren. Dit is wat Google zegt:

Geen verwijderingsverzoeken voor URL's in de afgelopen zes maanden.

Ook hier geen probleem.


Stap 6

De pagina testen in Google Webmaster Tools

Om dit te doen, ga naar Google Webmaster Tools, klik op de betreffende site, selecteer 'Crawlen' (kolom links) en op 'Fetchen als Google' in het menu. Zet de betreffende pagina erin in of laat het leeg als het om de startpagina gaat, klik op 'Ophalen en weergeven' en op 'indexering aanvragen' en kijk wat Google ervan maakt. Natuurlijk, als het “Mislukt” is er een reden waarom het mislukt is. Het kan ook helpen een idee te geven over wat er fout zou kunnen zijn.


Google indexering

Ik vraag Google de pagina opnieuw te indexeren. Resultaat: geen probleem.


Stap 7

Server downtime

Wat als de googlebot langs komt om te crawlen net op het moment dat de webserver, voor welke reden dan ook, offline is?

neluem@linux-K007AB ~ $ ssh -v neluem@shell.debian-server.nl -p 54893
neluem server's password:
neluem@debian-server:~$ uptime -p
up 5 weeks, 21 hours, 37 minutes

Zoals je ziet; de laatste keer dat de webserver offline was is langer dan 5 weken geleden. Ook dit is niet het probleem.


Stap 8

En nu? De pagina opnieuw laten indexeren door Google levert geen resultaat op, Google weigert nog steeds de startpagina weer te geven als ik gebruik maak van de 'site:' operator.

Ik bekijk de aanpassingen die 2 weken gelden gemaakt zijn. Een fictieve website als voorbeeld.

Website:
https://de.groenteman.nl

Er is een nieuwe pagina aangemaakt waar aanbiedingen uiteen worden gezet (aanbiedingen.html).
https://de.groenteman.nl/aanbiedingen.html

De startpagina (https://de.groenteman.nl/index.html) is aangepast met meerdere hyperlinks en ankerteksten naar de aanbiedingspagina. Dat ziet er ongeveer zo uit:

AANBIEDINGEN!
<a href="./aanbiedingen.html">Groenlof</a>
<a href="./aanbiedingen.html">IJsbergsla</a>
<a href="./aanbiedingen.html">Koolraap</a>
<a href="./aanbiedingen.html">Prei</a>
<a href="./aanbiedingen.html">Tuinbonen</a>
<a href="./aanbiedingen.html">Wortels</a>

Goed, ik hoor zogenaamde SEO specialisten al gruwelen (SEO staat voor: search engine optimization oftewel zoekmachine optimalisatie). Maar voor dat je je mening geeft lees eerst dit, en dit.

Wij hebben meerdere website die gebruik maken van meervoudige links met verschillende ankerteksten (Groenlof en IJsbergsla zijn in bovenstaand voorbeeld ankerteksten). Deze sites scoren allemaal zonder probleem hoog in Google's zoekresultaten. Na wat speurwerk zie ik dat elk van deze sites niet meer dan vier meervoudige links heeft, bovenstaande pagina heeft er zes. Tijd voor een experiment!

Ik heb twee mogelijkheden.
1) De tekst herschrijven en alles herleiden naar één hyperlink.

Dat zou er, kort samengevat, zo kunnen uitzien:

Voor al onze aanbiedingen kijk hier:
<a href="./aanbiedingen.html">AANBIEDINGEN!</a>

2) Gebruik maken van het “nofollow” attribuut om Google te vertellen deze links niet te volgen. (Voor meer informatie omtrent het “nofollow” attribuut kijk hier).

Dat ziet er ongeveer zo uit:

AANBIEDINGEN!
<a href="./aanbiedingen.html">Groenlof</a>
<a href="./aanbiedingen.html" rel=”nofollow”>IJsbergsla</a>
<a href="./aanbiedingen.html" rel=”nofollow” >Koolraap</a>
<a href="./aanbiedingen.html" rel=”nofollow”>Prei</a>
<a href="./aanbiedingen.html" rel=”nofollow”>Tuinbonen</a>
<a href="./aanbiedingen.html" rel=”nofollow”>Wortels</a>

Zoals je ziet de bovenste, in dit geval de belangrijkste aanbieding, is niet voorzien van het attribuut nofollow en we laten de googlebot deze link volgen. Alle andere links in dit voorbeeld zullen worden genegeerd door de googlebot.

Ik kies voor optie 2. Ik ben er niet van overtuigd dat de meervoudige hyperlinks het probleem is en dit is veruit de snelste en makkelijkste manier om dit te testen.

Na de aanpassing naar Google Webmaster Tools en de site inclusief hyperlinks opnieuw laten indexeren.

Enige sleutelwoorden in Google's zoekmachine proberen en... De startpagina is terug en scoort een nette vierde plaats in Google's SERP (search engine rank position).


Het probleem opgelost

Wat is er gebeurd?

Een Google penalty i.v.m. de meervoudige hyperlinks? Nee, het lijkt er niet op. Er is geen sprake geweest van een lagere positionering in Google's zoekresultaat maar van het volledig verdwijnen van een startpagina. Aannemelijker is dat de googlebot simpelweg niet met meer dan vier link duplicaten kan omgaan.

Research

In de laatste twaalf maanden heb ik veel experimenten uitgevoerd met diverse (test)websites en het effect hiervan op het gebied van SERP bestudeerd. Experimenten met attributen zoals rel=”canonical”. Pagina's gedupliceerd. Websites die ontwikkeld waren met oudere technieken zoals XHTML 1.0 Transitional en HTML 4.01 gemodificeerd en omgebouwd naar de laatste HTML versie (HTML5). Websites niet voorzien van een beveiligde verbinding (http i.p.v. https) beveiligd met een TLS verbinding (https). Niet responsieve websites, totaal ongeschikt en onleesbaar op smartphones, responsief en geschikt voor smartphones gemaakt. Teksten aangepast en de laadtijd van webpagina's geoptimaliseerd.

Als ik het volledig verdwijnen van een startpagina enkel door het toevoegen van meer dan vier hyperlinks met verschillende ankerteksten op een webpagina naar één enkele andere webpagina combineer met de resultaten van mijn research dan is het mijn conclusie dat het door de googlebot gebruikte algoritme, om de positie in Google's zoekmachine te bepalen, bij lange na niet zo goed, foutloos én eerlijk is als Google ons wil laten geloven.