Van online register naar zoekmachine

Sinds de eerste websites online gingen, is het internet alleen maar gegroeid. Zeker vanaf het jaar 2000. Steeds meer mensen kregen toegang tot internet, waarop steeds meer websites werden gezet. Maar met zo veel informatie en mensen die daar naar vroegen, ontstond een nieuwe vraag: hoe vind je iets op internet?

Elke website en elke email heeft een eigen adres, www.isgeschiedenis.nl, bijvoorbeeld. Die kun je in de adresbalk van je webbrowser intikken, waarna de browser de website voor je opent. Maar het onthouden van alle adressen op het internet, is ondoenlijk. Alleen al alle websites die we nodig hebben zijn te veel om te onthouden, laat staan alle websites die we nog niet kennen. Hoe kom je dan bij nieuwe informatie uit?

Zoeken op internet

Er waren wel overzichten van alle webservers waarop websites stonden. Het internet was nog klein genoeg dat het mogelijk was om in een grote index een bepaalde site op te zoeken, maar men verwachtte terecht dat het niet erg lang zou duren voordat dat totaal onmogelijk zou zijn. Een voorbeeld van zo’n lijst uit 1992, gemaakt door Tim Berners-Lee is al voorzien van de melding dat die lijst niet compleet is. Al in het begin van de jaren 90 werkten ontwikkelaars daarom aan systemen om informatie op servers en het internet vindbaar te maken door een ‘machine’ het zoekwerk te laten doen. Een van de eerste van zulke ‘zoekmachines’ was Archie, waarvan de eerste versie al in 1990 online ging. Archie, dat stond voor het Engelse Archive waarvan de letter V was weggelaten, werkte nog lang niet zo makkelijk als zoekmachines die we nu gewend zijn. Het internet was nog klein en het volstond nog om een lijst van bestanden op een bepaalde server weer te geven. Daarna kon een gebruiker nog relatief eenvoudig die lijst handmatig doornemen.

De eerste echte zoekmachines

Maar binnen enkele jaren ontstonden meer geavanceerde zoekmachines, die niet alleen aangaven op welke server de informatie te vinden was, maar ook op welke website op die server. JumpStation was zo’n website. Als je een zoekterm invoerde op een formulier, maakte JumpStation een index van de sites waar informatie over die zoekterm te vinden was, al kon JumpStation nog niet hele websites scannen. WebCrawler kon dat in 1994 wel. Die was in staat om elk woord op elke website te zoeken en te indexeren. Daarmee was WebCrawler de eerste zoekmachine die begon te lijken op zoekmachines zoals we die nu kennen.

Het duurde echter niet lang of ook WebCrawler werd weer voorbijgestreefd door zoekmachines die uitgingen van hetzelfde principe, maar net iets geavanceerder waren. Internetbedrijf Yahoo! ontwikkelde in 1995 Yahoo! Search dat ook op basis van het idee van WebCrawler werkte, maar vaak nog beperkt was binnen de registers die Yahoo! zelf had. Maar binnen een mum van tijd had Yahoo! Search concurrentie. De ene na de andere zoekmachine verscheen en er ontstond een flinke concurrentiestrijd. In 1996 ontwikkelden twee studenten hun eigen zoekmachine, die na verloop van tijd dominant zou worden en bijna het hele internet in zou palmen: Google.

Sleutelbergrippen

Al die zoekmachines maakten dus gebruik van het principe dat men op bepaalde sleutelbegrippen zocht. Wie informatie over een bepaald onderwerp zocht, kon dat onderwerp invoeren en dan zou de zoekmachine de meest relevante websites uitzoeken. De software van de zoekmachine was werd steeds beter in staat om websites af te speuren en in kaart te brengen welke sleutelwoorden op een website veel gebruikt werden. Op basis daarvan bepaalde de software van de zoekmachine zelf hoe relevant die website was voor bepaalde zoektermen.
Dat leverde een nieuwe uitdaging voor tekstschrijvers op. Tekstschrijvers die de teksten voor websites maakten, moesten ervoor zorgen dat de zoekmachines de relevantie van hun informatie goed konden inschatten. Eigenaren van websites gingen hun websites zo inrichten dat zoekmachines hun website zo relevant mogelijk zouden vinden. Een techniek die Search Engine Optimalisation, of SEO, ging heten in vakjargon. Daar zat echter een nadeel aan: een lokaal autobedrijf dat een goede tekst op de website zette, kon daardoor opeens internationaal verkeer krijgen. Maar voor zowel de internetters als voor het bedrijf zelf, was dat natuurlijk helemaal niet handig. Het bedrijf wilde juist voor de doelgroep lokaal beter vindbaar zijn, niet internationaal.

Met de loop der tijd werden zoekmachines echter steeds geavanceerder. Niet alleen woorden gingen meetellen, de tekst als geheel werd belangrijker. Ook werden zoekmachines voorzien van software die bij kon houden op welke links in de zoekresultaten klikten. De tekst werd niet meer leidend, maar het gedrag van de mensen die die site bezochten. Zo werden de zoekresultaten steeds beter. Mensen die zich bezighouden met SEO, moeten niet alleen duidelijk maken over welk onderwerp hun website gaat, ze moeten zich ook bezig houden met voor wie ze schrijven.