robots.txt in Joomla

2. Het robots.txt-bestand van Joomla

Joomla levert een verstandig standaardbestand mee. Hier is het deel dat het werk doet, na het commentaarblok bovenaan:

User-agent: *
Disallow: /administrator/
Disallow: /api/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

2.1 Wat elke regel betekent

• User-agent: * betekent dat de regels eronder voor elke crawler gelden.
• Elke Disallow-regel noemt een map die crawlers moeten overslaan.

De lijst bestaat uit Joomla's interne mappen. Geen ervan bevat pagina's waarop een bezoeker via een zoekresultaat zou moeten landen. Ze bevatten het beheerpaneel (/administrator/), de headless API (/api/), kerncode (/components/, /libraries/, /modules/, /plugins/), en werkmappen (/cache/, /tmp/, /logs/). Crawlers hieruit weghouden bespaart "crawl budget" voor je echte content en voorkomt dat er bestanden worden geindexeerd die nooit openbaar horen te zijn.

2.2 Wat het bestand niet blokkeert

Let op wat ontbreekt: er is geen Disallow: /images/ en geen Disallow: /media/. Dat is met opzet. Zoekmachines moeten je CSS, JavaScript en afbeeldingen kunnen lezen om een pagina goed weer te geven en te beoordelen. Die mappen blokkeren is een klassieke SEO-fout (zie hoofdstuk 12). Het standaardbestand blokkeert codemappen, geen mappen met assets.

2.3 Het commentaarblok bovenaan

Boven de regels staat in het meegeleverde bestand een belangrijke opmerking over installaties in een submap:

# If the Joomla site is installed within a folder
# eg www.example.com/joomla/ then the robots.txt file
# MUST be moved to the site root
# eg www.example.com/robots.txt
# AND the joomla folder name MUST be prefixed to all of the
# paths.

Dit is belangrijk omdat crawlers robots.txt altijd alleen uit de domeinroot lezen. Hoofdstuk 6 legt precies uit wat je voor een installatie in een submap moet aanpassen.

4. robots.txt versus meta robots

Joomla geeft je twee aparte manieren om crawlers te sturen, en ze verwarren veroorzaakt veel indexeerproblemen. Ze werken op verschillende niveaus en hebben verschillende effecten.

4.1 De valkuil: Disallow plus noindex

Er is een combinatie die mensen verrast. Als je een pagina op Disallow zet in robots.txt en er een noindex meta-tag op zet, werkt de noindex nooit. De reden is logisch: een crawler die te horen krijgt de pagina niet op te halen, leest de HTML nooit, en ziet dus ook de noindex-tag nooit.

Om een pagina uit de zoekresultaten te halen, laat je crawlers hem ophalen (zet hem niet op Disallow) en voeg je een noindex meta-tag toe. De crawler leest de pagina, ziet de tag, en haalt hem uit de index.

De vuistregel is dus: gebruik robots.txt om het crawlen van hele mappen te regelen, en gebruik de meta robots-tag om het indexeren van losse pagina's te regelen.

6. Installaties in een submap

Crawlers lezen robots.txt alleen uit de domeinroot, nooit uit een submap. Als je Joomla-site op https://example.test/blog/ staat, vraagt een crawler nog steeds https://example.test/robots.txt op, en niet https://example.test/blog/robots.txt.

Het commentaarblok in het meegeleverde bestand legt de twee stappen uit die je moet zetten:

1. Verplaats het bestand naar de echte domeinroot. Kopieer robots.txt van /blog/ naar de bovenste map, zodat de crawler het kan vinden.
2. Zet de mapnaam voor elk pad. Elk Disallow-pad moet de submap bevatten, anders wijst het naar de verkeerde plek.

Voor een site in /blog/ veranderen de regels zo:

User-agent: *
Disallow: /blog/administrator/
Disallow: /blog/api/
Disallow: /blog/cache/
Disallow: /blog/tmp/
# ...en zo verder voor elke map...

Als je de prefix vergeet, beschermen de regels stilletjes niets, want /administrator/ bestaat niet in de domeinroot bij een installatie in een submap.

8. Onder de motorkap (ontwikkelaarsblik)

8.1 Hoe het bestand wordt geserveerd

Er zit geen PHP achter robots.txt. Het is een statisch bestand, en de webserver levert het direct uit. In Joomla's .htaccess wordt de rewrite van de front controller alleen geactiveerd als het verzoek niet overeenkomt met een echt bestand (!-f). Omdat robots.txt een echt bestand op schijf is, serveert Apache het meteen en bereikt het verzoek nooit index.php. Hetzelfde geldt op Nginx met de gebruikelijke try_files-regel.

Dat heeft een praktisch gevolg: je kunt robots.txt niet vanuit het Joomla-beheerpaneel wijzigen. Je bewerkt het met FTP, de bestandsbeheerder van je hosting, of een code-editor.

8.2 Waar de meta robots-tag wordt opgebouwd

De meta robots-cascade uit hoofdstuk 5 is echte code, geen magie. De globale waarde wordt gelezen en opgeslagen als pagina-parameter in SiteApplication:

// libraries/src/Application/SiteApplication.php (vereenvoudigd)
$robots = $this->get('robots');
// ...later, na het samenvoegen van de menu-item-parameters...
$params[$hash]->def('robots', $robots);

De componentweergave past de waarde dan toe, en laat de eigen metadata van het item die overschrijven. In de artikelweergave van com_content:

// components/com_content/src/View/Article/HtmlView.php (vereenvoudigd)
if ($this->params->get('robots')) {
    $this->getDocument()->setMetaData('robots', $this->params->get('robots'));
}

// ...daarna wordt de eigen metadata van het artikel als laatste toegepast, dus die wint...
foreach ($this->item->metadata->toArray() as $k => $v) {
    if ($v) {
        $this->getDocument()->setMetaData($k, $v);
    }
}

Omdat de eigen metadata van het artikel als laatste wordt geschreven, overschrijft de Robots-instelling op artikelniveau de waarden van het menu en de site. Dat is precies het "meest specifieke wint"-gedrag dat je in de beheeromgeving ziet.

8.3 De printweergave is altijd noindex

Een detail dat ontwikkelaars verrast. Wanneer een pagina in Joomla's printweergave wordt getoond, forceert de artikelweergave een noindex, nofollow-tag, ongeacht je instellingen:

if ($this->print) {
    $this->getDocument()->setMetaData('robots', 'noindex, nofollow');
}

Dit voorkomt dat de uitgeklede printversie van een pagina concurreert met de echte pagina in de zoekresultaten. Je hoeft het niet in te stellen; Joomla doet het voor je.

8.4 De geblokkeerde map /api/

Het standaardbestand zet /api/ op disallow, het toegangspunt van Joomla's Web Services API. Er is geen reden voor een zoekmachine om je REST-endpoints te crawlen, en de API vereist sowieso een token. Het uit robots.txt houden is gewoon goede hygiene. Als je een openbare, deelbare weergave bovenop de API bouwt, bied die dan aan via een gewoon menu-item aan de voorkant, niet via het rauwe /api/-pad.

8.5 De HTTP-statuscode telt mee

Omdat robots.txt via HTTP wordt opgehaald, verandert de statuscode die je server teruggeeft hoe crawlers zich gedragen. Dit wordt makkelijk over het hoofd gezien en zorgt soms dat een hele site niet meer gecrawld wordt.

De les: een kapot of geblokkeerd robots.txt is erger dan een ontbrekend bestand. Als de onderhoudsmodus of een beveiligingsplugin voor elk verzoek een 503 begint terug te geven, ook voor robots.txt, leest Google dat als "stop met crawlen" en vertragen de bezoeken. Controleer met een snel verzoek dat het bestand een schone 200 teruggeeft:

curl -I https://example.test/robots.txt

8.6 De X-Robots-Tag-header

De meta robots-tag werkt alleen voor HTML-pagina's, omdat hij in de <head> staat. Bestanden zoals PDF's, afbeeldingen en andere downloads hebben geen <head>, dus je kunt er geen noindex-tag aan toevoegen. Daarvoor stuurt de server in plaats daarvan een HTTP-header:

X-Robots-Tag: noindex

Hij accepteert dezelfde waarden als de meta-tag (noindex, nofollow, enzovoort), maar past ze toe op elk bestandstype. Een veelvoorkomend gebruik is om gegenereerde PDF's uit de zoekresultaten te houden. In Apache beperk je het per bestandstype:

<FilesMatch "\.pdf$">
    <IfModule mod_headers.c>
        Header set X-Robots-Tag "noindex"
    </IfModule>
</FilesMatch>

Net als de meta-tag regelt X-Robots-Tag het indexeren, niet het crawlen. De crawler moet het bestand mogen ophalen om de header te zien, dus zet het bestand niet ook op Disallow in robots.txt (dezelfde valkuil als in hoofdstuk 4.1). Joomla-core stelt deze header niet voor je in; het is een toevoeging op serverniveau.

10. robots.txt achter een CDN

Veel Joomla-sites zitten achter een content delivery network zoals Cloudflare, Fastly of Bunny. Het CDN zit tussen de crawler en je origin-server, en verandert hoe robots.txt wordt uitgeleverd.

10.1 Het bestand wordt aan de rand gecached

Een CDN cachet statische bestanden, en robots.txt is statisch. Nadat je het bestand op je server hebt bewerkt, kan het CDN de oude kopie nog minuten of uren blijven uitleveren tot de cache verloopt. Daarbovenop cachen crawlers robots.txt ook zelf, vaak ongeveer een dag. Een wijziging is dus zelden direct zichtbaar.

Leeg na een belangrijke wijziging de CDN-cache voor robots.txt, zodat de nieuwe regels meteen live gaan. In Cloudflare is dat een enkele "Purge by URL"-actie.

10.2 Let op twee bronnen van waarheid

Sommige CDN's kunnen hun eigen robots.txt genereren of injecteren, of het bestand dat jij serveert herschrijven. Cloudflare kan bijvoorbeeld een beheerde robots.txt toevoegen voor zijn botbeheerfuncties. Als je live bestand niet overeenkomt met wat je hebt geupload, controleer dan het CDN-dashboard voordat je Joomla de schuld geeft. Er zou precies een plek moeten zijn die het bestand beheert.

10.3 Controleer of het nog 200 teruggeeft

Een firewallregel of bot-fight-instelling bij het CDN kan het verzoek voor robots.txt per ongeluk blokkeren of uitdagen. Zoals hoofdstuk 8.5 uitlegde, schaadt een 403 of 5xx op dit bestand het crawlen. Test de openbare URL via het CDN, niet alleen op de origin:

curl -I https://example.test/robots.txt

Een schone 200 OK met Content-Type: text/plain bevestigt dat crawlers het kunnen lezen.

12. Veelgemaakte fouten en valkuilen

12.1 De per ongeluk site-brede blokkade

Symptoom: je hele site verdwijnt uit Google na een herontwerp of een verhuizing vanaf een staging-server.

Oplossing: controleer op Disallow: / in robots.txt. Staging-sites blokkeren vaak alles om prive te blijven, en dat bestand wordt per ongeluk naar productie gekopieerd. Verwijder de regel zodat crawlers je pagina's weer kunnen bereiken.

12.2 CSS, JavaScript of afbeeldingen blokkeren

Symptoom: Google Search Console meldt dat pagina's niet kunnen worden weergegeven, of de ranking daalt nadat je het bestand hebt "opgeruimd".

Oplossing: verwijder elke Disallow voor /images/, /media/ of de asset-mappen van het template. Crawlers hebben die bestanden nodig om de pagina te zien zoals een bezoeker dat doet.

12.3 Verwachten dat robots.txt een pagina verbergt

Symptoom: een pagina die je op disallow zette, verschijnt nog steeds in Google, vaak als een kale link zonder omschrijving.

Oplossing: Disallow stopt het crawlen, niet het indexeren. Verwijder de Disallow, zet de Robots van de pagina op noindex in Joomla, en laat de crawler hem ophalen en de tag zien.

12.4 Disallow plus noindex heffen elkaar op

Symptoom: je stelt zowel een Disallow als een noindex in, maar de pagina weigert de index te verlaten.

Oplossing: de crawler leest de noindex nooit, omdat de Disallow hem ervan weerhoudt de pagina op te halen. Laat de Disallow vallen en houd alleen de noindex.

12.5 De fout met het submap-pad

Symptoom: bij een installatie in een submap lijken de regels niets te beschermen.

Oplossing: verplaats het bestand naar de domeinroot en zet voor elk pad de mapnaam, bijvoorbeeld Disallow: /blog/administrator/ (zie hoofdstuk 6).

12.6 robots.txt als beveiliging behandelen

Symptoom: je vermeldt een geheime map in robots.txt om hem te "verbergen", en merkt vervolgens dat hij wordt afgetast.

Oplossing: noem nooit gevoelige paden in een openbaar bestand; je adverteert ze juist. Bescherm ze in plaats daarvan met een login of toegangsregels op serverniveau. robots.txt is advies voor nette crawlers, geen muur.

12.7 Een pagina blokkeren die je canoniek maakte

Symptoom: je zet een rel="canonical"-tag op een duplicaat-URL, maar Google blijft de duplicaat indexeren in plaats van de canonieke versie.

Oplossing: de duplicaat is geblokkeerd in robots.txt, dus Google crawlt hem nooit en leest zijn canonical-tag nooit. Verwijder de Disallow voor die URL en laat Google hem ophalen; pas dan kan hij de canonical respecteren.

12.8 Een kapot robots.txt dat een fout teruggeeft

Symptoom: de crawlsnelheid daalt tot bijna nul nadat je de onderhoudsmodus, een firewall of een CDN-botregel hebt ingeschakeld.

Oplossing: het verzoek voor robots.txt geeft een 403 of 5xx terug, wat Google leest als "stop met crawlen". Zorg dat robots.txt altijd een schone 200 teruggeeft, ook tijdens onderhoud (zie hoofdstuk 8.5).

14. In het kort

LOCATIE      public_html/robots.txt  (direct actief, geen hernoemen)
BEKIJK HET   https://jouw-site.test/robots.txt
ALLE CRAWLERS User-agent: *
BLOK MAP     Disallow: /map/
STA ALLES TOE Disallow:            (lege waarde)
BLOK SITE    Disallow: /          (alleen staging, nooit live)
UITZONDERING Allow: /map/bestand.pdf
JOKERTEKENS  * = elke tekens, $ = einde van URL  (Disallow: /*?print=)
SITEMAP      Sitemap: https://jouw-site.test/sitemap.xml
META ROBOTS  Globale config → Site → Metadata → Robots
CASCADE      Artikel > Menu-item > Globaal  (meest specifieke wint)
WAARDEN      index,follow / noindex,follow / index,nofollow / noindex,nofollow
LEGE STANDAARD Geen robots meta-tag geschreven = index, follow
PAGINA VERBERG noindex meta-tag, zet hem NIET ook op Disallow
NIET-HTML    X-Robots-Tag: noindex  (header, voor PDF's/afbeeldingen)
CANONICAL    Houd duplicaat crawlbaar, anders wordt canonical niet gelezen
SUBMAP       Naar root + prefix paden: /blog/administrator/
PRINTWEERGAVE Altijd noindex, nofollow (door Joomla geforceerd)
HTTP STATUS  Moet 200 teruggeven; 403/5xx legt crawlen stil
AI-CRAWLERS  GPTBot, ClaudeBot, Google-Extended, CCBot (blok per UA)
CDN          robots.txt wordt aan de rand gecached; leeg cache na wijziging
GEEN BEVEILIGING robots.txt is openbaar advies, geen toegangsslot