Elke bron heeft een eigen configuratiebestand waarin staat welke pagina’s worden opgehaald en wat er wel en niet doorheen komt. De crawler volgt robots.txt en wacht tussen aanvragen; een bron die crawlen niet toestaat staat hieronder uit, met de reden erbij.
Tentoonstellingen en museumagenda. De kaart geeft titel, looptijd en beeld; de detailpagina heeft geen og:description, dus de begeleidende tekst komt uit .text-rich-text (detailSelectors).
14
uitjes
19 sep 11:02
Poppodium/club. De agendapagina bevat al volledige Event JSON-LD per voorstelling, dus er wordt geen linklijst gevolgd; de detailpagina wordt alleen bezocht om de begeleidende tekst op te halen, want de JSON-LD-omschrijving is maar één regel.
69
uitjes
19 sep 11:03
Poppodium/club. Geen JSON-LD; datum en genre staan op de agendakaart, de detailpagina levert beeld en tekst (enrichFromDetail).
70
uitjes
19 sep 11:05
Thuiswedstrijden in Stadion Galgenwaard: het grootste publieksevenement van de stad. De wedstrijdkaarten geven datum, aanvangstijd, competitie en stadion; allowedCities houdt uitwedstrijden buiten de agenda.
2
uitjes
19 sep 11:05
Landelijke festivalagenda met Festival JSON-LD per rij op de overzichtspagina. allowedCities beperkt de oogst tot de regio Utrecht.
2
uitjes
19 sep 11:05
Theater, muziek en familievoorstellingen in Leidsche Rijn. De agenda toont tien voorstellingen per pagina; ?page=1..4 haalt de eerste veertig binnen. Kaarten geven titel, datum, tijd, beeld en genre.
8
uitjes
19 sep 11:05
Onafhankelijk filmtheater. Kaarten geven titel, voorstellingsdatum (dd-mm-jjjj uu:mm) en poster.
3
uitjes
19 sep 11:05
Theater, dans, cabaret en opera. Detailpagina's bevatten TheaterEvent JSON-LD.
19
uitjes
19 sep 11:06
Grootste poppodium van Utrecht. De site staat achter botbescherming: de gewone HTTP-client krijgt overal 403 (het is de TLS-vingerafdruk), en ook met een headless browser blijven de detailpagina's dicht. De overzichtspagina is wel te lezen en bevat per voorstelling titel, datum, beeld en een regel tekst, dus die wordt gerenderd en de detailpagina's worden met rust gelaten: één pagina per crawl in plaats van veertig. De zaalfilters (?sf_venue_room=) gaven vanaf de server 403 - datacenter-IP's krijgen strengere behandeling - dus die staan er niet meer in; dat scheelt zes zinloze verzoeken per run. robots.txt staat crawlen toe en wordt via dezelfde weg gelezen en gerespecteerd.
20
uitjes
19 sep 11:06
Brede culturele agenda voor de stad Utrecht, en daarmee de belangrijkste bron voor wat er stadsbreed gebeurt: festivals, markten, nachtprogramma en losse evenementen. Alle genrepagina's worden gelezen. LET OP: de schema.org-JSON-LD op de detailpagina's geeft als startDate de datum waarop je de pagina ophaalt, niet die van het evenement - alles kwam daardoor op de crawldatum te staan. De datum komt daarom uit .post-subtitle.post-type-label (preferSelectors: start); de rest van de JSON-LD (locatie, omschrijving) is wel bruikbaar.
100
uitjes
19 sep 11:08
Landelijke markt- en snuffelmarktagenda in tabelvorm. Levert de markt/braderie-categorie die de podia niet dekken; allowedCities filtert op de regio Utrecht.
3
uitjes
19 sep 11:08