| Links: All About Search Indexing Robots and Spiders
Degelijke uitleg over de werking van spiders en een uitgebreid linkoverzicht met achtergrondinformatie over specificaties en de herkomst van specifieke spiders.
Clicks: 86 | Beoordeling: 0.00 | Stemmen: 0 | Beoordeel |
Schrijf een recensie | Voeg to aan del.icio.us Apache and PHP vs. the Spambots
This article is about stopping bad robots - specifically, spambots. A "spambot" is a program that visits a website, collects as many email addresses as it can from the site, and (generally) moves on to another site, where it will collect more email addresses. People run these programs to get lists of addresses which they'll either spam themselves, or sell to other people to spam. [a href 22/09/200]
Clicks: 20 | Beoordeling: 0.00 | Stemmen: 0 | Beoordeel |
Schrijf een recensie | Voeg to aan del.icio.us How to keep bad robots, spiders and web crawlers away
Tips voor het beschermen van je paginas tegen spambots'.
Clicks: 42 | Beoordeling: 0.00 | Stemmen: 0 | Beoordeel |
Schrijf een recensie | Voeg to aan del.icio.us Robots & Spiders & Crawlers
This paper explains how robots gather data for search engines, how they follow links, how to control robots indexing and updating, and more. Een whitepaper van Inktomi. [PDF bestand]
Clicks: 39 | Beoordeling: 0.00 | Stemmen: 0 | Beoordeel |
Schrijf een recensie | Voeg to aan del.icio.us robots.txt syntax checker
This robots.txt syntax checker checks the contents of a site's robots.txt against that contained in the latest specification, along with providing warnings on the use of new features that are not yet widely deployed.
Clicks: 37 | Beoordeling: 10.00 | Stemmen: 1 | Beoordeel |
Schrijf een recensie | Voeg to aan del.icio.us The Web Robots Pages
Een goed verzorgde site met de bekende web robots FAQ en een uitgebreid overzicht van operationele web robots.
Clicks: 57 | Beoordeling: 0.00 | Stemmen: 0 | Beoordeel |
Schrijf een recensie | Voeg to aan del.icio.us | 
