Robots.txt

Słownik pozycjonowania i ...

Specjalny plik dzięki któremu można zdefiniować jakie pliki/katalogi mają nie być wyszukane przez roboty danej wyszukiwarki.