1.

Nu trebuie pus header-ul ala. Il pui doar cand ai deja resursa aia si vrei sa
vezi daca s-a modificat, ca sa o ceri din nou
2.
Clauza standard:
User-Agent: MyBot
Disallow: /
Clauza nestandard:
User-Agent: MyBot
Allow: all

3.
follow - poate extrage link-urile
noindex - nu poate extrage conținutul text al paginii

4.
Răspunsul este de tip redirect (3xx) și datele trebuie actualizate în cazul
unui redirect permanent.

5.
Protocolul este de tip cerere-răspuns. Clientul trimite cerere către server,
iar serverul trimite răspuns către client.
Informațiile nu sunt salvate.

7.
Este necesară salvarea într-un cache pentru a nu interoga serverul DNS în
vederea obținerii unei adrese IP ce aparține unui domeniu care a fost deja accesat
8.
Un robot trebuie să "fie respectuos și să prezinte", acesta trebuie să
respecte regulile din robots.txt, dar nu este forțat să o facă.
Există anumite reguli ce trebuie să fie respectate.

11.
Codificarea numelui întrebării DNS conține doar numele resursei
13.
Dns Resolver implementează componentele de rezolvare a numelor și
componentelor de caching.
14.
Se renunță la anchor
15.