Kinda seems to fly right in the face of the Internet Archive's announcement of ingoring robots.txt, to be perfectly frank.
@textfiles Speaking of IA, why the move to respecting "*" for retroactive robots.txt blocking instead of "ia_archiver" specifically?
-
-
-
Did one of the sponsors get cranky or something, and you guys had to silently revise the FAQ to appease them?
- Näytä vastaukset
Uusi keskustelu -
Lataaminen näyttää kestävän hetken.
Twitter saattaa olla ruuhkautunut tai ongelma on muuten hetkellinen. Yritä uudelleen tai käy Twitterin tilasivulla saadaksesi lisätietoja.