@textfiles Speaking of IA, why the move to respecting "*" for retroactive robots.txt blocking instead of "ia_archiver" specifically?
-
Kinda seems to fly right in the face of the Internet Archive's announcement of ingoring robots.txt, to be perfectly frank.
Did one of the sponsors get cranky or something, and you guys had to silently revise the FAQ to appease them?
-
-
We don't have sponsors
Kiitos. Käytämme tätä aikajanasi parantamiseen. KumoaKumoa
-
-
-
I'm actually not allowed to comment on the robots.txt thing
-
So you can neither agree nor disagree that it's a little hypocritical what the Internet Archive is doing in that case, then?
- Näytä vastaukset
Uusi keskustelu -
-
-
Fairly sure we were following the rules of the robots.txt thing more than 10 years ago though
Kiitos. Käytämme tätä aikajanasi parantamiseen. KumoaKumoa
-
Lataaminen näyttää kestävän hetken.
Twitter saattaa olla ruuhkautunut tai ongelma on muuten hetkellinen. Yritä uudelleen tai käy Twitterin tilasivulla saadaksesi lisätietoja.