MELIL/CS 導入自治体別 robots.txt 更新状況
調査方法:
robots.txt を Firefox で開き,右クリックメニューから「ページの情報を表示」させて更新日時(HTTP レスポンスヘッダの Last-Modified の値)を取得した。
robots.txt の内容が改正国立国会図書館法に合法であると確認できたもの,robots.txt の配置が不適切で意味をなさないもの,robots.txt が配置されていないものを「合法」とした。
robots.txt が適切に置かれているが,国会図書館のクロールによってサイトの情報が適切に取得できないと思われるものを「違法」とした。
判断がつかなかったものは「違法?」とした。
robots.txt を Firefox で開き,右クリックメニューから「ページの情報を表示」させて更新日時(HTTP レスポンスヘッダの Last-Modified の値)を取得した。
robots.txt の内容が改正国立国会図書館法に合法であると確認できたもの,robots.txt の配置が不適切で意味をなさないもの,robots.txt が配置されていないものを「合法」とした。
robots.txt が適切に置かれているが,国会図書館のクロールによってサイトの情報が適切に取得できないと思われるものを「違法」とした。
判断がつかなかったものは「違法?」とした。
調査日時:
2010年9月16日午前9時~午前10時
2010年9月16日午前9時~午前10時