Причината е че когато се промени структурата на дитекториите на някой сайт (което се случва при известните фирми) търсещите машини те пращат към URL който вече не съществува, но същата информация почти винаги я има някъде другаде на същия сайт. 1. Когато ти даде Error 404 изтрий иметото на html документа от адреса. Ако пак даде грешка - директориите една по една докато остане само името на домейна. От там нататък се опитай да намериш това което ти трябва (по някога става). Пример: http://www.domain.com/dir1/dir2/file.html http://www.domain.com/dir1/dir2/ http://www.domain.com/dir1/ http://www.domain.com/ 2. Използвай www.google.com - базата данни е сравнително актуална и търси в повече от 1000000000 документа. Дори мисля че сама си премахва невалидните адреси.