Приятел, не съм сигурен, че си разбрал с какво са важни хипервръзките, щом ги нареждаш до размера на шрифта.

Изпускаш и статистическия подход за разрешаването на думи с много значения. Например clusty.com ще се опита да ти сложи страниците за пуйка и страниците за Турция в различни категории. Клъстеризацията решава по-общ и по-важен (за SE) проблем.

Колкото до обобщение/специализация, може да се спори доколко SE имат нужда от него; ако търсиш за "бозайници", вероятно те интересуват общите им характеристики, а не изброяване на особеностите на отделните видове. Google доста време не правеше дори word stemming и пак бяха най-добрите.

SE също опитват нещо като отговори на въпроси - извеждат relevant откъс от сайта още на страницата на търсенето. Т.е. с този проблем се борят и те.

Имаме един екип, който разработва engine за класификация на текст, и съм мислил по някои свързани проблеми (макар да не работя по тях и съответно да не съм чел толкова). По принцип, ако искаш да знаеш какви сравнително скорошни резултати може да има в технологична област свързана с IT, не гледай къде отиват парите на правителството, а следи какво прави venture capital-а.