|
|
| Тема |
 Re: Google ботове (роботи) [re: Largon] |
|
| Автор |
sashometallico (unknown) |
|
| Публикувано | 11.04.12 02:38 |
|
|
|
Най-грубо казано, процедурата е следната:
1. Собственикът на сайта попълва формата за добавяне на сайт към индекса(), където въвежда URL-a.
2. След известно време, ботът прави стандартен HTTP GET на URL-a, при което web server-ът връща съдържанието (най-често в HTML).
3. Ботът анализира върнатия HTML и търси информация, която да му е полезна.
4. Тази информация включва текст, снимки, мета тагове и линкове.
5. От линковете, ботът получава информация за останалите страници на сайта, както и за външни препратки.
6. Ботът прави същото за всеки един от линковете
След като приключат със анализирането на информацията, тя се добавя в базата данни от сайтове на google (aka google index). Когато потребител търси в google, се използва информацията, която вече имат в базата данни, тоест бота не сваля сайта в момента на търсенето.
Доколкото знам, няма специфичен протокол само за търсачки, изполва си се стандартоното http 1.1. (Обаче има XML базиран формат, които се използва за задаване на линкове за търсене - Google Sitemaps)
Принципът на който решават колко често да craw-ват даден сайт е в зависимост от това колко често са засекли, че сайтът се променя. Тоест ако един сайт си е същия цяла година, няма да го индексират толкова често, колкото някой сайт, който постоянно се променя. За това, един сайт се проверява по-често в началото на негото добавяне и ако ботът засече че няма много промяна, проверките намаляват. Също така има и "revisit after" meta tag, който може да бъде зададен, но няма гаранция, че ще се следва.
Те не "проникват" във всички сървъри в света, а само в тези, които са добавени през формата или към който има препратки от други сайтове, който са в базата-данни (индекса).
:)))
| |
| |
| 
|
|
