|
|
|
Тема
|
 Google ботове (роботи)
|
|
| Автор |
Largon (непознат
) |
| Публикувано | 12.10.11 22:48 |
|
|
Здравейте!
Не мога да си отговоря на някои въпроси и затова се обръщам към всички знаещи в този форум. Въпросите ми са следните:
- По какъв път се движат ботовете на Google в мрежата.Тоест,използват ли някакви протоколи. Когато се стартират все пак трябва да се движат по някакви маршрути както е при пакетите с информация например.
- Тези Google ботове постоянно ли се движат и препращат информация, или само когато им се зададе търсене?
-Как проникват през всички сървъри по света?
Благодаря ви предварително
| |
|
Тема
|
 Re: Google ботове (роботи)
[re: Largon]
|
|
| Автор |
Naki (Company PC Guy) |
| Публикувано | 12.10.11 23:15 |
|
|
-Как проникват през всички сървъри по света?
Google индексира мизерна част от всичкия уеб, не помня колко точно, но май е под 20%... Може и да греша, но определено не е "всички".
Редактирано от Naki на 12.10.11 23:17.
| |
|
Тема
|
Re: Google ботове (роботи)
[re: Naki]
|
|
| Автор |
croesus (хлевоуст) |
| Публикувано | 12.10.11 23:46 |
|
|
Зависи. Можеш да го "каниш" да гледа и в members area, дори да пускаш реклами през Adsense там.
| |
|
Тема
|
Re: Google ботове (роботи)
[re: Largon]
|
|
| Автор |
AliBabach (heavy drinker) |
| Публикувано | 13.10.11 23:01 |
|
|
Все си мисля, че за Google ботовете най-добре е да се пита Google.
| |
|
|
|
Най-грубо казано, процедурата е следната:
1. Собственикът на сайта попълва формата за добавяне на сайт към индекса(), където въвежда URL-a.
2. След известно време, ботът прави стандартен HTTP GET на URL-a, при което web server-ът връща съдържанието (най-често в HTML).
3. Ботът анализира върнатия HTML и търси информация, която да му е полезна.
4. Тази информация включва текст, снимки, мета тагове и линкове.
5. От линковете, ботът получава информация за останалите страници на сайта, както и за външни препратки.
6. Ботът прави същото за всеки един от линковете
След като приключат със анализирането на информацията, тя се добавя в базата данни от сайтове на google (aka google index). Когато потребител търси в google, се използва информацията, която вече имат в базата данни, тоест бота не сваля сайта в момента на търсенето.
Доколкото знам, няма специфичен протокол само за търсачки, изполва си се стандартоното http 1.1. (Обаче има XML базиран формат, които се използва за задаване на линкове за търсене - Google Sitemaps)
Принципът на който решават колко често да craw-ват даден сайт е в зависимост от това колко често са засекли, че сайтът се променя. Тоест ако един сайт си е същия цяла година, няма да го индексират толкова често, колкото някой сайт, който постоянно се променя. За това, един сайт се проверява по-често в началото на негото добавяне и ако ботът засече че няма много промяна, проверките намаляват. Също така има и "revisit after" meta tag, който може да бъде зададен, но няма гаранция, че ще се следва.
Те не "проникват" във всички сървъри в света, а само в тези, които са добавени през формата или към който има препратки от други сайтове, който са в базата-данни (индекса).
:)))
| |
|
| 
|
|
