Administratoram saitov

Mogu li ya ispol'zovat' vashu poiskovuyu mashinu dlya poiska tol'ko po moemu saitu ?

Mozhete, no pri soblyudenii nekotoryh trebovanii. Podrobnee ob etom napisano na stranice O proekte

Kak chasto indeksiruyutsya saity ?

My staraemsya podderzhivat' poiskovuyu bazu kak mozhno aktual'noi, obychno polnaya indeksaciya vsei kollekcii saitov zanimaet 3-4 dnya.

Ya poslal zayavku, chtoby moi sait byl vklyuchen v vashu kollekciyu, no on do sih por ne vklyuchen v vashu bazu ?

Na eto mozhet byt' neskol'ko prichin:

• Vash sait ne podhodit po tematike kollekcii
• Vo vremya poslednego obhoda vash sait ne otvechal na zaprosy (po prichine otsutstviya svyazi ili sboev v rabote vashego saita)
• Administrator ne uspel vklyuchit' vash sait v nashu kollekciyu po tem ili inym prichinam (administrator tozhe chelovek - mozhet i zabolet')

Kak sdelat' tak, chtoby chast' servera ne indeksirovalas' ?

Nash krauler, podderzhivaet standart "Robots exclusion protocol", prochitat' podrobnee, pro kotoryi, mozhno zdes'
Primer faila 'robots.txt', kotoryi dolzhen byt' dostupen kak http://vash.server/robots.txt, i kotoryi predpolagaet, chto direktoriya /cgi-bin/ zakryta dlya dostupa vsem agentam, kotorye identificiruyut sebya kak 'Offline Explorer', a direktoriya /private/ zakryta dlya vseh

User-agent: Offline Explorer
Disallow: /cgi-bin/

User-agent: *
Disallow: /private/

Nash krauler mozhno opoznat' v logah vashego servera po polyu 'User-agent' GTSCrawler.

Ne vse stranicy indeksiruyutsya vashim kraulerom

Vozmozhny neskol'ko prichin:

• Vashi stranicy ispol'zuyut Javascript i nash krauler ne smog proitis' po vsem linkam s takih stranic. My rekomenduem sozdat' special'nuyu stranicu bez ispol'zovaniya javascript, soderzhashuyu ssylki na vashi stranicy i poslat' ee URL administratoru poiskovoi mashiny. V sleduyushii raz krauler budet ispol'zovat' ee kak 'tochku vhoda' v vash sait.
• Vash sait dostupen pod neskol'kimi imenami, naprimer www.vash.server i vash.server. Nash krauler raspoznaet dublikaty stranic i poetomu kol-vo dokumentov mozhet odnogo iz serverov mozhet sil'no men'she. Na stranice statistiki vy mozhete posmotret' statistiku po vsem sinonimam vashego servera (ispol'zuite poisk).
• Po umolchaniyu my ne indeksiruem CGI skripty, stranicy s odinakovym soderzhaniem, no otlichayushiesya kodirovkoi (indeksiruetsya tol'ko odna kopiya). Pravila otbora stranic osnovany na nashem opyte i vklyuchayut bol'shoi element evristiki, chto, konechno, ne isklyuchaet oshibok. Poetomu soobshaite nam vse 'problemnye' sluchai i my budem rady ih razreshit'.

U menya est' voprosy po poiskovoi sisteme, k komu ya mogu obratit'sya ?

Vy mozhete poslat' pis'mo administratoru poiskovoi sistemy, adres kotorogo imeetsya na stranice O proekte

---

Astronet | Nauchnaya set' | GAISh MGU | Poisk po MGU | O proekte | Avtoram

Kommentarii, voprosy? Pishite: info@astronet.ru ili syuda