Administratoram saitov
- Mogu li ya ispol'zovat' vashu poiskovuyu mashinu dlya poiska tol'ko po moemu saitu ?
- Mozhete, no pri soblyudenii nekotoryh trebovanii. Podrobnee ob etom napisano na stranice O proekte
- Kak chasto indeksiruyutsya saity ?
- My staraemsya podderzhivat' poiskovuyu bazu kak mozhno aktual'noi, obychno polnaya indeksaciya vsei kollekcii saitov zanimaet 3-4 dnya.
- Ya poslal zayavku, chtoby moi sait byl vklyuchen v vashu kollekciyu, no on do sih por ne vklyuchen v vashu bazu ?
- Na eto mozhet byt' neskol'ko prichin:
- Vash sait ne podhodit po tematike kollekcii
- Vo vremya poslednego obhoda vash sait ne otvechal na zaprosy (po prichine otsutstviya svyazi ili sboev v rabote vashego saita)
- Administrator ne uspel vklyuchit' vash sait v nashu kollekciyu po tem ili inym prichinam (administrator tozhe chelovek - mozhet i zabolet')
- Kak sdelat' tak, chtoby chast' servera ne indeksirovalas' ?
- Nash krauler, podderzhivaet standart "Robots exclusion protocol", prochitat' podrobnee, pro kotoryi, mozhno zdes'
Primer faila 'robots.txt', kotoryi dolzhen byt' dostupen kak http://vash.server/robots.txt, i kotoryi predpolagaet, chto direktoriya /cgi-bin/ zakryta dlya dostupa vsem agentam, kotorye identificiruyut sebya kak 'Offline Explorer', a direktoriya /private/ zakryta dlya vsehUser-agent: Offline Explorer Disallow: /cgi-bin/ User-agent: * Disallow: /private/Nash krauler mozhno opoznat' v logah vashego servera po polyu 'User-agent' GTSCrawler.- Ne vse stranicy indeksiruyutsya vashim kraulerom
- Vozmozhny neskol'ko prichin:
- Vashi stranicy ispol'zuyut Javascript i nash krauler ne smog proitis' po vsem linkam s takih stranic. My rekomenduem sozdat' special'nuyu stranicu bez ispol'zovaniya javascript, soderzhashuyu ssylki na vashi stranicy i poslat' ee URL administratoru poiskovoi mashiny. V sleduyushii raz krauler budet ispol'zovat' ee kak 'tochku vhoda' v vash sait.
- Vash sait dostupen pod neskol'kimi imenami, naprimer www.vash.server i vash.server. Nash krauler raspoznaet dublikaty stranic i poetomu kol-vo dokumentov mozhet odnogo iz serverov mozhet sil'no men'she. Na stranice statistiki vy mozhete posmotret' statistiku po vsem sinonimam vashego servera (ispol'zuite poisk).
- Po umolchaniyu my ne indeksiruem CGI skripty, stranicy s odinakovym soderzhaniem, no otlichayushiesya kodirovkoi (indeksiruetsya tol'ko odna kopiya). Pravila otbora stranic osnovany na nashem opyte i vklyuchayut bol'shoi element evristiki, chto, konechno, ne isklyuchaet oshibok. Poetomu soobshaite nam vse 'problemnye' sluchai i my budem rady ih razreshit'.
- U menya est' voprosy po poiskovoi sisteme, k komu ya mogu obratit'sya ?
- Vy mozhete poslat' pis'mo administratoru poiskovoi sistemy, adres kotorogo imeetsya na stranice O proekte
Astronet | Nauchnaya set' | GAISh MGU | Poisk po MGU | O proekte | Avtoram
Kommentarii, voprosy? Pishite: info@astronet.ru ili syuda