Crawler, spider lub robot, b膮d藕 bot
ang. CRAWL - czo艂ga膰 si臋; SPIDER - paj膮k; roBOT - robot, automat) - program, kt贸ry odwiedza ka偶d膮 stron臋 internetow膮, “czyta” informacje na niej zawarte po to, by zindeksowa膰 je w wyszukiwarce internetowej. Crawler przegl膮da g艂贸wnie nowe lub uaktualnione strony. Regularnie odwiedza ca艂e witryny lub poszczeg贸lne podstrony, by zaktualizowa膰 dane w wyszukiwarce.
Zbi贸r zasad, jakimi powinny si臋 sugerowa膰 programy typu crawler s膮 opisane w Standard for Robot Exclusion (SRE). Regu艂y je m贸wi膮, kt贸re dane nie powinny by膰 indeksowane - np. pliki odpowiedzialne za prac臋 serwera, tajne dane, dane zabezpieczone firewallem itp. Bardziej zaawansowane spidery potrafi膮 dostosowa膰 sw贸j czas pracy do okresu najmniejszego ruchu na przeszukiwanych stronach.
Przyk艂adem robota w wyszukiwarce Altavista jest Scooter.
藕r贸d艂o: i-slownik.pl
Tags: bot, robot wyszukiwarki, spider
lipiec 3rd, 2010 at 11:30 przed po艂udniem
Buy:Actos.Accutane.Arimidex.Synthroid.Zyban.Nexium.Retin-A.100% Pure Okinawan Coral Calcium.Human Growth Hormone.Zovirax.Mega Hoodia.Lumigan.Petcam (Metacam) Oral Suspension.Valtrex.Prednisolone.Prevacid….
lipiec 22nd, 2010 at 1:13 przed po艂udniem
Buy:Viagra Soft Tabs.Viagra Super Force.Cialis.Super Active ED Pack.Cialis Super Active+.Tramadol.Cialis Professional.Viagra Professional.Zithromax.VPXL.Propecia.Levitra.Soma.Viagra.Viagra Super Active+.Maxaman.Cialis Soft Tabs….
wrzesie艅 8th, 2010 at 10:45 przed po艂udniem
Buy:Nexium.Arimidex.Valtrex.Human Growth Hormone.Prednisolone.Retin-A.100% Pure Okinawan Coral Calcium.Accutane.Prevacid.Actos.Zovirax.Petcam (Metacam) Oral Suspension.Synthroid.Mega Hoodia.Lumigan.Zyban….
listopad 11th, 2010 at 11:08 przed po艂udniem
…
BUY FASHION. TOP BRANDS: GUCCI, DOLCE&GABBANA, BURBERRY, DIESEL, ICEBERG, ROBERTO CAVALLI, EMPORIO ARMANI, VERSACE…
grudzie艅 17th, 2010 at 10:01 po po艂udniu
████████►BUY VIAGRA◀███████…
████████▲▲▲▲▲▲▲▲▲████████…
grudzie艅 18th, 2010 at 11:08 po po艂udniu
████████►BUY CIALIS◀████████…
▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲…
grudzie艅 21st, 2010 at 10:07 po po艂udniu
Accupril…
Buygeneric drugs…
grudzie艅 24th, 2010 at 9:18 po po艂udniu
Abilify…
Buygeneric pills…
grudzie艅 27th, 2010 at 9:20 po po艂udniu
……
Buygeneric meds…
grudzie艅 28th, 2010 at 10:50 przed po艂udniem
fosamax@actonel.now” rel=”nofollow”>.…
Buynow…
grudzie艅 28th, 2010 at 10:06 po po艂udniu
shimmy@adalat.simone” rel=”nofollow”>..…
Buyit now…
grudzie艅 29th, 2010 at 9:16 po po艂udniu
fruite@of.the.earth.aloe.vera.juice.sale” rel=”nofollow”>……
Buynow…
grudzie艅 30th, 2010 at 10:16 po po艂udniu
Avelox@official.site” rel=”nofollow”>……
Buyno prescription…
stycze艅 5th, 2011 at 8:29 przed po艂udniem
buy@cheap.viagra.in.uk” rel=”nofollow”>.…
Buywithout prescription…
stycze艅 7th, 2011 at 3:05 przed po艂udniem
prozac@dangers.now” rel=”nofollow”>..…
Buygeneric drugs…
stycze艅 21st, 2011 at 9:35 przed po艂udniem
Zyvox@official.site” rel=”nofollow”>..…
Buygeneric pills…
stycze艅 21st, 2011 at 3:47 po po艂udniu
Depakote@official.site” rel=”nofollow”>.…
Buygeneric drugs…
luty 6th, 2011 at 1:46 przed po艂udniem
buy zithromax online…
Buyno prescription…
luty 6th, 2011 at 5:26 przed po艂udniem
buy zinc anode everett wa…
Buygeneric meds…
luty 6th, 2011 at 10:40 przed po艂udniem
other names for trazodone…
Buyno prescription…
luty 7th, 2011 at 1:38 przed po艂udniem
quinapril…
Buyit now…
luty 7th, 2011 at 1:47 po po艂udniu
Zocor…
Buygeneric drugs…
luty 7th, 2011 at 9:05 po po艂udniu
Vitamin B…
Buydrugs without prescription…
marzec 4th, 2011 at 10:08 przed po艂udniem
Vitamin B…
Buynow it…
marzec 4th, 2011 at 10:48 przed po艂udniem
where to buy lamisil…
Buygeneric drugs…
marzec 5th, 2011 at 7:22 przed po艂udniem
pharmacokinetics of zyrtec…
Buyit now…
marzec 7th, 2011 at 9:32 przed po艂udniem
Eye Drops…
Buynow…
marzec 7th, 2011 at 11:45 przed po艂udniem
Omnicef…
Buynow it…
marzec 7th, 2011 at 10:01 po po艂udniu
Risperdal…
Buygeneric meds…
marzec 8th, 2011 at 8:33 przed po艂udniem
Synthroid…
Buygeneric pills…
marzec 8th, 2011 at 5:50 po po艂udniu
Retin A…
Buywithout prescription…
marzec 8th, 2011 at 8:26 po po艂udniu
Remeron…
Buyno prescription…
marzec 9th, 2011 at 2:48 przed po艂udniem
purim suddah…
Buygeneric meds…
marzec 9th, 2011 at 2:36 po po艂udniu
how much benadryl to take with zyrtec…
Buydrugs without prescription…
marzec 9th, 2011 at 9:55 po po艂udniu
Synthroid…
Buygeneric meds…
marzec 10th, 2011 at 4:37 przed po艂udniem
Eye Drops…
Buyno prescription…
marzec 10th, 2011 at 9:45 przed po艂udniem
savella cheap canada…
Buyno prescription…
marzec 10th, 2011 at 7:07 po po艂udniu
savella diabetes blood sugar…
Buygeneric drugs…
marzec 10th, 2011 at 7:46 po po艂udniu
Rulide…
Buywithout prescription…
marzec 11th, 2011 at 1:44 przed po艂udniem
Pulmicort…
Buywithout prescription…
marzec 29th, 2011 at 8:21 przed po艂udniem
Synthroid@Synthroid.Synthroid” rel=”nofollow”>.…
Buynow it…
marzec 30th, 2011 at 4:53 po po艂udniu
Synthroid@Synthroid.Synthroid” rel=”nofollow”>..…
Buynow it…
marzec 30th, 2011 at 9:02 po po艂udniu
Spiriva@Spiriva.Spiriva” rel=”nofollow”>..…
Buyno prescription…
kwiecie艅 1st, 2011 at 10:53 po po艂udniu
……
Buygeneric meds…
kwiecie艅 2nd, 2011 at 1:46 po po艂udniu
……
Buywithout prescription…
kwiecie艅 3rd, 2011 at 8:30 przed po艂udniem
chantix@vs.zyban” rel=”nofollow”>..…
Buyit now…
kwiecie艅 3rd, 2011 at 6:49 po po艂udniu
retin@a.cheap.no.prescription” rel=”nofollow”>..…
Buygeneric drugs…
kwiecie艅 4th, 2011 at 3:06 przed po艂udniem
.…
Buyno prescription…
kwiecie艅 5th, 2011 at 8:47 przed po艂udniem
order@altace.cod” rel=”nofollow”>..…
Buynow…
kwiecie艅 6th, 2011 at 2:28 przed po艂udniem
dosage@of.abilify” rel=”nofollow”>..…
Buynow it…
kwiecie艅 6th, 2011 at 11:34 przed po艂udniem
flexeril@gain.weight” rel=”nofollow”>.…
Buygeneric drugs…
kwiecie艅 6th, 2011 at 3:55 po po艂udniu
……
Buyno prescription…
kwiecie艅 6th, 2011 at 11:46 po po艂udniu
……
Buygeneric drugs…
kwiecie艅 7th, 2011 at 2:02 po po艂udniu
..…
Buyit now…