Пошуковий робот — Вікіпедія

Пошуковий робот (також англ. web crawler, англ. web spider) — програма, що є складовою частиною пошукової системи та призначена для перегляду сторінок інтернету з метою введення інформації про них (ключових слів) до бази даних.

Пошукові роботи здійснюють загальний пошук інформації в Інтернеті. Вони повідомляють про зміст знайденого документа, індексують його і добувають підсумкову інформацію. Вони також переглядають заголовки, деякі посилання і відправляють проіндексовану інформацію до бази даних пошукового механізму.

Було запропоновано приєднати статтю Краулінг до цієї статті або розділу, але, можливо, це варто додатково обговорити. Пропозиція з грудня 2017.

Як закрити сайт від індексації[ред. | ред. код]

1. За допомогою файла robots.txt
2. За допомогою мета-тегу

Посилання[ред. | ред. код]

• A History of Search Engines (англ.)

Це незавершена стаття про Інтернет. Ви можете допомогти проєкту, виправивши або дописавши її.

Ця стаття потребує додаткових посилань на джерела для поліпшення її перевірності. Будь ласка, допоможіть удосконалити цю статтю, додавши посилання на надійні (авторитетні) джерела. Зверніться на сторінку обговорення за поясненнями та допоможіть виправити недоліки. Матеріал без джерел може бути піддано сумніву та вилучено. (жовтень 2015)