Articles of web crawler

как идентифицировать веб-искателей google / yahoo / msn с помощью PHP?

НАСКОЛЬКО МНЕ ИЗВЕСТНО, $ _SERVER ['REMOTE_HOST'] должен заканчиваться «google.com» или «yahoo.com». но является ли он наиболее эффективным методом? любой другой выход?

Как создать простой сканер в PHP?

У меня есть веб-страница с кучей ссылок. Я хочу написать сценарий, который будет выгружать все данные, содержащиеся в этих ссылках в локальном файле. Кто-нибудь сделал это с PHP? В качестве ответа было бы достаточно общих рекомендаций и исправлений.

как извлечь ссылки и заголовки с .html-страницы?

для моего веб-сайта я хотел бы добавить новую функциональность. Я хотел бы, чтобы пользователь мог загрузить файл резервных копий закладок (из любого браузера, если это возможно), чтобы я мог загрузить его в свой профиль, и им не нужно вставлять все их вручную … единственная часть, которую мне не хватает, чтобы сделать это, это часть извлечения […]

Как определить веб-искателя?

Как я могу отфильтровать хиты с веб-браузеров и т. Д. Хиты, которые не являются человеческими. Я использую maxmind.com для запроса города из IP. Это не совсем дешево, если я должен заплатить за ВСЕ хиты, включая веб-браузеры, роботы и т. Д.

сканирование html-страницы с использованием php?

Этот веб-сайт содержит более 250 курсов в одном списке. Я хочу получить имя каждого курса и вставить его в мою базу данных mysql, используя php. Курсы перечислены следующим образом: <td> computer science</td> <td> media studeies</td> … Есть ли способ сделать это на PHP, вместо того, чтобы мне сумасшедший кошмар ввода данных?