Мне нужно написать веб-искатель и захотеть выполнить сканирование с помощью известного пользовательского агента. Например, я хочу, чтобы мой искатель работал как iphone, чтобы обходить мобильный сайт веб-сайта, а затем снова сканировать с помощью агента Mozilla PC и т. Д.
Таким образом, Ill сможет сканировать каждый «тип» сайта (мобильный и ПК). Тем не менее, я также хочу настроить пользовательский агент искателя, поэтому веб-мастера также видят в своей статистике, что это искатель, который посетил весь сайт, а не реальных пользователей.
Итак, мой вопрос: вы, ребята, знаете, как устанавливать мобильный агент + агент-искатель одновременно, на PHP? Возможно ли это?
Пожалуйста, обратитесь к RFC1945 за тем, как должен быть сформирован агент пользователя :
10.15 User-Agent
Поле заголовка запроса пользователя-агента содержит информацию о пользовательском агенте, инициирующем запрос. Это делается для статистических целей, отслеживания нарушений протокола и автоматического распознавания пользовательских агентов для адаптации ответов, чтобы избежать ограничений конкретного пользовательского агента. Хотя это не требуется, пользовательские агенты должны включать это поле с запросами. Поле может содержать несколько токенов продукта (раздел 3.7) и комментарии, идентифицирующие агента и любые субпродукты, которые составляют значительную часть пользовательского агента. По соглашению, токены продукта перечислены в порядке их значимости для идентификации приложения.
User-Agent = "User-Agent" ":" 1*( product | comment )Пример:
User-Agent: CERN-LineMode/2.15 libwww/2.17b3
Так что вы положили туда более или менее до вас. Вы можете представлять собой GoogleBot-Mobile:
или позировать как iPhone и добавлять свой собственный материал
Mozilla/5.0 (iPhone; U; CPU iPhone OS) (compatible; MyBot/1.0; +http://about.my/bot")
function crawl($url){ $headers[] = "User-Agent:Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.2.13) Gecko/20101203 Firefox/3.6.13"; // <-- this is user agent $headers[] = "Accept:text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"; $headers[] = "Accept-Language:en-us,en;q=0.5"; $headers[] = "Accept-Encoding:gzip,deflate"; $headers[] = "Accept-Charset:ISO-8859-1,utf-8;q=0.7,*;q=0.7"; $headers[] = "Keep-Alive:115"; $headers[] = "Connection:keep-alive"; $headers[] = "Cache-Control:max-age=0"; $curl = curl_init(); curl_setopt($curl, CURLOPT_URL, $url); curl_setopt($curl, CURLOPT_HTTPHEADER, $headers); curl_setopt($curl, CURLOPT_ENCODING, "gzip"); curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); $data = curl_exec($curl); curl_close($curl); return $data; } echo crawl("http://www.google.com"); // revenge
Вы всегда можете использовать, например, http://m.facebook.com/ w / o пользовательский агент, хотя большинство веб-сайтов перенаправляют пользователя на правильный контент, читая пользовательский агент.