Лучший способ прочесть сайт?

Вы можете повторно использовать завитки. Кроме того, я изменил ваш код, чтобы проверить httpCode вместо использования strstr . Быстрее.

Кроме того, вы можете настроить завиток, чтобы сделать это параллельно, что я никогда не пробовал. См. http://www.php.net/manual/en/function.curl-multi-exec.php

Улучшенный getStats() с повторно используемым ручкой завитка.

 function getStats(&$curl,$username) { curl_setopt($curl, CURLOPT_URL, "http://hiscore.runescape.com/index_lite.ws?player=" . $username); $output = curl_exec($curl); if (curl_getinfo($curl, CURLINFO_HTTP_CODE)!='200') { return null; } return $output; } 

Применение:

 $participants = array("Zezima", "Allar", "Foot", "Arma150", "Green098", "Skiller 703", "Quuxx"); $curl = curl_init(); curl_setopt ($curl, CURLOPT_CONNECTTIMEOUT, 0); //dangerous! will wait indefinitely curl_setopt ($curl, CURLOPT_USERAGENT, sprintf("Mozilla/%d.0", rand(4, 5))); curl_setopt ($curl, CURLOPT_HEADER, false); curl_setopt ($curl, CURLOPT_RETURNTRANSFER, 1); curl_setopt ($curl, CURLOPT_SSL_VERIFYPEER, 0); curl_setopt ($curl, CURLOPT_VERBOSE, 1); //try: curl_setopt($curl, CURLOPT_HTTPHEADER, array( 'Connection: Keep-Alive', 'Keep-Alive: 300' )); header('Content-type:text/plain'); foreach($participants as &$user) { $stats = getStats($curl, $user); if($stats!==null) { echo $stats."\r\n"; } } curl_close($curl); 

Когда вы выполняете множество сетевых запросов, подобных этому, вы находитесь во власти сети и удаленного сервера в отношении того, сколько времени требуется для ответа.

Из-за этого лучший способ сделать все ваши запросы завершенными за короткий промежуток времени – это, вероятно, сделать их все сразу. Создайте новую нить для каждого из них. Для размера данных, с которыми вы работаете, возможно, вполне возможно сделать буквально все сразу, но если это проблема, тогда, возможно, попробуйте примерно 20 одновременно.

EDIT: Я только понял, что вы используете PHP, у которого нет потоков. Ну, наверное, плохой выбор языка, для начала. Но вы могли бы эмулировать потоки, открывая новые процессы. Однако это может быть крушение, если PHP работает внутри процесса веб-сервера, так как он клонирует весь сервер. Я рассмотрю, предлагает ли PHP какие-то асинхронные веб-запросы, которые могли бы дать аналогичный эффект.

EDIT 2:

Вот страница, где обсуждается, как запустить HTTP-запрос в фоновом режиме с помощью PHP:

http://w-shadow.com/blog/2007/10/16/how-to-run-a-php-script-in-the-background/

Однако это «огонь и забыть», это не позволяет вам подобрать ответ на ваш запрос и что-то сделать с ним. Один из подходов, который вы могли бы предпринять, заключается в том, чтобы использовать этот метод для устранения многих запросов на другую страницу на вашем собственном сервере, и каждый из этих страниц делает один запрос на удаленный сервер. (Или каждый рабочий запрос может обрабатывать пакет запросов, если вы не хотите запускать слишком много запросов одновременно).

Вам все равно понадобится способ собрать все результаты и способ обнаружить, когда вся процедура будет завершена, чтобы вы могли отображать результаты. Я бы, вероятно, использовал либо базу данных, либо файловую систему для координации между различными процессами.

(Опять же, выбор более мощного языка для этой задачи, вероятно, будет полезен. В области языков, подобных PHP, я знаю, что Perl очень легко справляется с этой проблемой с помощью «использования потоков», и я думаю, что Python или Ruby тоже будут. )

ИЗМЕНИТЬ 3:

Другое решение, использующее оболочку UNIX, чтобы обойти ограничения PHP, выполняя работу в отдельных процессах. Вы можете сделать что-то вроде этого:

 echo '$urlList' | xargs -P 10 -r -n1 wget 

Возможно, вам захочется немного поиграть с параметрами wget , например, явно указать выходной файл, но это вообще идея. Вместо wget вы также можете использовать curl или даже просто вызвать скрипт PHP, который предназначен для запуска из командной строки, если вы хотите полностью контролировать работу по извлечению страниц.

Опять же, с этим решением у вас все еще есть проблема распознавания, когда работа выполнена, чтобы вы могли показать результаты.

Я получил эту идею для этого подхода с этой страницы:

http://www.commandlinefu.com/commands/view/3269/parallel-file-downloading-with-wget

Поскольку вы делаете несколько запросов на один и тот же хост, вы можете повторно использовать ручку curl, и если сайт поддерживает запросы keep-alive, это может ускорить ваш процесс, удачный бит по многим запросам.

Вы можете изменить свою функцию следующим образом:

 function getStats($username) { static $curl = null; if ($curl == null) { $curl = curl_init(); } curl_setopt($curl, CURLOPT_URL, "http://hiscore.runescape.com/index_lite.ws?player=" . $username); curl_setopt ($curl, CURLOPT_HTTPHEADER, array('Connection: Keep-Alive')); //... // remove curl_close($curl) } 

Выполнение этого приведет к тому, что вам не придется закрывать и восстанавливать сокет для каждого запроса пользователя. Он будет использовать одно и то же соединение для всех запросов.

curl – очень хороший способ прочитать содержание веб-сайта – я полагаю, ваша проблема связана с тем, что для загрузки требуется одна страница. Если вы можете получить все 100 страниц в параллель, вы, вероятно, все обработали менее чем за 10 секунд.

Чтобы избежать работы с потоками, замками, семафорами и всеми сложными материалами в потоках, прочитайте эту статью и узнайте, как сделать приложение параллельным почти бесплатно.