Articles of curl multi

почему curl_multi_exec в двух циклах

Я видел кусок пример кода, мне интересно, зачем использовать два цикла do-while? в чем разница между двумя петлями? подождите ответ онлайн, спасибо ~~ do { $mrc = curl_multi_exec($mh, $active); } while ($mrc == CURLM_CALL_MULTI_PERFORM); while ($active && $mrc == CURLM_OK) { if (curl_multi_select($mh) != -1) { do { $mrc = curl_multi_exec($mh, $active); } while ($mrc […]

Как я могу отправлять данные GET на несколько URL одновременно с помощью cURL?

Мои извинения, я действительно задавал этот вопрос несколько раз, но так и не понял ответы. Вот мой текущий код: while($resultSet = mysql_fetch_array($SQL)){ $ch = curl_init($resultSet['url'] . $fullcurl); //load the urls and send GET data curl_setopt($ch, CURLOPT_TIMEOUT, 2); //Only load it for two seconds (Long enough to send the data) curl_exec($ch); //Execute the cURL curl_close($ch); //Close […]

Проверка ссылок с помощью Multi-Curl

Im строит функцию проверки ссылок, которая проверяет, имеет ли ссылка код 200/301/302. Я хочу проверить около 1000 ссылок, поэтому я использовал функцию Multi-CURL, и я получаю все заголовки, коды, URL-адрес, на который перенаправлен URL-адрес. Проблема заключается в том, что Multi-CURL выполняет параллельное добавление всех URL-адресов curl_multi_add_handle и возвращает полученные результаты и игнорирует остальные. Я знаю […]

Производительность PHP multi cURL хуже, чем последовательная file_get_contents

Я пишу интерфейс, в котором я должен запустить 4 http-запроса, чтобы получить некоторую информацию. Я реализовал интерфейс двумя способами: используя последовательные file_get_contents. используя multi завиток. Я сравнивал 2 версии с jmeter. Результат показывает, что многократный завиток намного лучше, чем последовательный file_get_contents, когда в jmeter есть только 1 поток, но намного хуже, когда 100 потоков. Вопрос […]

cURL с использованием нескольких прокси-серверов в цепочке

Можно ли связать несколько прокси в одном запросе с помощью cURL? Например: start cURL -> proxy1 -> proxy2 -> адрес назначения Можно ли это сделать с помощью cURL?

Асинхронные / параллельные HTTP-запросы с использованием PHP curl_multi

Недавно я рассмотрел возможность создания нескольких запросов с завитками. Возможно, я не понимаю его полностью, поэтому я просто надеюсь уточнить некоторые концепции. Это определенно хороший вариант, если вы извлекаете контент из нескольких источников. Таким образом, вы можете начать обработку результатов с более быстрых серверов, ожидая более медленных. Имеет ли смысл использовать его, если вы запрашиваете […]

Загрузка пакета AWS S3 из localhost php error

Я пытаюсь загрузить / массовую загрузку с localhost (xampp) в мой ведро S3 . Кажется, что работает около 6 элементов, после чего появляется сообщение об ошибке: Ошибка cURL говорит о Failed sending network data. от http://curl.haxx.se/libcurl/c/libcurl-errors.html Fatal error: Uncaught exception 'cURL_Multi_Exception' with message 'cURL resource: Resource id #34; cURL error: SSL_write() returned SYSCALL, errno = […]

Какой самый быстрый способ очистить много страниц в php?

У меня есть агрегатор данных, который опирается на очистку нескольких сайтов и индексирование их информации таким образом, который доступен для поиска пользователю. Мне нужно ежедневно очищать огромное количество страниц, и я столкнулся с проблемами, используя простые запросы на завивки, которые довольно медленны, когда они выполняются в быстрой последовательности в течение длительного времени (скребок работает 24/7 […]

PHP curl_multi_getcontent возвращает null

Я curl_multi за этим руководством по использованию curl_multi . http://arguments.callee.info/2010/02/21/multiple-curl-requests-with-php/ Я не могу сказать, что я делаю неправильно, но curl_multi_getcontent возвращает null. Предполагается вернуть JSON. Я знаю, что это не вызов mysql, поскольку он работал с циклом while и стандартным curl_exec , но страница слишком долго загружалась. (Я изменил некоторые детали setopt для обеспечения безопасности) […]

Почему curl_multi_exec () не выполняет мои скрипты вообще?

Я хотел запустить одновременно две команды cmd с использованием PHP. Я попробовал shell_exec() как с строками аргументов (т.е. мои команды cmd), разделенными && но которые, похоже, не работали в ОС Windows. Обсуждение об этом здесь. Тогда мой веб-поиск привел меня сюда . Основываясь на этом и примере на этой странице , я попытался поместить обе […]