PHP Lang
  1. PHP Lang
  3. Scrap Amazon все сделки php curl?
Intereting Posts
mysql-сервер удалил ошибку во время установки миграции (laravel) Как отключить буферизацию вывода в PHP Проверка схемы JSON с помощью PHP Как получить долготу широты нескольких адресов геолокации PHP + Сохранить несколько строк из .csv в mysql Обновление PHP 5.6 скомпилированных старых расширений перенаправить пользователя после нажатия ссылки на процесс sql? Является ли ведущий двоеточие для имен параметров передан в PDOStatement :: bindParam () необязательно? API AtTask – добавление времени выключения Строка php исключает жирный курсив и т. д. Unserialize в Java – сериализованный php-объект Определение типа запроса в PHP (GET, POST, PUT или DELETE) WooCommerce – Как удалить продукт и категорию продукта из URL-адресов? Sql Защита от впрыска с помощью только str_replace Каков правильный способ остановить проверку от наблюдателя событий в Magento?

Scrap Amazon все сделки php curl?

Я хочу отменить страницу всех амазонок

http://www.amazon.com/gp/goldbox/all-deals/ref=sv_gb_1

Так что я использую curl php 

$request = 'http://www.amazon.com/gp/goldbox/all-deals/ref=sv_gb_1'; $ch = curl_init(); curl_setopt($ch,CURLOPT_URL,$request); curl_setopt($ch, CURLOPT_HEADER, false); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, true); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); curl_setopt($ch, CURLOPT_TIMEOUT, 80); $file_source = curl_exec($ch); print_r($file_source); exit;

слом завершен, но содержимое страницы ответа div пусто. содержимое было получено из динамических запросов ajax в amazon. как я могу отказаться от всех продуктов сделки, используя php и curl

Ссылка на мой ответ

Обновить код 

  $request = 'http://www.amazon.com/gp/goldbox/all-deals/ref=sv_gb_1'; $header[] = "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"; /*$header[] = "Accept-Language: en-US,en;q=0.5";*/ /* $header[] = "Accept-Encoding: gzip, deflate";*/ $header[] = 'Cookie: x-wl-uid=1vlKm5hBxhHPg37UgkrAPYZZaV0wv+T5knGezWJq0AIEWI30hJYp0XouddMIZeemj1LKAi9fDQq7aoFN+mbvlVYPTBQVLFdzs0aeTGWtiCY0Ay63L0ezPfZRKXQHC /Wum4ywRviFW9es=; session-id-time=2082787201l; session-id=192-9168386-7231424; ubid-main=187-6710460-8617661 ; session-token="+SFC4vDx/BvcD8D1Mdgeo2jtnTD0qPHF5j2nWNwbFGcRyW7/o4LBOmBHJosU5W0SgoAd6lhi0NZWg/6o5WE6o45k +VCT5a5dgj0tltSEkBT80oWT0CDk+jCDEEhIcxnCe6aqkUn6soFiMJHIsMWujo4qyA6A70PC1xKGKdIFMUm3H0DGSdIMqITs4Mjb1 /1vY6GxnPeh5ncasxl+tUN2dHVwwJbj1ZrmyJdDxSDd8/o="; __utma=194891197.2101747155.1434117141.1434356635.1434362529 .4; __utmz=194891197.1434362529.4.4.utmccn=(referral)|utmcsr=stackoverflow.com|utmcct=/questions/11589556 /retrieving-an-amazon-stores-list-of-products-using-php|utmcmd=referral; x-main="Xi0312Ip8BrjoFoj6Zp9OLxDcU6kCvlm4DExlT5yNgHa2b3htenxvUsF2TZR3 ?Fn"; s_pers=%20s_vnum%3D1866356399079%2526vn%253D2%7C1866356399079%3B%20s_invisit%3Dtrue%7C1434364356330 %3B%20s_nr%3D1434362556331-Repeat%7C1442138556331%3B; csm-hit=b-1RHERWP84F8S70KRQ903|1434453087266; preferred-geo =national; UserPref=O9NYa0FpfOIAcRMnkQf7WL3LyhrjCsMBKgKfVxT4zK8uOTF5KjzPAwmz0DuVnfXhdkinEE1BEMgPn09eHwavl +Hwl1BOSvjp1ewiG1iCXa0R77FsPOGbpq06MWB0MC7Wwff4gehUEAle5IfyFQqKGh1XvJ4YiMFsR2mwmyzzVJTo0WPGZzvvpCVLFmx22cRVwEi4sX8y +IfEKu76B4p1GHPdZVo1HIwLooo8CT7lboNUi4Hhn6mhtyGCNEDLvWD8NII48Vd9EkcBjUpiSeNroRjYO9yNkj8SI3xJVI0befNipOfxAzPSnuQqeBpqm99bWArk9ZZl +EM5QKzoPNJSF0FqVnnYavt4G6F/PHedaJVl8pU0A6N9lBjK6YZRFflyaoEYPtUW+nqK0xqO+YusAMAlhHBuW33KMdtt3i6oufQ4yTDqIgAiQ1ZTXcsb2tcu ; s_dslv=1434370132739; lc-main=en_US; aws-target-visitor-id=1434357190046-572838.22_02; aws-target-data =%7B%22support%22%3A%221%22%7D; s_fid=7BB6DD9CE8128EC3-2A07290402DD6AF6; s_vn=1465893191447%26vn%3D1 ; s_nr=1434370132733-New; s_vnum=1866370132735%26vn%3D1; skin=noskin; b2b-main=0'; $header[] = "Connection: keep-alive"; $reffer = 'http://www.amazon.com/gp/goldbox/all-deals/ref=sv_gb_1'; $ch = curl_init(); curl_setopt($ch,CURLOPT_URL,$request); curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 5.1; rv:38.0) Gecko/20100101 Firefox/38.0'); curl_setopt($ch, CURLOPT_HTTPHEADER, $header); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); curl_setopt($ch, CURLOPT_REFERER, $reffer); curl_setopt($ch, CURLOPT_TIMEOUT, 80); curl_setopt($ch, CURLOPT_MAXREDIRS, 10); $file_source = curl_exec($ch); print_r($file_source); ,  $request = 'http://www.amazon.com/gp/goldbox/all-deals/ref=sv_gb_1'; $header[] = "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"; /*$header[] = "Accept-Language: en-US,en;q=0.5";*/ /* $header[] = "Accept-Encoding: gzip, deflate";*/ $header[] = 'Cookie: x-wl-uid=1vlKm5hBxhHPg37UgkrAPYZZaV0wv+T5knGezWJq0AIEWI30hJYp0XouddMIZeemj1LKAi9fDQq7aoFN+mbvlVYPTBQVLFdzs0aeTGWtiCY0Ay63L0ezPfZRKXQHC /Wum4ywRviFW9es=; session-id-time=2082787201l; session-id=192-9168386-7231424; ubid-main=187-6710460-8617661 ; session-token="+SFC4vDx/BvcD8D1Mdgeo2jtnTD0qPHF5j2nWNwbFGcRyW7/o4LBOmBHJosU5W0SgoAd6lhi0NZWg/6o5WE6o45k +VCT5a5dgj0tltSEkBT80oWT0CDk+jCDEEhIcxnCe6aqkUn6soFiMJHIsMWujo4qyA6A70PC1xKGKdIFMUm3H0DGSdIMqITs4Mjb1 /1vY6GxnPeh5ncasxl+tUN2dHVwwJbj1ZrmyJdDxSDd8/o="; __utma=194891197.2101747155.1434117141.1434356635.1434362529 .4; __utmz=194891197.1434362529.4.4.utmccn=(referral)|utmcsr=stackoverflow.com|utmcct=/questions/11589556 /retrieving-an-amazon-stores-list-of-products-using-php|utmcmd=referral; x-main="Xi0312Ip8BrjoFoj6Zp9OLxDcU6kCvlm4DExlT5yNgHa2b3htenxvUsF2TZR3 ?Fn"; s_pers=%20s_vnum%3D1866356399079%2526vn%253D2%7C1866356399079%3B%20s_invisit%3Dtrue%7C1434364356330 %3B%20s_nr%3D1434362556331-Repeat%7C1442138556331%3B; csm-hit=b-1RHERWP84F8S70KRQ903|1434453087266; preferred-geo =national; UserPref=O9NYa0FpfOIAcRMnkQf7WL3LyhrjCsMBKgKfVxT4zK8uOTF5KjzPAwmz0DuVnfXhdkinEE1BEMgPn09eHwavl +Hwl1BOSvjp1ewiG1iCXa0R77FsPOGbpq06MWB0MC7Wwff4gehUEAle5IfyFQqKGh1XvJ4YiMFsR2mwmyzzVJTo0WPGZzvvpCVLFmx22cRVwEi4sX8y +IfEKu76B4p1GHPdZVo1HIwLooo8CT7lboNUi4Hhn6mhtyGCNEDLvWD8NII48Vd9EkcBjUpiSeNroRjYO9yNkj8SI3xJVI0befNipOfxAzPSnuQqeBpqm99bWArk9ZZl +EM5QKzoPNJSF0FqVnnYavt4G6F/PHedaJVl8pU0A6N9lBjK6YZRFflyaoEYPtUW+nqK0xqO+YusAMAlhHBuW33KMdtt3i6oufQ4yTDqIgAiQ1ZTXcsb2tcu ; s_dslv=1434370132739; lc-main=en_US; aws-target-visitor-id=1434357190046-572838.22_02; aws-target-data =%7B%22support%22%3A%221%22%7D; s_fid=7BB6DD9CE8128EC3-2A07290402DD6AF6; s_vn=1465893191447%26vn%3D1 ; s_nr=1434370132733-New; s_vnum=1866370132735%26vn%3D1; skin=noskin; b2b-main=0'; $header[] = "Connection: keep-alive"; $reffer = 'http://www.amazon.com/gp/goldbox/all-deals/ref=sv_gb_1'; $ch = curl_init(); curl_setopt($ch,CURLOPT_URL,$request); curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 5.1; rv:38.0) Gecko/20100101 Firefox/38.0'); curl_setopt($ch, CURLOPT_HTTPHEADER, $header); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); curl_setopt($ch, CURLOPT_REFERER, $reffer); curl_setopt($ch, CURLOPT_TIMEOUT, 80); curl_setopt($ch, CURLOPT_MAXREDIRS, 10); $file_source = curl_exec($ch); print_r($file_source);

Solutions Collecting From Web of "Scrap Amazon все сделки php curl?"

Основываясь на моем быстром анализе, вы можете запросить XHR, сделанные amazon, чтобы запросить сделки.

Такие динамические веб-сайты получают свои данные через звонки Ajax JSON. Можно попытаться выяснить, откуда из данных динамически загружается (используя инструменты разработчика или веб-сниффера), а затем запрашивать эти URL-адреса для данных.

Смотрите снимок . Но если вы запросите их с помощью php Curl, вы должны использовать / подражать заголовкам http этих конкретных заголовков запросов (включая файлы cookie): заголовки запроса

Обновить

На основе вашего нового запроса на завивание …

  1. Страница амазонки (ее js-логика) делает XHR на своем сервере для каждого элемента продукта. XHR выглядят так: http://www.amazon.com/xa/dealcontent/v2/GetDealMetadata?nocache=1434445645152 не http://www.amazon.com/gp/goldbox/all-deals/ref=sv_gb_1 который только референт.

  2. Запрос на товар – POST , а не GET.

  3. Вероятно, вы получили cookie из своего браузера и ввели его в заголовок php curl. Неправильно. Эти файлы cookie относятся к вашему сеансу браузера , не связанные с сеансом вашего php-сервера, который будет запрашивать XHR. Поэтому для этого используйте куки-кувшин, см. Сообщение .
  4. Нагрузка POST – это объект, который должен быть сформирован с известной структурой. Данные формы: {"requestMetadata":{"marketplaceID":"ATVPDKIKX0DER","sessionID":"175-4567874-0146849","clientID":"goldbox"},"widgetContext":{"pageType":"GoldBox","subPageType":"AllDeals","deviceType":"pc","refRID":"1VFVJBKEYZT3DGWSANXQ","widgetID":"1969939662","slotName":"center-6"},"page":1,"dealsPerPage":8,"itemResponseSize":"NONE","queryProfile":{"featuredOnly":false,"dealTypes":["LIGHTNING_DEAL","BEST_DEAL"],"includedCategories":["283155","599858","154606011"],"excludedExtendedFilters":{"MARKETING_ID":["restrictedcontent"]}}}

Смотрите изображение инструментов разработчика: увидеть красные точки

  1. Как упоминал Майкл – sqlbot , вы пытаетесь сделать действие, которое нарушает условия использования Amazon. Но для техники царапин я все еще обновляю свой ответ.