Как получить ссылку из обработчика событий javascript в Xpath?

Ниже приведен фрагмент кода HTML. Мне нужен какой-то response.xpath (......), чтобы получить ссылку на разбивку на страницы. Я пробовал делать

 response.xpath('//*[@class="ui2-pagination-pages"]/a/@href').extract()   

но это ничего не дает. Что я здесь делаю неправильно? Благодарю.

<div class="ui2-pagination-pages">
         <a href="javascript:void(0)" class="prev" data-role="prev">Prev</a>
        <a rel="nofollow" href="//www.alibaba.com/showroom/acrylic-wine-box_1.html">1</a>
         <a rel="nofollow" href="//www.alibaba.com/showroom/acrylic-wine-box_2.html">2</a>
        <a rel="nofollow" href="//www.alibaba.com/showroom/acrylic-wine-box_3.html">3</a>
        <span class="current">4</span>
         <a rel="nofollow" href="//www.alibaba.com/showroom/acrylic-wine-box_5.html">5</a>
         <a rel="nofollow" href="//www.alibaba.com/showroom/acrylic-wine-<span class="interim">...</span>
        <a rel="nofollow" href="//www.alibaba.com/showroom/acrylic-wine-box_103.html">103</a>
        <a href="javascript:void(0)" class="next" data-role="next">Next</a>
        </div>

Я хочу обрезать все разбитые на страницы ссылки и хочу пройти через него. Как мне это сделать?

javascript,python,xpath,web-scraping,scrapy,

0

Ответов: 1


1 принят

Эта проблема происходит, потому что веб-сайт, который вы хотите очистить, использует Javascript для рендеринга его содержимого, и в основном пауки не могут выполнять код javascript, у которого нет механизма, который может действительно интерпретировать его, и для этой цели команда ScrapingHub создала плагин, называемый всплеск .

Вы можете проверить это со своей официальной страницы github: Github

JavaScript, Python, XPath, веб-соскоб, SCRAPY,
Похожие вопросы