如何实现对亚马逊网站产品搜索结果网页中自动上下页的翻页

需要在亚马逊网站中通过关键词搜索产品时，实现对网页自动进行点击上下页链接翻页，以便进行数据提取。经观察发现，包含上下页翻页链接的HTML内容及代码如下所示：

<a href="/s?k=iphone+charger&crid=1EE3FWFFFIWJEOF&ref=sr_pg_2" aria-label="Go to previous page, page 1" class="s-pagination-item s-pagination-previous s-pagination-button s-pagination-separator"><svg xmlns="http://www.w3.org/2000/svg" width="8" height="12" viewBox="0 0 8 12" focusable="false" aria-hidden="true"><path d="M5.874.35a1.28 1.28 0 011.761 0 1.165 1.165 0 010 1.695L3.522 6l4.113 3.955a1.165 1.165 0 010 1.694 1.28 1.28 0 01-1.76 0L0 6 5.874.35z"></path></svg>Previous</a>

如下图所示：

每个翻页链接都包括一个属性aria-label及页码说明：

aria-label=“Go to previous page, page 1”

则可以通过下面的JavaScript选择器及字符判断代码定位所要的翻页元素标签，并实现自动点击。

// 通过定位并点击下一页链接Next翻页
function goToNextPage() {
    const nextPageLink = Array.from(document.querySelectorAll('a[aria-label^="Go to next page"]'))
    .find(link => link.textContent.trim().includes('Next'));
console.log(targetLink);
    if (nextPageLink) {
        nextPageLink.click();
    }
}

自动定位并点击上一页：

// 通过定位并点击上一页链接Previous翻页
function goToPreviousPage() {
    const previousPageLink = Array.from(document.querySelectorAll('a[aria-label^="Go to previous page"]'))
    .find(link => link.textContent.trim().includes('Previous'));
console.log(previousPageLink);
    if (previousPageLink) {
        previousPageLink.click();
    }
}

另外，如果还想知道当前页的页码，可以通过网页url超链接里的参数page获得，比如当前URL为：

https://www.amazon.com/s?k=iphone+charger&page=3&sprefix=%2Caps%2C620&ref=sr_pg_3

这里的page=3就是当前页码，代码如下：

//获取当前页面url
const urlParams = new URLSearchParams(window.location.search);
const pageValue = urlParams.get('page');
console.log(pageValue);

但是在最开始的第一页，url里面没有page这个参数，可以通过翻页链接里的页码来获取，有一个span是这样的：

<span class="s-pagination-item s-pagination-selected" aria-label="Current page, page 3">3</span>

aria-label=“Current page, page 3”，意思是当前页面为第3页。可以这样获取：

//获取当前页码
const currentPage = document.querySelector('span.s-pagination-item.s-pagination-selected').getAttribute('aria-label').match(/page (\d+)/)[1];
console.log(currentPage);

自动点击回到第1页：

document.querySelector('a[aria-label="Go to page 1"]').click();

这个程序在亚马逊美国站时没有问题，但是在其他非英语站点就会有问题，需要把Go to page换成对应的语言。