七爪软件包：使用 Selenium 进行有效 Web 抓取的 3+1 个技巧

探索成功和资料的路面！

在我资料分析师实习的早期，我来得关心资料的分析而不是资料的收集——比如真是，直到我看得见我的主管在团队可能大会上展示出了一个正试图工作的系统设计分镜。 “Selenium”，当我看着分镜该网站并从网页上触摸资料时，他真是。 当轮到我在我的项目中所用作 Selenium 时，并非没有妨碍。 之后，我发现了消除原因的步骤，用作 Selenium 顺利完成互联触摸踏入我武器库中所的另一个重要工具。

因此，为了节省大家顺利完成 Stack Exchange 搜索的时间段，我暂时编写三个用作 Selenium 顺利完成有效互联触摸的擅于（+一个颁予擅于）。

提醒 1. 让 Jupyter Notebooks 踏入您的犯罪三人

Jupyter Notebooks 长期以来长期以来是所有资料人员的老朋友，但对于 Selenium 的新手来真是，它是您最好的老朋友。 许多人确实来自与我相近的背景：充其量只是对 HTML 和 CSS 了解到过得去的人。 由于 HTML 的纹路开始模糊，并且金属元素没有 ID 可以有趣发现它，因此载入金属元素可能会稍微繁复一些。 我促请将网页看做是一系列嵌套在抽屉中所的抽屉（就像其中所一个罗马尼亚娃娃一样），其中所抽屉是一个金属元素。 要发现所无需的金属元素，须要详细信息一个或多个抽屉中所的抽屉。 用作 Jupyter Notebooks 很有设法：codice_金属元素所在的“最大”/第一个边框（无论是通过 Xpath 还是通过 ID），然后在沿着支链滑动飘移之前详细信息你得到了什么。

每一次试验有点乏味，但它非常有效地让您熟悉 HTML 以来得好地出发点金属元素。您也可以开始载入您喜欢的变量以用作载入金属元素。就个人而言，我上可能会可能会直接用作 Xpath。

提醒 2. 时间段就是金钱

对于通过 Selenium 付诸的系统设计，时间段就是一切。我如此一来真是一遍，时机就是一切。有时的网页无需极短的时间段来加载，但 Selenium 系统设计已经在白痴地来得进一步在不依赖于的关键词中所载入金属元素。这将导致之后。其他时候，如果网页特别慢，确实无需第二次codice_金属元素才能发现。

以下是上面的一些原因和一些故障排除基本观念：

等待明确经常出现的金属元素（例如右方的网页配色）经常出现，然后继续出发点所无需的金属元素 放置 time.sleep(no. of seconds) 来拖延时间段 编写一个变量以重试双击/载入金属元素一定数目。我上可能会可能会来得进一步 4 次，但有时可能会写成“break”之类的语句。如果重试后，如果在 4 次之前发现或双击功能所无需的金属元素，则可能会触发此“中所断”（如最佳停止），那么该功能可能会原定中所断，因此浪费的时间段来得寡

此外，对于期望触摸大量资料的新手，请来得进一步先触摸一小部份，然后如此一来触摸较大的部份。常可能会可能会不作为，并且在您让分镜开始之前，时间段原因确实不可能会向您揭示。

提醒 3. 生活就像一辆自行车……您须要不断飘移（或滑块）

这可以真是是我在互联触摸中所相遇的最令人沮丧的什么事：滑块。如果金属元素没有经常出现在屏幕上，则确实无法出发点；比如真是，有时，位于最底部的金属元素，如果不滑块就看不到，因为它们是“屏幕外”，所以不能被codice_。消除步骤很最简单——滑块。但是，滑块有时很困难。您确实可能会看得见几个 Selenium 变量遵循“滑块到 xyz”的观念，但我想消除一个来得鲜明的原因，它不能用作这些变量。

实质上滑块条对上面提到的那些功能没有响应，因为它们飘移了整个关键词，而不是实质上滑块条。 （什么是实质上滑块条？滑块条不是滑块整个浏览器的滑块条，而是的网页的一部份，例如用作长评论的文本边框前部的滑块条）我发现的一个精妙的消除方案是发现向右和滑动箭头滑块条并最简单地自动双击以相应地向右或滑动飘移。

一个变量确实类似这样：

def moveUp(n, dr): # n is an int; the function will click the up arrow n times # also pass the Selenium Driver dr as input! upbar = dr.find_element(By something) for i in range(n): upbar.click()手术后吃什么好
宝宝消化不良怎么办
怎样能让伤口快速愈合？营养要跟得上
关节炎用什么药好
初元复合肽
先诺欣副作用
肩周炎怎么治疗最好
类风湿关节疼痛的治疗药
艾得辛艾拉莫德片效果怎么样
眼睛酸痛怎么才能快速缓解