Selenium

Selenium ist eine Fernsteuerung-API für verschiedene Webbrowser. In Java-Projekte integriert man es am besten mittels Maven (Group-ID:selenium-java, Artifact-ID: org.seleniumhq.selenium).

Fernsteuerung von Firefox

Um Firefox fernzusteuern, bedarf es noch des geckodriver, der von Github herunterzuladen ist und dann im Pfad enthalten sein muss. Z.B. in /usr/local/bin/.

Fernsteuerung von Chromium

Um Chromium fernzusteuern, bedarf es des ChromeDrivers. Dieser kann unter Debian 9 Stretch mit folgendem Befehl installiert werden:

 sudo aptitude install chromium-chromedriver

Schnelleres Parsen von Tabellen

Das Parsen von Tabellen nimmt in Selenium einige Zeit in Anspruch. Angeblich kann man das verbessern, indem nach Aufbau der Webpage der HTML-Code mittels Jsoup geparset wird.

String source = "

" + driver.findElement(By.xpath(locator)).getAttribute("innerHTML") + ""; Document doc = Jsoup.parse(source, "UTF-8");

Alternativen

In der Nodejs-Welt gibt es Alternativen zu Selenium, z.B.

• Puppeteer
  • https://www.lewuathe.com/simple-crawling-with-puppeteer-in-typescript.html

---