[Geschlossen] AmericanExpress error while synchronizing, Proxy-Support

[Mo_]

Siehe hier: https://github.com/ariya/phantomjs/wiki.
Hier steht:

Note on PhantomJS 2: The 2.x branch is deprecated meaning its no longer mantained

Wie können die denn 2.x auf deprecated setzen, wenn noch nichtmal ein 3.x als development gestartet wurde. Naja, das nächste Release wird dann wohl mit 3.x getagged, denn aktuelle Entwicklung gibt es ja.

[Hibiscus-Scripter]

Dies liegt wohl daran das der Entwickler die weiter-Entwicklung als nicht sinnvoll betrachtet da es nun den Chrome-Headless-Mode gibt... Hierzu ein Post von mir aus den Entwickler-Forum

Nur mal als Zwischen-Info da ich heute wohl endlich mal meine erste Test-Version mit PhantomJS rausbringen werde:

Die aktuelle Stable von PhantomJS ist ja auch schon wieder über 1,5 Jahr alt und wird nach meiner theorie auch nicht mehr richtig weiter entwickelt. Dies bestätigt sich auch etwas anhand von Github und
https://www.infoq.com/news/2017/04/Phan ... -uncertain

Nun gibt es wohl aber eine Alternative die das auch begründet und obsolet macht:

Chrome im Headless-Browser Mode:
https://www.chromestatus.com/features/5678767817097216
Damit wird dann wohl endlich wirklich alles ohne Probleme gehn:

• Volle Technologie-Unterstützung (JQuery, JUnit, JavaScript, HTML5, usw...)
• Normaler File-Download (wenn freigegeben), Screenshots, usw...

Dies bedeutet wiederum ich werde wie immer ein gemeinsames PlugIn-Paket bauen das alles notwendige beinhaltet... falls ich hier thematisch richtig liege...

Gruß

Doch dieser ist zum Beispiel nicht mehr unter Linux 32-Bit verfügbar... Und das Paket riesig wird wenn ich für jede Plattform Chrome einbaue...
Hat eben alles Vor- und Nachteile...

[Mo_]

Verstehe ich dieses "Chrome im Headless-Browser Mode" nun richtig, dass das ein vollständiger Chrome-Browser ist, der sich skripten lässt und ohne GUI läuft? Wäre natürlich in der Tat riesig. Ich bin da nun nicht im Thema, aber würde dir Chromium hierbei helfen, d.h. ein eigener Build von den offenen Quellen, den man mittels configure Flags evtl. etwas kleiner halten kann?

In jedem Fall müsstest du dafür aber dein Plugin neu schreiben?
Um zum Thema zurückzukommen, wäre das natürlich ein großer Aufwand, nur um das für mich im Moment einzige Problem zu lösen, dass der Proxy nicht richtig unterstützt wird, was ich mir kaum vorstellen kann.

[gochbewohner]

Auch ohne Proxy scheint AMEX im Augenblick nicht zu funktionieren.

siehe meine Post hier: viewtopic.php?f=34&t=485

[Hibiscus-Scripter]

Verstehe ich dieses "Chrome im Headless-Browser Mode" nun richtig, dass das ein vollständiger Chrome-Browser ist, der sich skripten lässt und ohne GUI läuft? Wäre natürlich in der Tat riesig. Ich bin da nun nicht im Thema, aber würde dir Chromium hierbei helfen, d.h. ein eigener Build von den offenen Quellen, den man mittels configure Flags evtl. etwas kleiner halten kann?

In jedem Fall müsstest du dafür aber dein Plugin neu schreiben?
Um zum Thema zurückzukommen, wäre das natürlich ein großer Aufwand, nur um das für mich im Moment einzige Problem zu lösen, dass der Proxy nicht richtig unterstützt wird, was ich mir kaum vorstellen kann.

So hallo, bin aus dem Urlaub zurück...
das hast du soweit alles richtig verstanden, hierzu ist wohl auch dieser Post interessant: https://github.com/ariya/phantomjs/issues/15344

Gruß

[Mo_]

Hi, guten Urlaub gehabt? Bei mir steht jetzt auch Urlaub an

Wie @gochbewohner sagt, geht derzeit auch ohne Proxy der AMEX Abruf nicht.

Code: Alles auswählen

error while synchronizing
java.lang.Exception: Saldo konnte nicht ermittelt werden: Letzte fünf Stellen der Kreditkartennummer auf Seite nicht gefunden! Überprüfen Sie Ihre Angaben.
	at de.derrichter.hibiscus.mashup.crossover.websync.WebSynchronizeJobKontoauszug.execute(WebSynchronizeJobKontoauszug.java:86)
	at de.derrichter.hibiscus.mashup.crossover.websync.WebSynchronizeBackend$WebSyncJobGroup.sync(WebSynchronizeBackend.java:392)
	at de.willuhn.jameica.hbci.synchronize.AbstractSynchronizeBackend$Worker.run(AbstractSynchronizeBackend.java:403)
	at de.willuhn.jameica.gui.GUI$7.run(GUI.java:1057)

Brauchst du das ganze Log, dann erstelle ich noch eins. Im Urlaub wird es bei mir wieder vermehrt AMEX Zahlungen geben. Aber auch in den letzten 2 Monaten haben sich einige angehäuft, die ich eigentlich nun alle paar Wochen von dem einen Proxy-freien Rechner abrufe.

Im testarea Repository ist bereits etwas mit chromedriver eingecheckt, sowie das neure phantomjs, das dort aber nicht funktioniert, weil er auf die falsche Version zugreifen möchte. Hast du schon mit chromedriver etwas probiert?
Ist ein funktionierender Stand im testarea verfügbar?

[Hibiscus-Scripter]

Der Umbau oder die Integration des ChromeDriver befindet sich in der Entwicklung.
PhantomJS hat leider total versagt..

Gruß

PS: Da ich selbst auf die Vollendung aufgrund vieler Urlaubstransaktionen warte hat dies hier die oberste Priorität ;)

[Hibiscus-Scripter]

So, endlich kann ich wohl eine allgemein funktionierende Version mit dem neuem WebDriver ChromeDriver herausgeben...
Hierbei möchte ich gleich erwähnen das mehrere PlugIns installiert werden müssen!
Hilfe hierzu gibst wie immer auch über die Posting-Regeln (dort ganz unten)

Gerne mal mit

mindestens der aktuellen Stable-Build von

• hibiscus.scripting.selenium

und den aktuellen Nightly-Builds von

• hibiscus.scripting.chromedriver
• finance.websync
• hibiscus.mashup

ausprobieren, womit nun auch laut meines ersten Tests auch die Verbindung über einen Proxy unterstützt werden sollte.
(hibiscus.scripting.phantomjsdriver kann wieder entfernt werden)

Hilfe hierzu gibst wie immer auch über die Posting-Regeln (dort ganz unten)

Hier dann bitte auch wieder Rückmeldung geben.

Gruß

[gochbewohner]

Ohne Einstellung eines Proxys in Jamaica, obwohl hinter einem Proxy, können sämtliche Konten (SEPA, Paypal und AMEX) ohne Probleme synchronisiert werden.

Code: Alles auswählen

[04.04.2018 10:39:28] Synchronisierung via non-HBCI (Hibiscus Mashup) läuft
[04.04.2018 10:39:28]  
[04.04.2018 10:39:28] System-Info: OS[Windows 7 (ver. 6.1) amd64]  Platform[Jameica 2.6.6 | Build: 439 vom 20170711]  Plugin[hibiscus 2.6.20 | Build: 361 vom 20170627]
[04.04.2018 10:39:28] Installierte und aktive PlugIn-Versionen: [Finance.Websync ver. 0.8.7-nightly | Build: 334 vom 20180404] [Hibiscus Mashup ver. 0.8.7-nightly | Build: 266 vom 20180331]
[04.04.2018 10:39:28] Überprüfe Java-Version und den verwendeten Zeichensatz ...
[04.04.2018 10:39:28] OK: Java-Version 1.8.0_161 von 'Oracle Corporation' installiert, aktiv und verwendet Zeichensatz 'Cp1252' (Home: C:\Program Files\Java\jre1.8.0_161)
[04.04.2018 10:39:28] Überprüfe ChromeDriver-Version ...
[04.04.2018 10:39:28] OK: ChromeDriver-Version 2.37.543627 installiert und aktiv
[04.04.2018 10:39:28]  
[04.04.2018 10:39:28] Synchronisiere Konto 'AMEX - Kreditkarte, IBAN DE3051..085104 [Standard Chartered Bank Germany Branch, Frankfurt]' ...
[04.04.2018 10:39:38] Web-Login mit ChromeDriver-Engine mit Anmeldekennung XXXX******* auf https://www.americanexpress.com/de/?inav=NavLogo_de ...
[04.04.2018 10:39:54] AMEX-Login war erfolgreich
[04.04.2018 10:39:54] Rufe Umsatzübersicht auf und starte Abruf des Kontoauszuges ...
[04.04.2018 10:39:54] Suche Umsätze im Zeitraum vom 06.12.2017 bis 04.04.2018 und lese diese aus ...
[04.04.2018 10:40:11] Web-Logout der aktuellen Online-Sitzung ...
[04.04.2018 10:40:11] AMEX-Logout war erfolgreich
[04.04.2018 10:40:11] Kontoauszug erfolgreich. Importiere Daten ...
[04.04.2018 10:40:13] Ergebnis des Sync: Keine neuen Umsätze vorhanden
[04.04.2018 10:40:13] Saldo aktualisiert von Konto: AMEX - Kreditkarte
[04.04.2018 10:40:13] Das Konto 'AMEX - Kreditkarte, IBAN DE3051..085104 [Standard Chartered Bank Germany Branch, Frankfurt]' wurde erfolgreich synchronisiert
[04.04.2018 10:40:13] Synchronisierung via non-HBCI (Hibiscus Mashup) erfolgreich beendet

Es wird wohl der Proxy des Systems verwendet.

Paypal funktioniert nur bei dieser Einstellung.

Wird beim Proxy "System-Einstellungen verwenden" angehakt, so funktioniert auch AMEX nicht:

Code: Alles auswählen

[04.04.2018 11:40:54] Synchronisierung via non-HBCI (Hibiscus Mashup) läuft
[04.04.2018 11:40:54]  
[04.04.2018 11:40:54] System-Info: OS[Windows 7 (ver. 6.1) amd64]  Platform[Jameica 2.6.6 | Build: 439 vom 20170711]  Plugin[hibiscus 2.6.20 | Build: 361 vom 20170627]
[04.04.2018 11:40:54] Installierte und aktive PlugIn-Versionen: [Finance.Websync ver. 0.8.7-nightly | Build: 334 vom 20180404] [Hibiscus Mashup ver. 0.8.7-nightly | Build: 266 vom 20180331]
[04.04.2018 11:40:54] Überprüfe Java-Version und den verwendeten Zeichensatz ...
[04.04.2018 11:40:54] OK: Java-Version 1.8.0_161 von 'Oracle Corporation' installiert, aktiv und verwendet Zeichensatz 'Cp1252' (Home: C:\Program Files\Java\jre1.8.0_161)
[04.04.2018 11:40:54] Überprüfe ChromeDriver-Version ...
[04.04.2018 11:40:54] OK: ChromeDriver-Version 2.37.543627 installiert und aktiv
[04.04.2018 11:40:54]  
[04.04.2018 11:40:54] Synchronisiere Konto 'AMEX - Kreditkarte, IBAN DE3051..085104 [Standard Chartered Bank Germany Branch, Frankfurt]' ...
[04.04.2018 11:40:54] ChromeDriver Proxy-Einstellungen setzen ...
[04.04.2018 11:40:54] OK: Es wird der HTTPS-Proxy vom System benutzt
[04.04.2018 11:41:14] Fehler: ChromeDriverWebClientInit fehlerhaft: Erstellen des WebClient fehlgeschlagen! (siehe Meldungen im Log)

Braucht du hierzu dem kompletten Log?

Wird ein fester Proxy eingegeben so funktioniert es einwandfrei:

Code: Alles auswählen

[04.04.2018 11:46:49] Synchronisierung via non-HBCI (Hibiscus Mashup) läuft
[04.04.2018 11:46:49]  
[04.04.2018 11:46:49] System-Info: OS[Windows 7 (ver. 6.1) amd64]  Platform[Jameica 2.6.6 | Build: 439 vom 20170711]  Plugin[hibiscus 2.6.20 | Build: 361 vom 20170627]
[04.04.2018 11:46:49] Installierte und aktive PlugIn-Versionen: [Finance.Websync ver. 0.8.7-nightly | Build: 334 vom 20180404] [Hibiscus Mashup ver. 0.8.7-nightly | Build: 266 vom 20180331]
[04.04.2018 11:46:49] Überprüfe Java-Version und den verwendeten Zeichensatz ...
[04.04.2018 11:46:49] OK: Java-Version 1.8.0_161 von 'Oracle Corporation' installiert, aktiv und verwendet Zeichensatz 'Cp1252' (Home: C:\Program Files\Java\jre1.8.0_161)
[04.04.2018 11:46:49] Überprüfe ChromeDriver-Version ...
[04.04.2018 11:46:49] OK: ChromeDriver-Version 2.37.543627 installiert und aktiv
[04.04.2018 11:46:49]  
[04.04.2018 11:46:49] Synchronisiere Konto 'AMEX - Kreditkarte, IBAN DE3051..085104 [Standard Chartered Bank Germany Branch, Frankfurt]' ...
[04.04.2018 11:46:49] ChromeDriver Proxy-Einstellungen setzen ...
[04.04.2018 11:46:49] OK: Es wird der HTTPS-Proxy von der Applikation benutzt
[04.04.2018 11:46:58] Web-Login mit ChromeDriver-Engine mit Anmeldekennung XXXX******* auf https://www.americanexpress.com/de/?inav=NavLogo_de ...
[04.04.2018 11:47:14] AMEX-Login war erfolgreich
[04.04.2018 11:47:14] Rufe Umsatzübersicht auf und starte Abruf des Kontoauszuges ...
[04.04.2018 11:47:14] Suche Umsätze im Zeitraum vom 06.12.2017 bis 04.04.2018 und lese diese aus ...
[04.04.2018 11:47:29] Web-Logout der aktuellen Online-Sitzung ...
[04.04.2018 11:47:30] AMEX-Logout war erfolgreich
[04.04.2018 11:47:30] Kontoauszug erfolgreich. Importiere Daten ...
[04.04.2018 11:47:31] Ergebnis des Sync: Keine neuen Umsätze vorhanden
[04.04.2018 11:47:31] Saldo aktualisiert von Konto: AMEX - Kreditkarte
[04.04.2018 11:47:31] Das Konto 'AMEX - Kreditkarte, IBAN DE3051..085104 [Standard Chartered Bank Germany Branch, Frankfurt]' wurde erfolgreich synchronisiert
[04.04.2018 11:47:31] Synchronisierung via non-HBCI (Hibiscus Mashup) erfolgreich beendet

Der Unterschied zum ersten log sind folgende Zeilen:

Code: Alles auswählen

[04.04.2018 11:46:49] ChromeDriver Proxy-Einstellungen setzen ...
[04.04.2018 11:46:49] OK: Es wird der HTTPS-Proxy von der Applikation benutzt

Bei Bedarf kann ich die Logs für Paypal noch nachreichen.

Aber eigentlich reicht es ja, dass alle Konten ohne Proxy-Einstellung synchronisiert werden können.

Zuhause ohne Proxy konnte ich es noch nicht probieren, da der Rechner vorübergehend außer Betrieb.

[Hibiscus-Scripter]

Probiere das ganze dann nochmal bitte mit der
aktuellen Nightly-Build von "finance.websync"
und der
Option: Systemeinstellungen verwenden beim Proxy aus, bitte...

Danke