[Geschlossen] AmericanExpress error while synchronizing, Proxy-Support

Hier gibt es Support zu den Plugin der neuesten Generation des Hibiscus-Mashup Projekts von Sebastian Richter
Benutzeravatar
Mo_
Beiträge: 37
Registriert: Fr 8. Aug 2014, 08:58

[Geschlossen] AmericanExpress error while synchronizing, Proxy-Support

Beitrag von Mo_ » Do 4. Jan 2018, 09:09

Hallo,

seit einigen Tagen geht der AmericanExpress Abruf wieder nicht. Auch nicht mit heutigem Update der Nightlies:

Code: Alles auswählen

[Thu Jan 04 08:54:45 CET 2018][INFO][bg-task:Worker][org.openqa.selenium.phantomjs.PhantomJSDriverService.<init>] executable: /home/mo/.jameica/plugins/hibiscus.scripting.phantomjsdriver/lib/bin/linux64/phantomjs
[Thu Jan 04 08:54:45 CET 2018][INFO][bg-task:Worker][org.openqa.selenium.phantomjs.PhantomJSDriverService.<init>] port: 19152
[Thu Jan 04 08:54:45 CET 2018][INFO][bg-task:Worker][org.openqa.selenium.phantomjs.PhantomJSDriverService.<init>] arguments: [--ssl-protocol=any, --local-url-access=false, --ignore-ssl-errors=true, --web-security=false, --webdriver-logfile=/home/mo/.jameica/phantomjsdriver.log, --webdriver-loglevel=WARN, --proxy-type=none, --webdriver=19152]
[Thu Jan 04 08:54:45 CET 2018][INFO][bg-task:Worker][org.openqa.selenium.phantomjs.PhantomJSDriverService.<init>] environment: {}
[Thu Jan 04 08:54:46 CET 2018][INFO][Forwarding newSession on session null to remote][org.openqa.selenium.remote.ProtocolHandshake.createSession] Detected dialect: OSS
[Thu Jan 04 08:56:59 CET 2018][ERROR][bg-task:Worker][de.willuhn.jameica.hbci.synchronize.AbstractSynchronizeBackend$Worker.run] error while synchronizing
java.lang.Exception: Fehlermeldung des Servers: Leider konnten wir Ihre Registrierung bei Online Services nicht vollst?ndig bearbeiten. Bitte versuchen Sie es sp?ter erneut. Wenn Sie weitere Hilfe ben?tigen, rufen Sie uns bitte an: 069 9797-1050.
        at de.derrichter.hibiscus.mashup.crossover.websync.WebSynchronizeJobKontoauszug.execute(WebSynchronizeJobKontoauszug.java:86)
        at de.derrichter.hibiscus.mashup.crossover.websync.WebSynchronizeBackend$WebSyncJobGroup.sync(WebSynchronizeBackend.java:392)
        at de.willuhn.jameica.hbci.synchronize.AbstractSynchronizeBackend$Worker.run(AbstractSynchronizeBackend.java:403)
        at de.willuhn.jameica.gui.GUI$7.run(GUI.java:1057)
Hat American Express da wieder etwas geändert? Ist das bekannt/reproduzierbar oder brauchst du den kompletten Log?

Übrigens, bedeutet --ignore-ssl-errors=true dass die Verbindung nach Amex unsicher aufgebaut wird oder ist das nur eine interne Sache?

Außerdem gibt es beim Proxy-Support noch Fehler.

1. der besagte Fehler, dass er scheinbar das falsche Interface nutzt, obwohl ich nur 1 Interface habe. Den Fehler kannst du aber nachstellen, z.B. mit einem simplen lokalen Proxy wie polipo, squid oder nginx?

2. habe ich eine gemeinsame Konfiguration für alle Jameica-Installationen, da ich das $HOME synchronisiere. Hierzu setze ich "[x] System-Einstellungen verwenden". Auf den "Proxied Clients" habe ich das Environment entsprechend, bei den normalen Clients hat das Environment keinen Proxy. Hier schlägt diese Einstellung nun aber auch fehl, weil er scheinbar versucht, auf localhost zu verbinden:

Code: Alles auswählen

[04.01.2018 09:06:30] PhantomJS Proxy-Einstellungen setzen ...
[04.01.2018 09:06:30] Info-Warnung: Systemproxy-Einstellungen verwenden ist in der Applikation eingestellt, es ist aber kein Proxy im System eingetragen!
[04.01.2018 09:06:31] Web-Login mit PhantomJS-Engine mit Anmeldekennung *********** auf https://www.americanexpress.com/de/?inav=NavLogo_de ...
[04.01.2018 09:06:59] Fehler: org.apache.http.conn.HttpHostConnectException: Connect to localhost:11201 [localhost/127.0.0.1] failed: Connection refused (Connection refused)
Build info: version: '3.8.1', revision: '6e95a6684b', time: '2017-12-01T19:05:14.666Z'
System info: host: 'mobalindesk', ip: '192.168.8.215', os.name: 'Linux', os.arch: 'amd64', os.version: '4.13.10-ck', java.version: '1.8.0_151'
Driver info: driver.version: RemoteWebDriver
Nimmt man "[ ] System-Einstellungen verwenden" weg, scheint der Connect wieder zu funktionieren und läuft auf den 1. Fehler.
Hibiscus Nightly build
openjdk version "1.8.0_144" OpenJDK Runtime Environment (IcedTea 3.5.1) (Gentoo icedtea-3.5.1) OpenJDK 64-Bit Server VM (build 25.144-b01, mixed mode)

gochbewohner
Beiträge: 218
Registriert: Mi 10. Jun 2015, 13:23
Been thanked: 11 times

Re: AmericanExpress error while synchronizing, Proxy-Support

Beitrag von gochbewohner » Do 4. Jan 2018, 12:40

Bei mir arbeitet der Abruf von AMEX mit den aktuellen Updates Vers. 0.8.7 vom 31.12.2017 einwandfrei. Allerdings läuft es bei mir unter Windows 10 64 Bit und ohne Proxy.

HTML Unit Vers. 2.28
mit neuem Webdriver "PhantomJS" Vers. 2.1.1 und Selenium HQ vers. 3.8.1
websync Vers. 0.8.7
mashup Vers. 0.8.7
Zuletzt geändert von gochbewohner am Do 4. Jan 2018, 22:47, insgesamt 1-mal geändert.

Benutzeravatar
Mo_
Beiträge: 37
Registriert: Fr 8. Aug 2014, 08:58

Re: AmericanExpress error while synchronizing, Proxy-Support

Beitrag von Mo_ » Do 4. Jan 2018, 14:02

Ich habe nun auch als Updates websync und mashup 0.8.7 angeboten bekommen, damit läuft es. Vorher hatte ich 0.8.6-nightly, und das war heute morgen auch die Version, die ich vom http://scripting-updates-testarea.derrichter.de Repo bekommen habe. Ich ging davon aus, dass dies immer die aktuelle Development Version bietet.
Hibiscus Nightly build
openjdk version "1.8.0_144" OpenJDK Runtime Environment (IcedTea 3.5.1) (Gentoo icedtea-3.5.1) OpenJDK 64-Bit Server VM (build 25.144-b01, mixed mode)

Benutzeravatar
Hibiscus-Scripter
Administrator
Administrator
Beiträge: 2519
Registriert: Mi 30. Okt 2013, 17:14
Wohnort: Würzburg
Has thanked: 96 times
Been thanked: 59 times

Re: AmericanExpress error while synchronizing, Proxy-Support

Beitrag von Hibiscus-Scripter » Fr 5. Jan 2018, 09:07

bei mir werden die Nightlys nicht automatisch generiert. Es gibt ja auch nicht grad jeden Tag eine Änderung.
Und die Versionsnummer sagt doch eigentlich eindeutig aus das die Stable neuer ist als die Nightly oder etwa nicht?

Daher auch IMMER die Anforderung IMMER die VOLLSTÄNDIGE Status-Log zu posten... da du diesen Hinweis nun auch schon nicht nur einmal bekommen hast werden deinen nächsten Beiträge "ohne" kommentarlos gelöscht werden ...

Gruß
... wer lesen kann ist wie immer im klaren Vorteil ...

:!: Vor dem Posten: Bitte die Posting-Regeln für neue Beiträge lesen und bitte auch immer alle 4. Punkte zur Fehlermeldung beachten (Der Post wird ansonsten gelöscht)

:idea: Hilfe und Informationen zu den Test- und Nightly-Builds und deren Installation findet Ihr z. B. im Tipps und Tricks-Forum (Weitere hilfreiche Artikel findet man in der FAQ auf der Projekt-Website)

Wer ein Dankeschön für die Arbeit und Unkosten senden möchte, kann gerne auch :arrow: Spenden

Benutzeravatar
Mo_
Beiträge: 37
Registriert: Fr 8. Aug 2014, 08:58

[Wartet auf Benutzerreaktion] AmericanExpress error while synchronizing, Proxy-Support

Beitrag von Mo_ » Do 1. Mär 2018, 07:43

Hallo,

viewtopic.php?f=34&t=472&p=2977 wurde geschlossen, obwohl der Proxy-Support nicht gefixed wurde.
Gibt es hier schon Neuigkeiten? Alle anderen Zugänge wie z.B. Paypal oder Fidor funktionieren über Proxy, nur AmericanExpress nicht.
Ich habe es testweise auch mal mit einem SOCKS5 Proxy versucht. Auch wenn Olaf SOCKS5 nicht explizit über die Einstellung implementiert hat, funktioniert die Verbindung von anderen Konten per Umgebungsvariable:

Code: Alles auswählen

export http_proxy="socks5://localhost:8080"
export https_proxy="socks5://localhost:8080"
phantomjs wird dann aufgerufen mit

Code: Alles auswählen

arguments: [--ssl-protocol=any, --local-url-access=false, --ignore-ssl-errors=true, --web-security=false, --webdriver-logfile=/home/mb/.jameica/phantomjsdriver.log, --webdriver-loglevel=WARN, --proxy-type=http, --proxy=localhost:8080, --webdriver=2073]
.. und funktioniert genauso wenig wie mit einem https-Proxy. Es wird hier allerdings der type socks5 nicht übergeben.

Wenn der Fehler in PhantomJS liegt, dann reporte das doch bitte und verlinke das Ticket hier. Ich habe leider zu wenig Information, dort einen sinnvollen Bugreport zu erstellen. Es gibt allerdings schon einiges zum Thema Proxy:
https://github.com/ariya/phantomjs/issu ... open+proxy
Kann ich hier irgendwie unterstützen?

Wie gesagt, http(s) Proxy ist mit Polipo einfach aufgesetzt, oder halt Squid. Socks5 ist geschenkt:

Code: Alles auswählen

ssh -CNn -D 8080 sshserver
Hibiscus Nightly build
openjdk version "1.8.0_144" OpenJDK Runtime Environment (IcedTea 3.5.1) (Gentoo icedtea-3.5.1) OpenJDK 64-Bit Server VM (build 25.144-b01, mixed mode)

Benutzeravatar
Hibiscus-Scripter
Administrator
Administrator
Beiträge: 2519
Registriert: Mi 30. Okt 2013, 17:14
Wohnort: Würzburg
Has thanked: 96 times
Been thanked: 59 times

Re: AmericanExpress error while synchronizing, Proxy-Support

Beitrag von Hibiscus-Scripter » Do 1. Mär 2018, 07:57

Von dir kam nix mehr und dein letzter Satz war "es geht".
Ausserdem wird PhantomJS nicht mehr gepflegt... Du kannst das aber gerne melden...
Alternativen werden gesucht...
... wer lesen kann ist wie immer im klaren Vorteil ...

:!: Vor dem Posten: Bitte die Posting-Regeln für neue Beiträge lesen und bitte auch immer alle 4. Punkte zur Fehlermeldung beachten (Der Post wird ansonsten gelöscht)

:idea: Hilfe und Informationen zu den Test- und Nightly-Builds und deren Installation findet Ihr z. B. im Tipps und Tricks-Forum (Weitere hilfreiche Artikel findet man in der FAQ auf der Projekt-Website)

Wer ein Dankeschön für die Arbeit und Unkosten senden möchte, kann gerne auch :arrow: Spenden

Benutzeravatar
Mo_
Beiträge: 37
Registriert: Fr 8. Aug 2014, 08:58

Re: AmericanExpress error while synchronizing, Proxy-Support

Beitrag von Mo_ » Do 1. Mär 2018, 09:26

Ok, kann ich machen. d.h. ich nenne den Parametersatz hinter "arguments:" und sage, HTTPS Proxy funktioniert nicht? Da es soviele Tickets zu anderen Themen bzgl. Proxy bei PhantomJS gibt, dachte ich, dass Proxy-Support dort eigentlich Standard ist. Den Commits nach zu urteilen wird da noch aktiv gearbeitet, nichts von Stillstand zu sehen, oder ist das nicht der Haupt-Branch? https://github.com/ariya/phantomjs/commits/master
Hibiscus Nightly build
openjdk version "1.8.0_144" OpenJDK Runtime Environment (IcedTea 3.5.1) (Gentoo icedtea-3.5.1) OpenJDK 64-Bit Server VM (build 25.144-b01, mixed mode)

Benutzeravatar
Mo_
Beiträge: 37
Registriert: Fr 8. Aug 2014, 08:58

Re: AmericanExpress error while synchronizing, Proxy-Support

Beitrag von Mo_ » Fr 2. Mär 2018, 09:33

Hier ist das Ticket: https://github.com/ariya/phantomjs/issues/15340
Ich bin mir nicht sicher, ob die Informationen für die Entwickler ausreichen. Beim erneuten Studieren des Logfiles, finde ich eigentlich auch nur Fehlermedung des phantomJSWebClient

Code: Alles auswählen

PhantomJSWebClientInit fehlerhaft: Erstellen des phantomJSWebClient fehlerhaft! (siehe Meldungen im Log)
Ich sende dir nochmal das gesamte DEBUG logfile per PM.
Übrigens gibt es schon PhantomJS 2.1.3 unter https://github.com/ariya/phantomjs/releases
Du verwendest noch 2.1.1, zumindest gibt es da Weiterentwicklung, oder was meintest du mit "wird nicht mehr gepflegt"?
Hibiscus Nightly build
openjdk version "1.8.0_144" OpenJDK Runtime Environment (IcedTea 3.5.1) (Gentoo icedtea-3.5.1) OpenJDK 64-Bit Server VM (build 25.144-b01, mixed mode)

gochbewohner
Beiträge: 218
Registriert: Mi 10. Jun 2015, 13:23
Been thanked: 11 times

Re: AmericanExpress error while synchronizing, Proxy-Support

Beitrag von gochbewohner » Mo 5. Mär 2018, 12:33

Siehe hier: https://github.com/ariya/phantomjs/wiki.

Hier steht:
Note on PhantomJS 2: The 2.x branch is deprecated meaning its no longer mantained

Benutzeravatar
Hibiscus-Scripter
Administrator
Administrator
Beiträge: 2519
Registriert: Mi 30. Okt 2013, 17:14
Wohnort: Würzburg
Has thanked: 96 times
Been thanked: 59 times

Re: AmericanExpress error while synchronizing, Proxy-Support

Beitrag von Hibiscus-Scripter » Mo 5. Mär 2018, 12:51

Naja die 2.1.3 wenn es sie gibt, glaube nicht Stable, würde ich mal am Wochenende ausprobieren, so weiter ich nich dann um alles andere kümmern kann...

Gruß
... wer lesen kann ist wie immer im klaren Vorteil ...

:!: Vor dem Posten: Bitte die Posting-Regeln für neue Beiträge lesen und bitte auch immer alle 4. Punkte zur Fehlermeldung beachten (Der Post wird ansonsten gelöscht)

:idea: Hilfe und Informationen zu den Test- und Nightly-Builds und deren Installation findet Ihr z. B. im Tipps und Tricks-Forum (Weitere hilfreiche Artikel findet man in der FAQ auf der Projekt-Website)

Wer ein Dankeschön für die Arbeit und Unkosten senden möchte, kann gerne auch :arrow: Spenden

Zurück zu „Hibiscus Mashup über Finance.Websync - (Beta 0.x = neue Release 3 der alten Scripte)“