[Erledigt] AMEX 2FA hat sich geändert

[hbci]

Same here. Der Fehler tritt übrigens bei allen per Chrome abzurufenden Konten auf.

[gochbewohner]

Habe mich heute wieder mit dem Thema beschäftigt und herausgefunden, dass es an der Reihenfolge der Installation liegt. Ausgehend von der Stable Version muss erst das Plugin "BrowserUp Proxy" installiert werden. Nach einem Neustart nun die Nightly's von "finance.websync" und "hibiscus.mashup" installieren. Dann wie gewohnt neu starten.

Beim AMEX Konto den Schalter "Löse Sicherheitsabfrage automatisch" setzen. Beim Abruf erfolgt nun der Login mit der AMEX App, man muss dort aber schon eingeloggt sein (meine ersten Feststellungen). Nun erfolgt zwar der Login, aber die nächste Seite wird nicht beantwortet.

Hier der Log:

Code: Alles auswählen

[09.11.2023 16:06:34] Synchronisierung via non-HBCI (Hibiscus Mashup) läuft
[09.11.2023 16:06:34]  
[09.11.2023 16:06:34] System-Info: OS[Windows 11 (ver. 10.0) amd64]  Platform[Jameica 2.10.4 | Build: 487 vom 20230414]  Plugin[hibiscus 2.10.15 | Build: 379 vom 20231103]
[09.11.2023 16:06:34] Installierte und aktive Plugin-Versionen: [Finance.Websync ver. 0.9.71-nightly | Build: 1052 vom 20231109] [Hibiscus Mashup ver. 0.9.39-nigthly | Build: 586 vom 20231108]
[09.11.2023 16:06:34] Überprüfe Jameica-Version ...
[09.11.2023 16:06:34] OK: Jameica-Version 2.10.4 installiert und aktiv
[09.11.2023 16:06:34] Überprüfe Java-Version und den verwendeten Zeichensatz ...
[09.11.2023 16:06:34] OK: Java-Version 17.0.8 von 'Azul Systems, Inc.' installiert, aktiv und verwendet Zeichensatz 'Cp1252' (Home: C:\Program Files\Jameica\javaruntime)
[09.11.2023 16:06:34] Überprüfe BrowserUpProxy-Version ...
[09.11.2023 16:06:34] OK: BrowserUpProxy-Version 2.2.14 installiert und aktiv
[09.11.2023 16:06:34] Überprüfe Selenium-Version ...
[09.11.2023 16:06:34] OK: Selenium-Version 4.14.1 installiert und aktiv
[09.11.2023 16:06:34] Überprüfe ChromeDriver-Version ...
[09.11.2023 16:06:35] OK: ChromeDriver-Version 119.0.6045.105 installiert und aktiv
[09.11.2023 16:06:35]  
[09.11.2023 16:06:35] Synchronisiere Konto 'AMEX - Kreditkarte, IBAN DE0550..599700 [Deutsche Bank]' ...
[09.11.2023 16:06:35] ChromeDriver Applikation-Proxy Einstellungen auf BrowserUp Proxy einstellen ...
[09.11.2023 16:06:35] ChromeDriver Proxy-Einstellungen setzen ...
[09.11.2023 16:06:35] OK: Es wird der HTTPS-Proxy von der Applikation benutzt
[09.11.2023 16:06:35] Selenium WebDriver über ChromeDriver wird gestartet ...
[09.11.2023 16:06:40] Überprüfe Chrome-Version ...
[09.11.2023 16:06:40] OK. Browser ist: chrome ver. 119
[09.11.2023 16:06:42] Web-Login mit Selenium-WebDriver-Engine mit Anmeldekennung *********** auf https://www.americanexpress.com/de-de/account/login/ ...
[09.11.2023 16:07:38] Erste Login-Phase abgeschlossen, prüfe auf Verfahren der Zwei-Faktor-Authentifizierung ...
[09.11.2023 16:07:39] Warte auf Banking-App Freigabe ...
[09.11.2023 16:08:24] INFO: Vom folgenden Fehler wurde ein Screenshot auf dem Desktop abgelegt! Datei: HibiscusMashup-Fehler_AMEX-Sync_1699542503782.png (Pfad: C:\Users\norbe\Desktop\)
[09.11.2023 16:08:36] Fehler: Web-Login mit Selenium-WebDriver fehlgeschlagen! Fehler beim Setzen des Login-Formulars oder der Felder (siehe Log - Bitte den Entwickler im Forum informieren. Danke für Ihre Mithilfe.)
Log-Eintrag: org.openqa.selenium.TimeoutException: Expected condition failed: waiting for presence of element located by: By.xpath: //input[contains(@id,'Username') or contains(@id,'eliloUserID')] (tried for 15 second(s) with 500 milliseconds interval)
	at org.openqa.selenium.support.ui.WebDriverWait.timeoutException(WebDriverWait.java:84)
	at org.openqa.selenium.support.ui.FluentWait.until(FluentWait.java:230)
	at de.derrichter.finance.websync.institute.americanexpress.WebAuth.loginWithSelenium(WebAuth.java:97)
	at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
	at java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
	at java.base/java.lang.reflect.Method.invoke(Unknown Source)
	at de.derrichter.hibiscus.mashup.crossover.interact.Auth.seleniumLogin(Auth.java:360)
	at de.derrichter.hibiscus.mashup.crossover.websync.institute.americanexpress.Collector.run(Collector.java:321)
	at de.derrichter.hibiscus.mashup.crossover.websync.WebSynchronizeJobKontoauszug.execute(WebSynchronizeJobKontoauszug.java:84)
	at de.derrichter.hibiscus.mashup.crossover.websync.WebSynchronizeBackend$WebSyncJobGroup.sync(WebSynchronizeBackend.java:890)
	at de.willuhn.jameica.hbci.synchronize.AbstractSynchronizeBackend$Worker.run(AbstractSynchronizeBackend.java:399)
	at de.willuhn.jameica.gui.GUI$7.run(GUI.java:1107)
Caused by: org.openqa.selenium.NoSuchElementException: no such element: Unable to locate element: {"method":"xpath","selector":"//input[contains(@id,'Username') or contains(@id,'eliloUserID')]"}
  (Session info: chrome=119.0.6045.105)
For documentation on this error, please visit: https://www.selenium.dev/documentation/webdriver/troubleshooting/errors#no-such-element-exception
Build info: version: '4.14.1', revision: '03f8ede370'
System info: os.name: 'Windows 11', os.arch: 'amd64', os.version: '10.0', java.version: '17.0.8'
Driver info: org.openqa.selenium.chrome.ChromeDriver
Command: [190c321865e0ce72d9c9e26d1bd2cd96, findElement {using=xpath, value=//input[contains(@id,'Username') or contains(@id,'eliloUserID')]}]
Capabilities {acceptInsecureCerts: true, browserName: chrome, browserVersion: 119.0.6045.105, chrome: {chromedriverVersion: 119.0.6045.105 (38c72552c5e..., userDataDir: C:\Users\norbe\.mashup-brow...}, fedcm:accounts: true, goog:chromeOptions: {debuggerAddress: localhost:53939}, networkConnectionEnabled: false, pageLoadStrategy: normal, platformName: windows, proxy: Proxy(manual, http=localhos..., se:cdp: ws://localhost:53939/devtoo..., se:cdpVersion: 119.0.6045.105, setWindowRect: true, strictFileInteractability: false, timeouts: {implicit: 0, pageLoad: 300000, script: 30000}, unhandledPromptBehavior: dismiss and notify, webauthn:extension:credBlob: true, webauthn:extension:largeBlob: true, webauthn:extension:minPinLength: true, webauthn:extension:prf: true, webauthn:virtualAuthenticators: true}
Session ID: 190c321865e0ce72d9c9e26d1bd2cd96
	at jdk.internal.reflect.GeneratedConstructorAccessor595.newInstance(Unknown Source)
	at java.base/jdk.internal.reflect.DelegatingConstructorAccessorImpl.newInstance(Unknown Source)
	at java.base/java.lang.reflect.Constructor.newInstanceWithCaller(Unknown Source)
	at java.base/java.lang.reflect.Constructor.newInstance(Unknown Source)
	at org.openqa.selenium.remote.codec.w3c.W3CHttpResponseCodec.createException(W3CHttpResponseCodec.java:200)
	at org.openqa.selenium.remote.codec.w3c.W3CHttpResponseCodec.decode(W3CHttpResponseCodec.java:133)
	at org.openqa.selenium.remote.codec.w3c.W3CHttpResponseCodec.decode(W3CHttpResponseCodec.java:52)
	at org.openqa.selenium.remote.HttpCommandExecutor.execute(HttpCommandExecutor.java:191)
	at org.openqa.selenium.remote.service.DriverCommandExecutor.invokeExecute(DriverCommandExecutor.java:200)
	at org.openqa.selenium.remote.service.DriverCommandExecutor.execute(DriverCommandExecutor.java:175)
	at org.openqa.selenium.remote.RemoteWebDriver.execute(RemoteWebDriver.java:602)
	at org.openqa.selenium.remote.ElementLocation$ElementFinder$2.findElement(ElementLocation.java:165)
	at org.openqa.selenium.remote.ElementLocation.findElement(ElementLocation.java:59)
	at org.openqa.selenium.remote.RemoteWebDriver.findElement(RemoteWebDriver.java:359)
	at org.openqa.selenium.remote.RemoteWebDriver.findElement(RemoteWebDriver.java:353)
	at org.openqa.selenium.support.ui.ExpectedConditions$6.apply(ExpectedConditions.java:171)
	at org.openqa.selenium.support.ui.ExpectedConditions$6.apply(ExpectedConditions.java:168)
	at org.openqa.selenium.support.ui.FluentWait.until(FluentWait.java:205)
	... 11 more


Tipp: Sollten Sie mit dieser Fehlermeldung nichts anfangen können, bitte helfen Sie uns:
Installieren Sie alle Updates und verwenden für das Jameica-Upgrade das Rundum-Sorglos-Paket (https://hibiscus-mashup.derrichter.de/index.php/download)
Suchen Sie diese im Support-Forum über Menü Mashup->Online-Supportforum (https://scripting-forum.derrichter.de/viewforum.php?f=34)
Ist keine Lösung vorhanden, kopieren Sie am besten gleich, mit einem Klick auf den 'Text kopieren'-Button, hier rechts in der Fensterleiste,
den gesamten Inhalt dieses Status-Log, erstellen ein 'Neues Thema' im Forum und fügen dies in einem Code-Block ein. (Erst den </>-Button, dann Einfügen)
Damit kann Ihnen geholfen werden und Sie weisen uns darauf hin. Vielen Dank

Hier der Screenshot:

HibiscusMashup-Fehler_AMEX-Sync_1699542503782.png

Danach den Schalter "Erzwinge Email als 2FA-Verfahren" gesetzt und erneut abgerufen. Nun kam eine TAN per Email und die TAN-Abfrage. Das Login wurde aber wie bei Sebastian schon beschrieben noch einmal ausgeführt. Hier scheiterte dann das Plugin am Captcha. Ein neuer Abruf lief danach aber durch ohne TAN Abfrage und brachte auch die neuen Daten.

Code: Alles auswählen

[09.11.2023 16:50:08] Synchronisierung via non-HBCI (Hibiscus Mashup) läuft
[09.11.2023 16:50:08]  
[09.11.2023 16:50:08] System-Info: OS[Windows 11 (ver. 10.0) amd64]  Platform[Jameica 2.10.4 | Build: 487 vom 20230414]  Plugin[hibiscus 2.10.15 | Build: 379 vom 20231103]
[09.11.2023 16:50:08] Installierte und aktive Plugin-Versionen: [Finance.Websync ver. 0.9.71-nightly | Build: 1052 vom 20231109] [Hibiscus Mashup ver. 0.9.39-nigthly | Build: 586 vom 20231108]
[09.11.2023 16:50:08] Überprüfe Jameica-Version ...
[09.11.2023 16:50:08] OK: Jameica-Version 2.10.4 installiert und aktiv
[09.11.2023 16:50:08] Überprüfe Java-Version und den verwendeten Zeichensatz ...
[09.11.2023 16:50:08] OK: Java-Version 17.0.8 von 'Azul Systems, Inc.' installiert, aktiv und verwendet Zeichensatz 'Cp1252' (Home: C:\Program Files\Jameica\javaruntime)
[09.11.2023 16:50:08] Überprüfe BrowserUpProxy-Version ...
[09.11.2023 16:50:08] OK: BrowserUpProxy-Version 2.2.14 installiert und aktiv
[09.11.2023 16:50:08] Überprüfe Selenium-Version ...
[09.11.2023 16:50:08] OK: Selenium-Version 4.14.1 installiert und aktiv
[09.11.2023 16:50:08] Überprüfe ChromeDriver-Version ...
[09.11.2023 16:50:08] OK: ChromeDriver-Version 119.0.6045.105 installiert und aktiv
[09.11.2023 16:50:08]  
[09.11.2023 16:50:08] Synchronisiere Konto 'AMEX - Kreditkarte, IBAN DE0550..599700 [Deutsche Bank]' ...
[09.11.2023 16:50:08] ChromeDriver Applikation-Proxy Einstellungen auf BrowserUp Proxy einstellen ...
[09.11.2023 16:50:08] ChromeDriver Proxy-Einstellungen setzen ...
[09.11.2023 16:50:08] OK: Es wird der HTTPS-Proxy von der Applikation benutzt
[09.11.2023 16:50:08] Selenium WebDriver über ChromeDriver wird gestartet ...
[09.11.2023 16:50:10] Überprüfe Chrome-Version ...
[09.11.2023 16:50:10] OK. Browser ist: chrome ver. 119
[09.11.2023 16:50:12] Web-Login mit Selenium-WebDriver-Engine mit Anmeldekennung Brus******* auf https://www.americanexpress.com/de-de/account/login/ ...
[09.11.2023 16:50:51] Erste Login-Phase abgeschlossen, prüfe auf Verfahren der Zwei-Faktor-Authentifizierung ...
[09.11.2023 16:50:55] authCode per E-Mail ist als Verfahren gesetzt ... Beginne Abfrage ...
[09.11.2023 16:51:51] AMEX-Login war erfolgreich
[09.11.2023 16:51:51] Rufe Umsatzübersicht auf und starte Abruf des Kontoauszuges ...
[09.11.2023 16:51:51] Suche Umsätze im Zeitraum vom 26.10.2023 bis 09.11.2023 und lese diese aus ...
[09.11.2023 16:52:29] Web-Logout der aktuellen Online-Sitzung ...
[09.11.2023 16:52:31] AMEX-Logout war erfolgreich
[09.11.2023 16:52:32] Kontoauszug erfolgreich. Importiere Daten ...
[09.11.2023 16:52:32] Ergebnis des Sync: Keine neuen Umsätze vorhanden
[09.11.2023 16:52:32] Saldo aktualisiert von Konto: AMEX - Kreditkarte
[09.11.2023 16:52:32] Das Konto 'AMEX - Kreditkarte, IBAN DE0550..599700 [Deutsche Bank]' wurde erfolgreich synchronisiert
[09.11.2023 16:52:32] Synchronisierung via non-HBCI (Hibiscus Mashup) erfolgreich beendet

Ein weiterer Abruf funktioniert ohne TAN Abfrage ebenfalls erfolgreich.

[Tommi.M]

Ich bin heute Abend ebenfalls Sebastians Bitte nachgekommen und habe die Nightlies ausprobiert. Erst einmal ein Dankeschön an gochbewohner für den Hinweis, die Reihenfolge zu beachten. Eines gleich vorweg: Für gewöhnlich nutze ich die Stables von Jameica, Hibiscus, usw. Für den Test habe ich allerdings die Jameica 2.11.0-nightly herangezogen.

Der erste Login schlug fehl. Hier die Chronologie:
- Chrome Headless wurde nachgeladen
- Authentifizierung per App ("Haben Sie gerade versucht, sich anzumelden?" "Ja" klar war ich das.)
- Code per eMail erhalten und eingegeben
- "Auf dem Desktop wurde ein Screenshot angelegt"

Code: Alles auswählen

[09.11.2023 20:19:25] Synchronisierung via non-HBCI (Hibiscus Mashup) läuft
[09.11.2023 20:19:25]  
[09.11.2023 20:19:25] System-Info: OS[Windows 11 (ver. 10.0) amd64]  Platform[Jameica 2.11.0-nightly | Build: 479 vom 20230629]  Plugin[hibiscus 2.11.0-nightly | Build: 361 vom 20231109]
[09.11.2023 20:19:25] Installierte und aktive Plugin-Versionen: [Finance.Websync ver. 0.9.71-nightly | Build: 1052 vom 20231109] [Hibiscus Mashup ver. 0.9.39-nigthly | Build: 586 vom 20231108]
[09.11.2023 20:19:25] Überprüfe Jameica-Version ...
[09.11.2023 20:19:25] OK: Jameica-Version 2.11.0 installiert und aktiv
[09.11.2023 20:19:25] Überprüfe Java-Version und den verwendeten Zeichensatz ...
[09.11.2023 20:19:25] OK: Java-Version 11.0.18 von 'Eclipse Adoptium' installiert, aktiv und verwendet Zeichensatz 'Cp1252' (Home: C:\Program Files\Jameica-2.11.0-nighly 2023-06-29\jre-win64)
[09.11.2023 20:19:25] Überprüfe BrowserUpProxy-Version ...
[09.11.2023 20:19:25] OK: BrowserUpProxy-Version 2.2.14 installiert und aktiv
[09.11.2023 20:19:25] Überprüfe Selenium-Version ...
[09.11.2023 20:19:25] OK: Selenium-Version 4.14.1 installiert und aktiv
[09.11.2023 20:19:25] Überprüfe ChromeDriver-Version ...
[09.11.2023 20:19:25] OK: ChromeDriver-Version 119.0.6045.105 installiert und aktiv
[09.11.2023 20:19:25]  
[09.11.2023 20:19:25] Synchronisiere Konto 'AMEX Thomas, IBAN DE0550..599700 [Deutsche Bank]' ...
[09.11.2023 20:19:25] BrowserUpProxy Proxy-Einstellungen setzen ...
[09.11.2023 20:19:25] Info-Warnung: Systemproxy-Einstellungen verwenden ist in der Applikation eingestellt, es ist aber kein Proxy im System eingetragen!
[09.11.2023 20:19:26] ChromeDriver Applikation-Proxy Einstellungen auf BrowserUp Proxy einstellen ...
[09.11.2023 20:19:26] ChromeDriver Proxy-Einstellungen setzen ...
[09.11.2023 20:19:26] OK: Es wird der HTTPS-Proxy von der Applikation benutzt
[09.11.2023 20:19:26] Selenium WebDriver über ChromeDriver wird gestartet ...
[09.11.2023 20:19:27] -> Erst-Initialisierung des WebDriver nicht erfolgreich, der Start dauert daher länger:
[09.11.2023 20:19:27] Hinweis: Chrome/Chromium liegt in einer nicht kompatiblen Version vor (Fehler: Could not start a new session. Response code 500. Message: session not created: This version of ChromeDriver only supports Chrome version 119) ...
[09.11.2023 20:19:27] ... daher wird nun der automatisch nachgeladene Chromium verwendet ... (dieser wird wieder entfernt wenn Chrome in einer kompatiblen Version gefunden wird!)
[09.11.2023 20:19:28] Sicherheits-Check der Integrität des alternativen Chromium-Browser gegen Manipulation ...
[09.11.2023 20:19:30] OK. Ergebnis der Berechnung: C4F0F24356FA4760B50281D23750DA8C (Dauer: 2 Sek.)
[09.11.2023 20:19:33] Hinweis: Alternativer Chromium liegt in einer nicht kompatiblen Version vor (Fehler: Could not start a new session. Response code 500. Message: session not created: This version of ChromeDriver only supports Chrome version 119) ...
[09.11.2023 20:19:33] ... dieser wird daher nun automatisch nachgeladen ... (und wird wieder entfernt, wenn Chrome in einer kompatiblen Version gefunden wird!)
[09.11.2023 20:19:35] Download-Fortschritt: 10%
[09.11.2023 20:19:37] Download-Fortschritt: 20%
[09.11.2023 20:19:39] Download-Fortschritt: 30%
[09.11.2023 20:19:41] Download-Fortschritt: 40%
[09.11.2023 20:19:43] Download-Fortschritt: 50%
[09.11.2023 20:19:45] Download-Fortschritt: 60%
[09.11.2023 20:19:47] Download-Fortschritt: 70%
[09.11.2023 20:19:50] Download-Fortschritt: 80%
[09.11.2023 20:19:52] Download-Fortschritt: 90%
[09.11.2023 20:19:54] Download-Fortschritt: 100%
[09.11.2023 20:19:54] ... Download erfolgreich, beginne entpacken ...
[09.11.2023 20:19:58] OK. Chrome/Chromium erfolgreich bezogen und abgelegt unter 'C:\ProgramData\Chrome-Headless'
[09.11.2023 20:20:03] Web-Login mit Selenium-WebDriver-Engine mit Anmeldekennung maxm******* auf https://www.americanexpress.com/de-de/account/login/ ...
[09.11.2023 20:20:36] Erste Login-Phase abgeschlossen, prüfe auf Verfahren der Zwei-Faktor-Authentifizierung ...
[09.11.2023 20:20:40] authCode per E-Mail ist als Verfahren gesetzt ... Beginne Abfrage ...
[09.11.2023 20:21:55] Der Login wurde zurückgesetzt, vermutlich nach Speichern des Geräts, versuche es daher nochmals...
[09.11.2023 20:22:15] Erste Login-Phase abgeschlossen, prüfe auf Verfahren der Zwei-Faktor-Authentifizierung ...
[09.11.2023 20:22:41] INFO: Vom folgenden Fehler wurde ein Screenshot auf dem Desktop abgelegt! Datei: HibiscusMashup-Fehler_AMEX-Sync_1699557761288.png (Pfad: C:\Users\Thomas\Desktop\)
[09.11.2023 20:22:44] Fehler: Web-Login mit Selenium-WebDriver fehlgeschlagen! Die Loginseite wird trotz keinem bekannten Fehler noch immer angezeigt. Bitte prüfen Sie dies zuerst manuell Online, ansonsten informieren Sie bitte den Entwickler im Forum

Tipp: Sollten Sie mit dieser Fehlermeldung nichts anfangen können, bitte helfen Sie uns:
Installieren Sie alle Updates und verwenden für das Jameica-Upgrade das Rundum-Sorglos-Paket (https://hibiscus-mashup.derrichter.de/index.php/download)
Suchen Sie diese im Support-Forum über Menü Mashup->Online-Supportforum (https://scripting-forum.derrichter.de/viewforum.php?f=34)
Ist keine Lösung vorhanden, kopieren Sie am besten gleich, mit einem Klick auf den 'Text kopieren'-Button, hier rechts in der Fensterleiste,
den gesamten Inhalt dieses Status-Log, erstellen ein 'Neues Thema' im Forum und fügen dies in einem Code-Block ein. (Erst den </>-Button, dann Einfügen)
Damit kann Ihnen geholfen werden und Sie weisen uns darauf hin. Vielen Dank

Der zweite Versuch klappte ohne einen zweiten Faktor oder irgendwelche Bilderrätsel.

Ich hoffe, ich konnte Informatives beisteuern.

Viele Grüße
Thomas

[Hibiscus-Scripter]

Code: Alles auswählen

[09.11.2023 00:01:05] Fehler: SeleniumWebDriverInit fehlerhaft: org.openqa.selenium.SessionNotCreatedException: Could not start a new session. Response code 500. Message: session not created: Chrome failed to start: crashed.
  (session not created: DevToolsActivePort file doesn't exist)

Also dieser Fehler tritt wohl neuerdings auf, wenn noch eine andere WebDriver-Instanz oder schlimmer dessen Browser geöffnet ist. Ein killen aller ChromeDriver vor dem Start habe ich eingebaut, aber alle Browser-Fenster killen kann ich schlecht machen.

Das Speichern des vertrauenswürdigen Gerätes beim Banking-App-Login habe ich eingebaut.

Mittlerweile glaube ich wirklich, dass hier bei der Sicherheit von Amex jemand aktiv dagegen arbeitet, dass wir unsere Umsätze abrufen können.
Jedenfalls kann es wie im zweiten beschriebenen Punkt auch öfters mal vorkommen, dass der Login einfach gar nichts macht weil dieser von Amex "verboten" wird.
Dahinter steckt dann wohl eben eine Cloud-Firewall oder aber das Bilderrätsel konnte oder wollte einfach nicht geladen werden. Manchmal kommt dieses ja auch einfach nicht. Wenn man im Browser-Inspector schaut, dann sieht das Ganze dann z. B. so aus:

Access Denied
You don't have permission to access "http://global.americanexpress.com/myca/ ... tion/login" on this server.
Reference #18.305a1602.1699563818.8244813

Das ist gefühlt seit heute nun auch mit allen bisherigen Maßnahmen so.

Ein paar Bugs wurden auch noch korrigiert, daher nochmals für alle:

Die meisten Probleme entstehen hier verstärkt aufgrund der Screenscraping-Technik die hier eingesetzt wird. Es gibt Schutzmethoden die von Amex eingesetzt werden um genau dies zu verhindern.

• Das Problem mit dem Bilderrätsel ist definitiv immer noch vorhanden. viewtopic.php?f=34&t=1554&start=10#p8768
  Dies führt dann z. B. auch zu dieser Meldung das die Loginseite noch da ist: viewtopic.php?f=34&t=1554#p8751
  Um dies zu lösen kann nun bei Bedarf in den Synchronisierungsoptionen des Kontos eine Erweiterung für solche Sicherheitsaufgaben aktiviert werden.
  Ist diese nicht aktiv und wird benötigt erscheint eine entsprechende Fehlermeldung.
• Kaum die erste Hürde geschafft, als würde jemand aktiv dagegen arbeiten, blockt auf einmal eine Sicherheits-Cloud-Firewall die bei AMEX läuft und konfiguriert wird, Funktionen des Login-Mechanismus wenn man es mit Screenscraping versucht. Dies bewirkt, dass nach Betätigten des Login-Buttons gar nichts mehr passiert, kein Fehler, nichts. Es kann auch sein das einfach das Bilderrätsel nicht geladen wird. Im Hintergrund erhält man einen Error und der Zugriff wird einem aktiv verweigert.
  Daher mussten hier nun weitere Änderungen angewandt werden um dem gerecht zu werden. Wie lange dies so funktioniert ist fraglich. Einen Tag vorher war es wie gesagt noch viel besser, da war dieser Punkt gar kein Thema.
  Hierzu muss das Plugin "BrowserUp Proxy" über das Hauptmenü "Mashup"->"non-HBCI Plugins online suchen..." installiert werden.
• Dann gibts (vermutlich auch wegen der Sicherheit-Cloud-Firewall) das Problem, dass wenn die 2FA mit Code durchläuft und das vertrauenswürdige Gerät gespeichert werden soll, der Login dann manchmal einfach zurückgesetzt wird und man wieder auf der leeren Login-Maske landet, so wie hier viewtopic.php?f=34&t=1554&start=30#p8864
  In solch einem Fall wird der Login nun nochmals probiert, was anscheinend dann auch direkt ohne 2FA funktioniert und dann hoffentlich auch einfach gemerkt wird, denn
• Diese Punkte tauchen vermutlich vermehrt beim Screenscraping auf und auch weil hier immer ein neues frisches Browser-Profil verwendet wird.
  Um hoffentlich auch die Abfragen für die Zwei-Faktor-Authentifizierung zu minimieren wurde bei der Amex-Unterstüzung nun erstmalig ein festes Browser-Profil konfiguriert. Ist mal als Test-Phase, mal schauen wie es sich verhält...

Dann habe ich noch wegen den Änderungen Test-Wünsche an euch, da ich zum Beispiel die Authentifizierung mit der Banking-App im Blindflug programmiert habe, da ich diese aus Gründen bei mir noch nicht aktivieren will.

• Bitte die Leute welche beim Login direkt die Banking-App-Verifizierung erhalten darauf achten, ob dies im Status-Log erscheint
• Bitte die Leute welche beim Login direkt die Banking-App-Verifizierung erhalten mal die Synchronisierungsoption zum Erzwingen der 2FA mit E-Mail-Code einschalten und testen ob dies funktioniert.

Kann man bei der Authentifizierung mit der Banking-App diese eigentlich auch als vertrauenswürdigen Gerät speichern damit die Abfrage erst gar nicht mehr kommt? Oder wenn nein dann ist doch die Authentifizierung mit Code die bessere Wahl?

Also die oberen Punkte beachten und
gerne mal mit den aktuellen Nightly-Builds von

• finance.websync
• hibiscus.mashup

ausprobieren, in welcher die Fehler behoben sein sollten.
Hilfe als Anleitung hierzu gibst wie immer auch im Tipps und Tricks-Forum


Hier dann bitte auch wieder Rückmeldung geben!
Dabei bitte nicht vergessen:
Sollten dennoch weiterhin Fehler auftreten hier das vollständige Status-Log posten!
(formatiert wie in den Posting-Regeln beschrieben)

Gruß

[galaxy]

Danke für die kontinuierlich investierte Arbeit.

Leider funktioniert es bei mir nicht so recht... Ich hatte zuerst den BrowserUp-Proxy installiert, getestet, dann die Nightlies installiert und getestet und dann nochmal mit dem "Automatisch Sicherheitsabfragen lösen"-Häkchen getestet; immer das gleiche Ergebnis.

Code: Alles auswählen

[09.11.2023 23:21:38] Synchronisierung via non-HBCI (Hibiscus Mashup) läuft
[09.11.2023 23:21:38]  
[09.11.2023 23:21:38] System-Info: OS[Linux (ver. 6.5.5-1-MANJARO) amd64]  Platform[Jameica 2.10.4 | Build: 487 vom 20230414]  Plugin[hibiscus 2.10.15 | Build: 379 vom 20231103]
[09.11.2023 23:21:38] Installierte und aktive Plugin-Versionen: [Finance.Websync ver. 0.9.71-nightly | Build: 1053 vom 20231109] [Hibiscus Mashup ver. 0.9.39-nigthly | Build: 586 vom 20231108]
[09.11.2023 23:21:38] Überprüfe Jameica-Version ...
[09.11.2023 23:21:38] OK: Jameica-Version 2.10.4 installiert und aktiv
[09.11.2023 23:21:38] Überprüfe Java-Version und den verwendeten Zeichensatz ...
[09.11.2023 23:21:38] OK: Java-Version 11.0.10 von 'AdoptOpenJDK' installiert, aktiv und verwendet Zeichensatz 'UTF-8' (Home: /opt/jameica/javaruntime)
[09.11.2023 23:21:38] Überprüfe BrowserUpProxy-Version ...
[09.11.2023 23:21:38] OK: BrowserUpProxy-Version 2.2.14 installiert und aktiv
[09.11.2023 23:21:38] Überprüfe Selenium-Version ...
[09.11.2023 23:21:38] OK: Selenium-Version 4.14.1 installiert und aktiv
[09.11.2023 23:21:38] Überprüfe ChromeDriver-Version ...
[09.11.2023 23:21:38] OK: ChromeDriver-Version 119.0.6045.105 installiert und aktiv
[09.11.2023 23:21:38]  
[09.11.2023 23:21:38] Synchronisiere Konto 'AMEX Gold - Kreditkarte, IBAN DE0550..599700 [Deutsche Bank]' ...
[09.11.2023 23:21:38] ChromeDriver Applikation-Proxy Einstellungen auf BrowserUp Proxy einstellen ...
[09.11.2023 23:21:39] ChromeDriver Proxy-Einstellungen setzen ...
[09.11.2023 23:21:39] OK: Es wird der HTTPS-Proxy von der Applikation benutzt
[09.11.2023 23:21:39] Selenium WebDriver über ChromeDriver wird gestartet ...
[09.11.2023 23:21:39] Überprüfe Chrome-Version ...
[09.11.2023 23:21:39] OK. Browser ist: chrome ver. 119
[09.11.2023 23:21:41] Web-Login mit Selenium-WebDriver-Engine mit Anmeldekennung gala******* auf https://www.americanexpress.com/de-de/account/login/ ...
[09.11.2023 23:22:01] Erste Login-Phase abgeschlossen, prüfe auf Verfahren der Zwei-Faktor-Authentifizierung ...
[09.11.2023 23:22:27] Der Login wurde zurückgesetzt, vermutlich nach Speichern des Geräts, versuche es daher nochmals...
[09.11.2023 23:22:42] Erste Login-Phase abgeschlossen, prüfe auf Verfahren der Zwei-Faktor-Authentifizierung ...
[09.11.2023 23:23:08] INFO: Vom folgenden Fehler wurde ein Screenshot auf dem Desktop abgelegt! Datei: HibiscusMashup-Fehler_AMEX-Sync_1699568587978.png (Pfad: /home/galaxy/Desktop/)
[09.11.2023 23:23:12] Fehler: Web-Login mit Selenium-WebDriver fehlgeschlagen! Die Loginseite wird trotz keinem bekannten Fehler noch immer angezeigt. Bitte prüfen Sie dies zuerst manuell Online, ansonsten informieren Sie bitte den Entwickler im Forum

Tipp: Sollten Sie mit dieser Fehlermeldung nichts anfangen können, bitte helfen Sie uns:
Installieren Sie alle Updates und verwenden für das Jameica-Upgrade das Rundum-Sorglos-Paket (https://hibiscus-mashup.derrichter.de/index.php/download)
Suchen Sie diese im Support-Forum über Menü Mashup->Online-Supportforum (https://scripting-forum.derrichter.de/viewforum.php?f=34)
Ist keine Lösung vorhanden, kopieren Sie am besten gleich, mit einem Klick auf den 'Text kopieren'-Button, hier rechts in der Fensterleiste,
den gesamten Inhalt dieses Status-Log, erstellen ein 'Neues Thema' im Forum und fügen dies in einem Code-Block ein. (Erst den </>-Button, dann Einfügen)
Damit kann Ihnen geholfen werden und Sie weisen uns darauf hin. Vielen Dank

HibiscusMashup-Fehler_AMEX-Sync_1699568587978.png

[gochbewohner]

Bitte die Leute welche beim Login direkt die Banking-App-Verifizierung erhalten darauf achten, ob dies im Status-Log erscheint

Das war in meinem vorherigen Post zu sehen:

Code: Alles auswählen

[09.11.2023 16:07:39] Warte auf Banking-App Freigabe ...

Im beigefügten Bild war aber zu sehen, dass die nächste Seite nicht bestätigt wurde.

Bitte die Leute welche beim Login direkt die Banking-App-Verifizierung erhalten mal die Synchronisierungsoption zum Erzwingen der 2FA mit E-Mail-Code einschalten und testen ob dies funktioniert.

Was ich danach auch gemacht habe. (siehe ebenfalls meinen vorherigen Post.

Habe nun die neuen Nightly's installiert und den Abruf wieder gestartet. Ergebnis:

Code: Alles auswählen

[09.11.2023 23:18:44] Synchronisierung via non-HBCI (Hibiscus Mashup) läuft
[09.11.2023 23:18:44]  
[09.11.2023 23:18:44] System-Info: OS[Windows 11 (ver. 10.0) amd64]  Platform[Jameica 2.10.4 | Build: 487 vom 20230414]  Plugin[hibiscus 2.10.15 | Build: 379 vom 20231103]
[09.11.2023 23:18:44] Installierte und aktive Plugin-Versionen: [Finance.Websync ver. 0.9.71-nightly | Build: 1053 vom 20231109] [Hibiscus Mashup ver. 0.9.39-nigthly | Build: 586 vom 20231108]
[09.11.2023 23:18:44] Überprüfe Jameica-Version ...
[09.11.2023 23:18:44] OK: Jameica-Version 2.10.4 installiert und aktiv
[09.11.2023 23:18:44] Überprüfe Java-Version und den verwendeten Zeichensatz ...
[09.11.2023 23:18:44] OK: Java-Version 17.0.8 von 'Azul Systems, Inc.' installiert, aktiv und verwendet Zeichensatz 'Cp1252' (Home: C:\Program Files\Jameica\javaruntime)
[09.11.2023 23:18:44] Überprüfe BrowserUpProxy-Version ...
[09.11.2023 23:18:44] OK: BrowserUpProxy-Version 2.2.14 installiert und aktiv
[09.11.2023 23:18:44] Überprüfe Selenium-Version ...
[09.11.2023 23:18:44] OK: Selenium-Version 4.14.1 installiert und aktiv
[09.11.2023 23:18:44] Überprüfe ChromeDriver-Version ...
[09.11.2023 23:18:45] OK: ChromeDriver-Version 119.0.6045.105 installiert und aktiv
[09.11.2023 23:18:45]  
[09.11.2023 23:18:45] Synchronisiere Konto 'AMEX - Kreditkarte, IBAN DE0550..599700 [Deutsche Bank]' ...
[09.11.2023 23:18:46] ChromeDriver Applikation-Proxy Einstellungen auf BrowserUp Proxy einstellen ...
[09.11.2023 23:18:46] ChromeDriver Proxy-Einstellungen setzen ...
[09.11.2023 23:18:46] OK: Es wird der HTTPS-Proxy von der Applikation benutzt
[09.11.2023 23:18:47] Selenium WebDriver über ChromeDriver wird gestartet ...
[09.11.2023 23:18:53] Überprüfe Chrome-Version ...
[09.11.2023 23:18:53] OK. Browser ist: chrome ver. 119
[09.11.2023 23:18:56] Web-Login mit Selenium-WebDriver-Engine mit Anmeldekennung *********** auf https://www.americanexpress.com/de-de/account/login/ ...
[09.11.2023 23:20:00] INFO: Vom folgenden Fehler wurde ein Screenshot auf dem Desktop abgelegt! Datei: HibiscusMashup-Fehler_AMEX-Sync_1699568400318.png (Pfad: C:\Users\norbe\Desktop\)
[09.11.2023 23:20:07] Fehler: Web-Login mit Selenium-WebDriver fehlgeschlagen! Fehlermeldung des Systems: WebDriver-Fehler: Sicherheitsaufgabe nach Aufruf nicht erkannt?! no such element: Unable to locate element: {"method":"xpath","selector":"//iframe[contains(@title,'recaptcha challenge')]"}
  (Session info: chrome=119.0.6045.123)
For documentation on this error, please visit: https://www.selenium.dev/documentation/webdriver/troubleshooting/errors#no-such-element-exception
Build info: version: '4.14.1', revision: '03f8ede370'
System info: os.name: 'Windows 11', os.arch: 'amd64', os.version: '10.0', java.version: '17.0.8'
Driver info: org.openqa.selenium.chrome.ChromeDriver
Command: [a1112599d4c63099d7c3b8361005fef6, findElement {using=xpath, value=//iframe[contains(@title,'recaptcha challenge')]}]
Capabilities {acceptInsecureCerts: true, browserName: chrome, browserVersion: 119.0.6045.123, chrome: {chromedriverVersion: 119.0.6045.105 (38c72552c5e..., userDataDir: C:\Users\norbe\.mashup-brow...}, fedcm:accounts: true, goog:chromeOptions: {debuggerAddress: localhost:50440}, networkConnectionEnabled: false, pageLoadStrategy: normal, platformName: windows, proxy: Proxy(manual, http=localhos..., se:cdp: ws://localhost:50440/devtoo..., se:cdpVersion: 119.0.6045.123, setWindowRect: true, strictFileInteractability: false, timeouts: {implicit: 0, pageLoad: 300000, script: 30000}, unhandledPromptBehavior: dismiss and notify, webauthn:extension:credBlob: true, webauthn:extension:largeBlob: true, webauthn:extension:minPinLength: true, webauthn:extension:prf: true, webauthn:virtualAuthenticators: true}
Session ID: a1112599d4c63099d7c3b8361005fef6
	at de.derrichter.finance.websync.utils.webdrivertools.SeleniumUtils.checkSecBorderBuster(SeleniumUtils.java:1252)
	at de.derrichter.finance.websync.institute.americanexpress.WebAuth.loginWithSelenium(WebAuth.java:140)
	at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
	at java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
	at java.base/java.lang.reflect.Method.invoke(Unknown Source)
	at de.derrichter.hibiscus.mashup.crossover.interact.Auth.seleniumLogin(Auth.java:360)
	at de.derrichter.hibiscus.mashup.crossover.websync.institute.americanexpress.Collector.run(Collector.java:321)
	at de.derrichter.hibiscus.mashup.crossover.websync.WebSynchronizeJobKontoauszug.execute(WebSynchronizeJobKontoauszug.java:84)
	at de.derrichter.hibiscus.mashup.crossover.websync.WebSynchronizeBackend$WebSyncJobGroup.sync(WebSynchronizeBackend.java:890)
	at de.willuhn.jameica.hbci.synchronize.AbstractSynchronizeBackend$Worker.run(AbstractSynchronizeBackend.java:399)
	at de.willuhn.jameica.gui.GUI$7.run(GUI.java:1107)


Tipp: Sollten Sie mit dieser Fehlermeldung nichts anfangen können, bitte helfen Sie uns:
Installieren Sie alle Updates und verwenden für das Jameica-Upgrade das Rundum-Sorglos-Paket (https://hibiscus-mashup.derrichter.de/index.php/download)
Suchen Sie diese im Support-Forum über Menü Mashup->Online-Supportforum (https://scripting-forum.derrichter.de/viewforum.php?f=34)
Ist keine Lösung vorhanden, kopieren Sie am besten gleich, mit einem Klick auf den 'Text kopieren'-Button, hier rechts in der Fensterleiste,
den gesamten Inhalt dieses Status-Log, erstellen ein 'Neues Thema' im Forum und fügen dies in einem Code-Block ein. (Erst den </>-Button, dann Einfügen)
Damit kann Ihnen geholfen werden und Sie weisen uns darauf hin. Vielen Dank

HibiscusMashup-Fehler_AMEX-Sync_1699568400318.png

Allem Anschein nach hat der Login aber funktioniert.

Bein nächsten Versuch hat es dann wieder funktioniert:

Code: Alles auswählen

[09.11.2023 23:28:31] Synchronisierung via non-HBCI (Hibiscus Mashup) läuft
[09.11.2023 23:28:31]  
[09.11.2023 23:28:31] System-Info: OS[Windows 11 (ver. 10.0) amd64]  Platform[Jameica 2.10.4 | Build: 487 vom 20230414]  Plugin[hibiscus 2.10.15 | Build: 379 vom 20231103]
[09.11.2023 23:28:31] Installierte und aktive Plugin-Versionen: [Finance.Websync ver. 0.9.71-nightly | Build: 1053 vom 20231109] [Hibiscus Mashup ver. 0.9.39-nigthly | Build: 586 vom 20231108]
[09.11.2023 23:28:31] Überprüfe Jameica-Version ...
[09.11.2023 23:28:31] OK: Jameica-Version 2.10.4 installiert und aktiv
[09.11.2023 23:28:31] Überprüfe Java-Version und den verwendeten Zeichensatz ...
[09.11.2023 23:28:31] OK: Java-Version 17.0.8 von 'Azul Systems, Inc.' installiert, aktiv und verwendet Zeichensatz 'Cp1252' (Home: C:\Program Files\Jameica\javaruntime)
[09.11.2023 23:28:31] Überprüfe BrowserUpProxy-Version ...
[09.11.2023 23:28:31] OK: BrowserUpProxy-Version 2.2.14 installiert und aktiv
[09.11.2023 23:28:31] Überprüfe Selenium-Version ...
[09.11.2023 23:28:31] OK: Selenium-Version 4.14.1 installiert und aktiv
[09.11.2023 23:28:31] Überprüfe ChromeDriver-Version ...
[09.11.2023 23:28:31] OK: ChromeDriver-Version 119.0.6045.105 installiert und aktiv
[09.11.2023 23:28:31]  
[09.11.2023 23:28:31] Synchronisiere Konto 'AMEX - Kreditkarte, IBAN DE0550..599700 [Deutsche Bank]' ...
[09.11.2023 23:28:31] ChromeDriver Applikation-Proxy Einstellungen auf BrowserUp Proxy einstellen ...
[09.11.2023 23:28:31] ChromeDriver Proxy-Einstellungen setzen ...
[09.11.2023 23:28:31] OK: Es wird der HTTPS-Proxy von der Applikation benutzt
[09.11.2023 23:28:31] Selenium WebDriver über ChromeDriver wird gestartet ...
[09.11.2023 23:28:34] Überprüfe Chrome-Version ...
[09.11.2023 23:28:34] OK. Browser ist: chrome ver. 119
[09.11.2023 23:28:36] Web-Login mit Selenium-WebDriver-Engine mit Anmeldekennung *********** auf https://www.americanexpress.com/de-de/account/login/ ...
[09.11.2023 23:29:25] Erste Login-Phase abgeschlossen, prüfe auf Verfahren der Zwei-Faktor-Authentifizierung ...
[09.11.2023 23:29:36] AMEX-Login war erfolgreich
[09.11.2023 23:29:36] Rufe Umsatzübersicht auf und starte Abruf des Kontoauszuges ...
[09.11.2023 23:29:36] Suche Umsätze im Zeitraum vom 26.10.2023 bis 09.11.2023 und lese diese aus ...
[09.11.2023 23:30:19] Web-Logout der aktuellen Online-Sitzung ...
[09.11.2023 23:30:25] AMEX-Logout war erfolgreich
[09.11.2023 23:30:25] Kontoauszug erfolgreich. Importiere Daten ...
[09.11.2023 23:30:26] Ergebnis des Sync: Keine neuen Umsätze vorhanden
[09.11.2023 23:30:26] Saldo aktualisiert von Konto: AMEX - Kreditkarte
[09.11.2023 23:30:26] Das Konto 'AMEX - Kreditkarte, IBAN DE0550..599700 [Deutsche Bank]' wurde erfolgreich synchronisiert
[09.11.2023 23:30:26] Synchronisierung via non-HBCI (Hibiscus Mashup) erfolgreich beendet

Bei mir funktioniert es. Es klappt nicht immer, aber in der Regel beim nächsten Abruf. Also, wenn es nicht klappt einfach sofort danach noch einmal abrufen.

Habe mich wohl zu früh gefreut. Im Moment klappt es nicht. Der Screenshot zeigt aber jedesmal, dass man eingeloggt ist. Der Log dazu:

Code: Alles auswählen

[09.11.2023 23:55:05] Synchronisierung via non-HBCI (Hibiscus Mashup) läuft
[09.11.2023 23:55:05]  
[09.11.2023 23:55:05] System-Info: OS[Windows 11 (ver. 10.0) amd64]  Platform[Jameica 2.10.4 | Build: 487 vom 20230414]  Plugin[hibiscus 2.10.15 | Build: 379 vom 20231103]
[09.11.2023 23:55:05] Installierte und aktive Plugin-Versionen: [Finance.Websync ver. 0.9.71-nightly | Build: 1053 vom 20231109] [Hibiscus Mashup ver. 0.9.39-nigthly | Build: 586 vom 20231108]
[09.11.2023 23:55:05] Überprüfe Jameica-Version ...
[09.11.2023 23:55:05] OK: Jameica-Version 2.10.4 installiert und aktiv
[09.11.2023 23:55:05] Überprüfe Java-Version und den verwendeten Zeichensatz ...
[09.11.2023 23:55:05] OK: Java-Version 17.0.8 von 'Azul Systems, Inc.' installiert, aktiv und verwendet Zeichensatz 'Cp1252' (Home: C:\Program Files\Jameica\javaruntime)
[09.11.2023 23:55:05] Überprüfe BrowserUpProxy-Version ...
[09.11.2023 23:55:05] OK: BrowserUpProxy-Version 2.2.14 installiert und aktiv
[09.11.2023 23:55:05] Überprüfe Selenium-Version ...
[09.11.2023 23:55:05] OK: Selenium-Version 4.14.1 installiert und aktiv
[09.11.2023 23:55:05] Überprüfe ChromeDriver-Version ...
[09.11.2023 23:55:05] OK: ChromeDriver-Version 119.0.6045.105 installiert und aktiv
[09.11.2023 23:55:05]  
[09.11.2023 23:55:05] Synchronisiere Konto 'AMEX - Kreditkarte, IBAN DE0550..599700 [Deutsche Bank]' ...
[09.11.2023 23:55:05] ChromeDriver Applikation-Proxy Einstellungen auf BrowserUp Proxy einstellen ...
[09.11.2023 23:55:05] ChromeDriver Proxy-Einstellungen setzen ...
[09.11.2023 23:55:05] OK: Es wird der HTTPS-Proxy von der Applikation benutzt
[09.11.2023 23:55:05] Selenium WebDriver über ChromeDriver wird gestartet ...
[09.11.2023 23:55:08] Überprüfe Chrome-Version ...
[09.11.2023 23:55:08] OK. Browser ist: chrome ver. 119
[09.11.2023 23:55:10] Web-Login mit Selenium-WebDriver-Engine mit Anmeldekennung *********** auf https://www.americanexpress.com/de-de/account/login/ ...
[09.11.2023 23:56:15] INFO: Vom folgenden Fehler wurde ein Screenshot auf dem Desktop abgelegt! Datei: HibiscusMashup-Fehler_AMEX-Sync_1699570575604.png (Pfad: C:\Users\norbe\Desktop\)
[09.11.2023 23:56:20] Fehler: Web-Login mit Selenium-WebDriver fehlgeschlagen! Fehlermeldung des Systems: WebDriver-Fehler: Sicherheitsaufgabe nach Aufruf nicht erkannt?! Expected condition failed: waiting for presence of element located by: By.xpath: //iframe[contains(@title,'recaptcha challenge')] (tried for 15 second(s) with 500 milliseconds interval)
	at de.derrichter.finance.websync.utils.webdrivertools.SeleniumUtils.checkSecBorderBuster(SeleniumUtils.java:1252)
	at de.derrichter.finance.websync.institute.americanexpress.WebAuth.loginWithSelenium(WebAuth.java:140)
	at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
	at java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
	at java.base/java.lang.reflect.Method.invoke(Unknown Source)
	at de.derrichter.hibiscus.mashup.crossover.interact.Auth.seleniumLogin(Auth.java:360)
	at de.derrichter.hibiscus.mashup.crossover.websync.institute.americanexpress.Collector.run(Collector.java:321)
	at de.derrichter.hibiscus.mashup.crossover.websync.WebSynchronizeJobKontoauszug.execute(WebSynchronizeJobKontoauszug.java:84)
	at de.derrichter.hibiscus.mashup.crossover.websync.WebSynchronizeBackend$WebSyncJobGroup.sync(WebSynchronizeBackend.java:890)
	at de.willuhn.jameica.hbci.synchronize.AbstractSynchronizeBackend$Worker.run(AbstractSynchronizeBackend.java:399)
	at de.willuhn.jameica.gui.GUI$7.run(GUI.java:1107)


Tipp: Sollten Sie mit dieser Fehlermeldung nichts anfangen können, bitte helfen Sie uns:
Installieren Sie alle Updates und verwenden für das Jameica-Upgrade das Rundum-Sorglos-Paket (https://hibiscus-mashup.derrichter.de/index.php/download)
Suchen Sie diese im Support-Forum über Menü Mashup->Online-Supportforum (https://scripting-forum.derrichter.de/viewforum.php?f=34)
Ist keine Lösung vorhanden, kopieren Sie am besten gleich, mit einem Klick auf den 'Text kopieren'-Button, hier rechts in der Fensterleiste,
den gesamten Inhalt dieses Status-Log, erstellen ein 'Neues Thema' im Forum und fügen dies in einem Code-Block ein. (Erst den </>-Button, dann Einfügen)
Damit kann Ihnen geholfen werden und Sie weisen uns darauf hin. Vielen Dank

HibiscusMashup-Fehler_AMEX-Sync_1699568400318.png

Nach einem Neustart des Rechners hat es wieder funktioniert. Gleich beim ersten Versuch:

Code: Alles auswählen

[10.11.2023 00:07:50] Synchronisierung via non-HBCI (Hibiscus Mashup) läuft
[10.11.2023 00:07:50]  
[10.11.2023 00:07:50] System-Info: OS[Windows 11 (ver. 10.0) amd64]  Platform[Jameica 2.10.4 | Build: 487 vom 20230414]  Plugin[hibiscus 2.10.15 | Build: 379 vom 20231103]
[10.11.2023 00:07:50] Installierte und aktive Plugin-Versionen: [Finance.Websync ver. 0.9.71-nightly | Build: 1053 vom 20231109] [Hibiscus Mashup ver. 0.9.39-nigthly | Build: 586 vom 20231108]
[10.11.2023 00:07:50] Überprüfe Jameica-Version ...
[10.11.2023 00:07:50] OK: Jameica-Version 2.10.4 installiert und aktiv
[10.11.2023 00:07:50] Überprüfe Java-Version und den verwendeten Zeichensatz ...
[10.11.2023 00:07:50] OK: Java-Version 17.0.8 von 'Azul Systems, Inc.' installiert, aktiv und verwendet Zeichensatz 'Cp1252' (Home: C:\Program Files\Jameica\javaruntime)
[10.11.2023 00:07:50] Überprüfe BrowserUpProxy-Version ...
[10.11.2023 00:07:50] OK: BrowserUpProxy-Version 2.2.14 installiert und aktiv
[10.11.2023 00:07:50] Überprüfe Selenium-Version ...
[10.11.2023 00:07:50] OK: Selenium-Version 4.14.1 installiert und aktiv
[10.11.2023 00:07:50] Überprüfe ChromeDriver-Version ...
[10.11.2023 00:07:51] OK: ChromeDriver-Version 119.0.6045.105 installiert und aktiv
[10.11.2023 00:07:51]  
[10.11.2023 00:07:51] Synchronisiere Konto 'AMEX - Kreditkarte, IBAN DE0550..599700 [Deutsche Bank]' ...
[10.11.2023 00:07:53] ChromeDriver Applikation-Proxy Einstellungen auf BrowserUp Proxy einstellen ...
[10.11.2023 00:07:53] ChromeDriver Proxy-Einstellungen setzen ...
[10.11.2023 00:07:53] OK: Es wird der HTTPS-Proxy von der Applikation benutzt
[10.11.2023 00:07:53] Selenium WebDriver über ChromeDriver wird gestartet ...
[10.11.2023 00:07:59] Überprüfe Chrome-Version ...
[10.11.2023 00:07:59] OK. Browser ist: chrome ver. 119
[10.11.2023 00:08:01] Web-Login mit Selenium-WebDriver-Engine mit Anmeldekennung *********** auf https://www.americanexpress.com/de-de/account/login/ ...
[10.11.2023 00:08:45] Erste Login-Phase abgeschlossen, prüfe auf Verfahren der Zwei-Faktor-Authentifizierung ...
[10.11.2023 00:08:56] AMEX-Login war erfolgreich
[10.11.2023 00:08:56] Rufe Umsatzübersicht auf und starte Abruf des Kontoauszuges ...
[10.11.2023 00:08:56] Suche Umsätze im Zeitraum vom 26.10.2023 bis 10.11.2023 und lese diese aus ...
[10.11.2023 00:09:56] Web-Logout der aktuellen Online-Sitzung ...
[10.11.2023 00:10:03] AMEX-Logout war erfolgreich
[10.11.2023 00:10:04] Kontoauszug erfolgreich. Importiere Daten ...
[10.11.2023 00:10:05] Ergebnis des Sync: Keine neuen Umsätze vorhanden
[10.11.2023 00:10:05] Saldo aktualisiert von Konto: AMEX - Kreditkarte
[10.11.2023 00:10:05] Das Konto 'AMEX - Kreditkarte, IBAN DE0550..599700 [Deutsche Bank]' wurde erfolgreich synchronisiert
[10.11.2023 00:10:05] Synchronisierung via non-HBCI (Hibiscus Mashup) erfolgreich beendet

[Hibiscus-Scripter]

Code: Alles auswählen

[09.11.2023 23:20:07] Fehler: Web-Login mit Selenium-WebDriver fehlgeschlagen! Fehlermeldung des Systems: WebDriver-Fehler: Sicherheitsaufgabe nach Aufruf nicht erkannt?! no such element: Unable to locate element: 

Danke, da war noch ein Logikfehler drin der diesen Fehler brachte wenn es unangebracht war und eben der Login schon durch war.
Sollte nun mit der neuen Nightly besser passen...

PS: Der Fehler-Screenshot wird übrigens nun auch vor dem Login erstellt, damit man eben diese Situation sieht, man muss den nur in den Synchronisierungsoptionen einschalten.

[Tommi.M]

Das ist ja dieses Mal ein sehr schwerer Brocken, mit dem es umzugehen gilt - und mehr und mehr offenbart sich ein Katz- und Maus-Spiel oder auf längere Sicht eine Never-Ending-Stroy. Ich weiß nicht, ob es den Aufwand wert ist, mit den Methoden von jetzt zu versuchen, einen Sieg anzustreben - oder ob vielleicht einer pragmatischer Ansatz die "gegnerischen Feindseligkeiten" ins Leere laufen zu lassen. Ich selbst bin demnach nicht mehr davon überzeugt, ob es wirklich der Weisheit letzter Schluss ist, jedes Verhalten der Amex-Seiten über Softwareregeln abzufangen. Das bindet unbeschreiblich viele (auch höchst persönliche) Ressourcen. Auf lange Sicht ist dieser Kampf wohl nicht zu gewinnen. Wir, die Anwender dürfen dabei nicht vergessen, dass wir hier mit Open Source arbeiten und Sebastian einen hohen Preis dafür bezahlt und praktisch keinen monetären Lohn dafür hat - zumindest spricht er nicht öffentlich davon.

Vielleicht hat der eine oder andere schon mitbekommen, dass ich bei Zahlungsverkehrssoftware zweigleisig fahre. Jameica/HIbiscus/Mashup/Syntax/Mahoe ist für meinen privaten Einsatz das perfekte Werkzeug, meine private Buchhaltung abzubilden. Das kommerzielle Produkt eines Anbieters aus Hamburg (SternGeld) wiederum stellt Möglichkeiten bereit, Konten abzurufen, welche mit unserer OS nicht bedient werden. Und beim eben genannten Produkt ist der Anbieter in seiner aktuellen Version, welche auch schon seit etwa einem Dreivierteljahr auf dem Markt ist, dazu übergegangen, bspw. bei Payback den Browser offen zu zeigen. In diesem Zeitraum musste ich vier oder fünf mal entweder mein Kennwort bestätigen oder Bilderrätsel lösen. Ich selbst empfinde das als ein Tribut an die Entwicklungen der Zeit.

Aus der Sicht der Institute ist es für mich mehr als legitim, Betrugsversuche jedweder Art abzuwähren. Diesbezüglich stehen die Institute uns als Kunden in der Pflicht. Zu Bewerten, ob es Feindseligkeit ist, Screenscrapping los zu werden oder doch eine Maßnahme Kriminalität einzudämmen, liegt im Auge des Betrachters.

Wenn ich eingangs von hohem Aufwand, Katz- und Maus-Spiel und Pragmatismus spreche, meine ich damit, ob es nicht im konkreten Fall einfacher und auf lange Sicht möglicherweise auch besser wäre, das Browserfenster zu zeigen und den Anwender die eingeforderten Klicks selbst machen zu lassen. Dann kann kommen was da wolle - es sitzt noch immer ein Mensch vor dem Bildschirm und kann von Fall zu Fall entscheiden was zu tun ist. Wenn es für den Entwickler des Plugins eine große Hürde darstellt, dieses Verhalten für die breite Menge anzuwenden, erkläre ich mich bereit, es zu testen und ihn mit (objektivem und subjektivem) Feedback zu versorgen. Ist das ein Angebot?

Viele Grüße
Thomas

[Hibiscus-Scripter]

Das bindet unbeschreiblich viele (auch höchst persönliche) Ressourcen

Es stimmt, dass mich sowas schon echt nerven kostet, vor allem ist es frustrierend, wenn danach gleich wieder die nächste Hürde kommt und es einfach nicht mal Ruhe gibt. Wenn dann noch User wegen irgendwelchen abweichenden Themen genervt schreiben, dann ...
Es ist auch traurig wenn man bedenkt was ich in der Zeit alles andere hätte machen können.
Und nein, ich verdiene hier natürlich nichts außer Spenden die dann auch Unkosten wie Server usw. etwas decken.

oder ob vielleicht einer pragmatischer Ansatz die "gegnerischen Feindseligkeiten" ins Leere laufen zu lassen

Ich sehe hier nur die Möglichkeit sich bei AMEX zu beschweren oder zu kündigen, vor allem weil dies garantiert nicht nur wegen Hackern ist.

In diesem Zeitraum musste ich vier oder fünf mal entweder mein Kennwort bestätigen oder Bilderrätsel lösen. Ich selbst empfinde das als ein Tribut an die Entwicklungen der Zeit.

Genau hier liegt ja der Schwachsinn der da betrieben wird und auch nur hier (Fidor hatte es ja auch mal versucht und dann wieder abgeschafft, nach massiver Beschwerde), denn
Kein IT-ler kann mir sinnvoll erklären, wozu es reCaptcha braucht (außer um die Leute zu nerven und Behinderte zu schikanieren) wenn es doch sowieso schon eine Zwei-Faktor-Authentifizierung gibt?! Aber die Begründung ist halt meist, die schützen uns, so ein Blödsinn.

ob es nicht im konkreten Fall einfacher und auf lange Sicht möglicherweise auch besser wäre, das Browserfenster zu zeigen und den Anwender die eingeforderten Klicks selbst machen zu lassen.

Und genau hier liegt zumindest bei Amex der Irrtum, das Problem ist ja nicht wirklich das Bilderrätsel sondern die Cloud-Firewall die Amex einsetzt, was meist bewirkt, dass der Login erste gar nicht anspringt also auch gar nicht erst ein Bilderrätsel kommt. Stattdessen erhält man (über den Browser-Inspector sichtbar) von Amex eben schön folgende Meldung:

Access Denied
You don't have permission to access "http://global.americanexpress.com/myca/ ... tion/login" on this server.
Reference #18.305a1602.1699563818.8244813

Da hilft es dann auch überhaupt nicht, dass Browserfenster offen zu halten, dann siehst du halt einfach nur das:

HibiscusMashup-Fehler_AMEX-Sync_1699568587978.png

und kannst so lange auf "Anmelden" drücken wie du willst ohne das etwas passiert.
Und selbst wenn das Problem "nur" das Bilderrätsel wäre, wer will dies schon immer lösen müssen, vor allem du weißt ja man braucht oft mehr Versuche
Da hilft halt nur kündigen oder sich bei Amex beschweren oder dran glauben, dass denen Ihre IT im Moment einfach viel umbaut und es ein technischer Fehler ist ;D EDIT: Mir kommt es nämlich auch so vor, als ob dies spät Abends öfter auftritt als am Tag?

Es ist nun eben aber auch so, dass die Browser-Session ja nun komplett gespeichert wird, weshalb dann meist der Abruf nach dem ersten erfolgreichen nicht mehr so viel Authentifizierung benötigt.

Gruß

[gochbewohner]

Mit den aktuellen Nightly's hat es auf beiden Rechner, mit denen ich es probiert habe, ohne Fehler funktioniert. Allerdings sind beide Rechner gestern schon als vertrauenswürdig gekennzeichnet. Es kam somit keine TAN Abfrage. Auf einem kam der Hinweis mit dem Captcha, das aber vom Programm gelöst wurde. Es war auf beiden Rechnern kein zweiter Abruf nötig.

Sebastian, kann man irgendwie die vertrauenswürdigkeit zurücksetzen um den Login mit der TAN nochmal zu testen, oder vielleicht auch noch mal die Verwendung der APP?

Und nein, ich verdiene hier natürlich nichts außer Spenden die dann auch Unkosten wie Server usw. etwas decken.

Wenn jeder, der mashup verwendet, nur einen kleinen Betrag spenden würde, dann käme doch schon eine gute Unterstützung für die Kosten zusammen. Für die tolle Arbeit, die Sebastian leistet, bin ich sehr dankbar und werde somit Spenden.

Hier noch der Log für den einwandfreien Durchlauf:

Code: Alles auswählen

[10.11.2023 10:44:31] Synchronisierung via non-HBCI (Hibiscus Mashup) läuft
[10.11.2023 10:44:31]  
[10.11.2023 10:44:31] System-Info: OS[Windows 11 (ver. 10.0) amd64]  Platform[Jameica 2.10.4 | Build: 487 vom 20230414]  Plugin[hibiscus 2.10.15 | Build: 379 vom 20231103]
[10.11.2023 10:44:31] Installierte und aktive Plugin-Versionen: [Finance.Websync ver. 0.9.71-nightly | Build: 1054 vom 20231110] [Hibiscus Mashup ver. 0.9.39-nigthly | Build: 586 vom 20231108]
[10.11.2023 10:44:31] Überprüfe Jameica-Version ...
[10.11.2023 10:44:31] OK: Jameica-Version 2.10.4 installiert und aktiv
[10.11.2023 10:44:31] Überprüfe Java-Version und den verwendeten Zeichensatz ...
[10.11.2023 10:44:31] OK: Java-Version 17.0.8 von 'Azul Systems, Inc.' installiert, aktiv und verwendet Zeichensatz 'Cp1252' (Home: C:\Program Files\Jameica\javaruntime)
[10.11.2023 10:44:31] Überprüfe BrowserUpProxy-Version ...
[10.11.2023 10:44:31] OK: BrowserUpProxy-Version 2.2.14 installiert und aktiv
[10.11.2023 10:44:31] Überprüfe Selenium-Version ...
[10.11.2023 10:44:31] OK: Selenium-Version 4.14.1 installiert und aktiv
[10.11.2023 10:44:31] Überprüfe ChromeDriver-Version ...
[10.11.2023 10:44:31] OK: ChromeDriver-Version 119.0.6045.105 installiert und aktiv
[10.11.2023 10:44:31]  
[10.11.2023 10:44:31] Synchronisiere Konto 'AMEX - Kreditkarte, IBAN DE0550..599700 [Deutsche Bank]' ...
[10.11.2023 10:44:32] ChromeDriver Applikation-Proxy Einstellungen auf BrowserUp Proxy einstellen ...
[10.11.2023 10:44:32] ChromeDriver Proxy-Einstellungen setzen ...
[10.11.2023 10:44:32] OK: Es wird der HTTPS-Proxy von der Applikation benutzt
[10.11.2023 10:44:32] Selenium WebDriver über ChromeDriver wird gestartet ...
[10.11.2023 10:44:37] Überprüfe Chrome-Version ...
[10.11.2023 10:44:37] OK. Browser ist: chrome ver. 119
[10.11.2023 10:44:39] Web-Login mit Selenium-WebDriver-Engine mit Anmeldekennung *********** auf https://www.americanexpress.com/de-de/account/login/ ...
[10.11.2023 10:45:15] Erste Login-Phase abgeschlossen, prüfe auf Verfahren der Zwei-Faktor-Authentifizierung ...
[10.11.2023 10:45:25] AMEX-Login war erfolgreich
[10.11.2023 10:45:25] Rufe Umsatzübersicht auf und starte Abruf des Kontoauszuges ...
[10.11.2023 10:45:25] Suche Umsätze im Zeitraum vom 27.10.2023 bis 10.11.2023 und lese diese aus ...
[10.11.2023 10:46:04] Web-Logout der aktuellen Online-Sitzung ...
[10.11.2023 10:46:06] AMEX-Logout war erfolgreich
[10.11.2023 10:46:06] Kontoauszug erfolgreich. Importiere Daten ...
[10.11.2023 10:46:06] Ergebnis des Sync: Keine neuen Umsätze vorhanden
[10.11.2023 10:46:06] Saldo aktualisiert von Konto: AMEX - Kreditkarte
[10.11.2023 10:46:07] Das Konto 'AMEX - Kreditkarte, IBAN DE0550..599700 [Deutsche Bank]' wurde erfolgreich synchronisiert
[10.11.2023 10:46:07] Synchronisierung via non-HBCI (Hibiscus Mashup) erfolgreich beendet