[Geschlossen] Postbank Anlagekonto Sonderzeichen

Hier gibt es Support zu den Plugin der neuesten Generation des Hibiscus-Mashup Projekts von Sebastian Richter
Eiko3eep
Beiträge: 61
Registriert: Do 5. Dez 2013, 11:36

[Geschlossen] Postbank Anlagekonto Sonderzeichen

Beitrag von Eiko3eep » Do 1. Jul 2021, 22:48

Hallo,

der Import klappt soweit. Die Sonderzeichen werden scheinbar nicht konvertiert sondern so in die Hibiscus DB geschrieben. Das ist mir aufgefallen als ich Abrechnungen von Aktien bekommen habe. Hier nur mal ein Beispiel aus dem VWZ eines solchen Imports: 31.05.2021WERTPAPIERZAHLUNG F�R KENN-NR. 606900FROSTA AG AKT. O.N. Das Fragezeichen ist aber in Wirklichkeit ein Platzhalter für das ü. Ich bin mir nicht mehr sicher, ich hatte mal von der Postbank den CSV geladen. Ein Test hat jedenfalls ergeben das vermutlich die CSV mit dem WINDOWS-1252 Satz erstellt wird. Ein Test mit "iconv --from-code=WINDWOS-1252 --to-code=utf8 <dateiname>" hat jedenfalls alle in der Datei enthaltenen Sonderzeichen korrekt konvertiert. Mit "--from-code=ISO-8859-15" war das nicht der Fall. Ich weiß nicht, wie das das Scripting macht. Aber ggf. reicht es ja die herunter geladene Datei mit dem richtigen Encoding zu importieren. Bei anderen Banken habe ich das im cvs-Export auch schon gesehen, das die gerne 1252 verwenden. Das könnte üblich sein (in dieser windowslastigen Welt ;-)

Der Vollständigkeit halber hier nochmal ein Sync mit dem Anlagekonto:

Code: Alles auswählen

[01.07.2021 22:39:55] Synchronisierung via non-HBCI (Hibiscus Mashup) läuft
[01.07.2021 22:39:55]  
[01.07.2021 22:39:55] System-Info: OS[Linux (ver. 4.19.0-17-amd64) amd64]  Platform[Jameica 2.10.0 | Build: 480 vom 20201127]  Plugin[hibiscus 2.10.3 | Build: 365 vom 20210420]
[01.07.2021 22:39:55] Installierte und aktive Plugin-Versionen: [Finance.Websync ver. 0.9.24 | Build: 720 vom 20210531] [Hibiscus Mashup ver. 0.9.19 | Build: 450 vom 20210531]
[01.07.2021 22:39:55] Überprüfe Jameica-Version ...
[01.07.2021 22:39:55] OK: Jameica-Version 2.10.0 installiert und aktiv
[01.07.2021 22:39:55] Überprüfe Java-Version und den verwendeten Zeichensatz ...
[01.07.2021 22:39:55] OK: Java-Version 1.8.0_291 von 'Oracle Corporation' installiert, aktiv und verwendet Zeichensatz 'UTF-8' (Home: /home/pierre/opt/java/jre1.8.0_291)
[01.07.2021 22:39:55] Überprüfe Selenium-Version ...
[01.07.2021 22:39:55] OK: Selenium-Version 3.141.59 installiert und aktiv
[01.07.2021 22:39:55] Überprüfe ChromeDriver-Version ...
[01.07.2021 22:39:55] OK: ChromeDriver-Version 91.0.4472.19 installiert und aktiv
[01.07.2021 22:39:55]  
[01.07.2021 22:39:55] Synchronisiere Konto 'Postbank - Anlage, IBAN DE4537..870619 [Postbank Nd...tsche Bank]' ...
[01.07.2021 22:39:55] Selenium WebDriver über ChromeDriver wird gestartet ...
[01.07.2021 22:39:55] Überprüfe Chrome-Version ...
[01.07.2021 22:39:55] OK. Browser ist: chrome ver. 91
[01.07.2021 22:39:57] Web-Login mit Selenium-WebDriver-Engine mit Anmeldekennung Pier******* auf https://meine.postbank.de/#/login ...
[01.07.2021 22:40:36] Postbank-Login war erfolgreich
[01.07.2021 22:40:36] Rufe Umsatzübersicht auf und starte Abruf des Kontoauszuges ...
[01.07.2021 22:40:36] Suche Umsätze im Zeitraum vom 17.06.2021 bis 01.07.2021 und lese diese aus ...
[01.07.2021 22:40:43] Web-Logout der aktuellen Online-Sitzung ...
[01.07.2021 22:40:44] Postbank-Logout war erfolgreich
[01.07.2021 22:40:44] Kontoauszug erfolgreich. Importiere Daten ...
[01.07.2021 22:40:44] Ergebnis des Sync: Es wurde ein neuer Umsatz übernommen
[01.07.2021 22:40:44] Saldo aktualisiert von Konto: Postbank - Anlage
[01.07.2021 22:40:44] Das Konto 'Postbank - Anlage, IBAN DE4537..870619 [Postbank Nd...tsche Bank]' wurde erfolgreich synchronisiert
[01.07.2021 22:40:44] Synchronisierung via non-HBCI (Hibiscus Mashup) erfolgreich beendet
Und da ein Bild häufig mehr sagt als viele Worte hier eine Buchung wo man das sieht:
screenschot-hibiscusdetail.jpeg
Die Tracedatei habe ich auch schon erstellt und schicke ich gerne per pm zu.
Du hast keine ausreichende Berechtigung, um die Dateianhänge dieses Beitrags anzusehen.

Benutzeravatar
Hibiscus-Scripter
Administrator
Administrator
Beiträge: 2511
Registriert: Mi 30. Okt 2013, 17:14
Wohnort: Würzburg
Has thanked: 93 times
Been thanked: 57 times

Re: Postbank Anlagekonto Sonderzeichen wie ä ö ü und andere werden nicht konvertiert

Beitrag von Hibiscus-Scripter » Mo 5. Jul 2021, 20:17

Hallo,

danke für die ordentliche Meldung mit dem vollständigem Status-Log :thumbup:
Hierdurch hast du mir bereits viele nützliche Infos zukommen lassen.
Leider reichen diese dieses mal aber nicht zum direkten lösen des Problems, denn

der eingebaute Konverter steht natürlich bereits auf "windows-1252" und ich kann das auch nicht reproduzieren.

Zur besseren Analyse benötige ich von dir eine vollständige TRACE-Log und am besten einen originalen CSV-Kontoauszug (natürlich unverändert und nicht nochmals gespeichert oder so)
:idea: Hilfe hierzu gibst wie immer auch im Tipps und Tricks-Forum mit dem Punkt #2

Diese sendest du mir dann bitte am besten per PM (= Private Nachricht, oben rechts) als ZIP-Datei.

Gruß :wave:
... wer lesen kann ist wie immer im klaren Vorteil ...

:!: Vor dem Posten: Bitte die Posting-Regeln für neue Beiträge lesen und bitte auch immer alle 4. Punkte zur Fehlermeldung beachten (Der Post wird ansonsten gelöscht)

:idea: Hilfe und Informationen zu den Test- und Nightly-Builds und deren Installation findet Ihr z. B. im Tipps und Tricks-Forum (Weitere hilfreiche Artikel findet man in der FAQ auf der Projekt-Website)

Wer ein Dankeschön für die Arbeit und Unkosten senden möchte, kann gerne auch :arrow: Spenden

Eiko3eep
Beiträge: 61
Registriert: Do 5. Dez 2013, 11:36

Re: Postbank Anlagekonto Sonderzeichen wie ä ö ü und andere werden nicht konvertiert

Beitrag von Eiko3eep » Di 6. Jul 2021, 10:55

PM ist gestern abend raus gegangen.

MfG,

Benutzeravatar
Hibiscus-Scripter
Administrator
Administrator
Beiträge: 2511
Registriert: Mi 30. Okt 2013, 17:14
Wohnort: Würzburg
Has thanked: 93 times
Been thanked: 57 times

Re: Postbank Anlagekonto Sonderzeichen wie ä ö ü und andere werden nicht konvertiert

Beitrag von Hibiscus-Scripter » Di 2. Nov 2021, 11:09

ups, du bist auf die zweite Seite gerutscht, da hab ich dich übersehen...

Aber es ist immer noch so, mit meinem "Test-Tagesgeldkonto" (das übrigens wieder CSV-Kontoauszug hat :wtf: )
ist der eingebaute Konverter auf "windows-1252" da bei mir der die CSV-Datei im ANSI-Windows-Format daherkommt und eben nicht in UTF-8.
und ich kann das auch nicht reproduzieren.
Das würde ja bedeuten, das bei einem Anlagekonto die Datei-Kodierung des CSV-Auszugs anders ist?

Schicke mir daher bitte mal eine "unveränderte" und nicht "geöffnet oder gar gespeicherten" CSV-Kontoauszug (über die drei Punkte rechts oben im Konto)
hier im Forum per PM.

Gruß :wave:
... wer lesen kann ist wie immer im klaren Vorteil ...

:!: Vor dem Posten: Bitte die Posting-Regeln für neue Beiträge lesen und bitte auch immer alle 4. Punkte zur Fehlermeldung beachten (Der Post wird ansonsten gelöscht)

:idea: Hilfe und Informationen zu den Test- und Nightly-Builds und deren Installation findet Ihr z. B. im Tipps und Tricks-Forum (Weitere hilfreiche Artikel findet man in der FAQ auf der Projekt-Website)

Wer ein Dankeschön für die Arbeit und Unkosten senden möchte, kann gerne auch :arrow: Spenden

Eiko3eep
Beiträge: 61
Registriert: Do 5. Dez 2013, 11:36

Re: Postbank Anlagekonto Sonderzeichen wie ä ö ü und andere werden nicht konvertiert

Beitrag von Eiko3eep » Di 2. Nov 2021, 11:43

Ok, da habe ich vielleicht was mißverständliches geschrieben.
Wenn ich die csv in libreoffice beim import in der voransicht ansehe und auf Win1252Lat1 stelle, dann sehe ich alle Umlaute.
Wenn ich die auf utf8 stelle dann sind da die Platzhalterzeichen � eingetragen.

So gesehen ok. Aber so wie ich das verstanden habe versteht Hibiscus utf-8 so das man die Win1251Lat1 in utf8 vor dem import konvertieren müsste.

Per PM schicke ich Dir gleich mal die csv und 2 Screenshots wo Du sehen kannst wie libreoffice das bei welcher Zeichensatzeinstellung interpretiert.

Benutzeravatar
Hibiscus-Scripter
Administrator
Administrator
Beiträge: 2511
Registriert: Mi 30. Okt 2013, 17:14
Wohnort: Würzburg
Has thanked: 93 times
Been thanked: 57 times

Re: Postbank Anlagekonto Sonderzeichen wie ä ö ü und andere werden nicht konvertiert

Beitrag von Hibiscus-Scripter » Di 2. Nov 2021, 13:13

Eiko3eep hat geschrieben:
Di 2. Nov 2021, 11:43
So gesehen ok. Aber so wie ich das verstanden habe versteht Hibiscus utf-8 so das man die Win1251Lat1 in utf8 vor dem import konvertieren müsste.
Ich weiß nicht warum wir schon wieder so aneinander vorbei reden. Genau das passiert ja und genau das ist die Ausgangslage!

Ich gehe/gibt davon aus, dass bei dir aber wohl die Datei bereits in UTF-8 daher kommt und dann dadurch eben wieder kaputt geht. Aber wohl auch nicht, da du dem selbst mit deinem ersten Satz wiedersprichst...
Das würde ja bedeuten, das du dein Jameica absichtlich mit einem anderen Zeichensatz startest oder eben die Postbank bei Hibiscus einen anderen Zeichensatz beim Download liefert als mit dem Browser... :wtf:

Das einzige was ich jetzt mal machen konnte ist auf "ISO-8859-1" umzustellen, da mir mein Editor das vorgibt. Aber das wird keinen Unterschied machen. Ansonsten kann ich den einfach mal ausschalten?


Und Libreoffice interessiert da eher nicht. Dafür verwendet man nen ordentlichen Editor...

Gruß :wave:
... wer lesen kann ist wie immer im klaren Vorteil ...

:!: Vor dem Posten: Bitte die Posting-Regeln für neue Beiträge lesen und bitte auch immer alle 4. Punkte zur Fehlermeldung beachten (Der Post wird ansonsten gelöscht)

:idea: Hilfe und Informationen zu den Test- und Nightly-Builds und deren Installation findet Ihr z. B. im Tipps und Tricks-Forum (Weitere hilfreiche Artikel findet man in der FAQ auf der Projekt-Website)

Wer ein Dankeschön für die Arbeit und Unkosten senden möchte, kann gerne auch :arrow: Spenden

Eiko3eep
Beiträge: 61
Registriert: Do 5. Dez 2013, 11:36

Re: Postbank Anlagekonto Sonderzeichen wie ä ö ü und andere werden nicht konvertiert

Beitrag von Eiko3eep » Do 4. Nov 2021, 22:16

Sorry. Meine Tests habe ich mit iconv durchgeführt (siehe oben "iconv --from-code=WINDWOS-1252 --to-code=utf8 <dateiname>") und dann manuell nach hibiscus geladen (nachdem ich manuell die Buchungsdetails erst mal gekürzt habe). Dann war es richtig dargestellt. Also hat die Datei Windows 1252 Latin 1 Encoding; wer weiß was die zum Erzeugen verwenden :oops:
Leider kennt der csv-Import scheinbar nur UTF-8, ISO-8859-1 und ISO-8859-15. Also muss man entweder extern konvertieren oder die entsprechende Programmiersprache dazu verwenden. Schöner wäre es allerdings man könnte das ebenfalls einfach auswählen. Aber ich habe gerade einfach mal statt der vorgegebenen Auswahl UTF-8 manuell WINDOWS-1252 eingetragen und der Import hat da nicht drüber gemeckert und das eine ä wurde dann auch als ä in hibiscus angezeigt. Probier doch das nochmal dem Import mitzugeben.

Ich schicke Dir auch mal die nach utf-8 konvertierte Datei nochmals per pm zu. Du kannst ja mal checken, ob der Import damit dann funktioniert.

Eiko3eep
Beiträge: 61
Registriert: Do 5. Dez 2013, 11:36

Re: Postbank Anlagekonto Sonderzeichen wie ä ö ü und andere werden nicht konvertiert

Beitrag von Eiko3eep » Do 4. Nov 2021, 22:24

Ansonsten ich denke das die Postbank die Datei erzeugt und nicht auf den Browser achtet. Also wird das Encoding durch den export-Prozess bei der Postbank vorgegeben. Da das sicherlich irgend ein Windows geraffel ist kommt dann halt auch ein Windows Encoding dabei raus. Im Browser kannst Du höchstens Manuell einstellen wie der Browser das gelieferte html darstellen soll was in meinen Augen wenig mit dem erstellen und dem Download der Datei zu tun hat.
Ansonsten hibiscus bzw. jameica starte ich ganz normal in meinem Terminal Fenster ohne irgend was zu ändern. Im Terminal habe ich aber einen utf-8 Zeichensatz am laufen, wie es bei Linux seit einigen Jahren üblich ist. Das gab aber bisher höchstens Darstellungsprobleme im Terminal-Fenster wo ja nur die Logausgaben durch rauschen.

Eiko3eep
Beiträge: 61
Registriert: Do 5. Dez 2013, 11:36

Re: Postbank Anlagekonto Sonderzeichen wie ä ö ü und andere werden nicht konvertiert

Beitrag von Eiko3eep » Do 4. Nov 2021, 23:05

So, der cvs-Import von Hibiscus mag den Verwendungszweck bzw. die SPalte Buchungsdetails nicht importieren weil ich immer ne blöde Fehlermeldung erhalte das das zu viele Zeichen sind. Nachdem ich das dann einfach in die Notizen gesteckt habe funktionierte der Import mit dem manuell eingetragenen WINDOWS-1252 und die Umlaute waren korrekt importiert. Supi. :-D Ich hoffe ich habe nicht wieder verwirrendes geschrieben :-? und es ist nun klar, worauf es ankommt.

Benutzeravatar
Hibiscus-Scripter
Administrator
Administrator
Beiträge: 2511
Registriert: Mi 30. Okt 2013, 17:14
Wohnort: Würzburg
Has thanked: 93 times
Been thanked: 57 times

Re: Postbank Anlagekonto Sonderzeichen wie ä ö ü und andere werden nicht konvertiert

Beitrag von Hibiscus-Scripter » Do 4. Nov 2021, 23:20

du bist jedenfalls Meister darin zu überlesen, dass die Datei schon immer so ausgelesen wurde.

Hast du es mal mit der neuen Version probiert?
... wer lesen kann ist wie immer im klaren Vorteil ...

:!: Vor dem Posten: Bitte die Posting-Regeln für neue Beiträge lesen und bitte auch immer alle 4. Punkte zur Fehlermeldung beachten (Der Post wird ansonsten gelöscht)

:idea: Hilfe und Informationen zu den Test- und Nightly-Builds und deren Installation findet Ihr z. B. im Tipps und Tricks-Forum (Weitere hilfreiche Artikel findet man in der FAQ auf der Projekt-Website)

Wer ein Dankeschön für die Arbeit und Unkosten senden möchte, kann gerne auch :arrow: Spenden

Zurück zu „Hibiscus Mashup über Finance.Websync - (Beta 0.x = neue Release 3 der alten Scripte)“