[Geschlossen] Wechsel der Paypal Synchronisation API->ScreenScrapping nicht möglich

Hier gibt es Support zu den Plugin der neuesten Generation des Hibiscus-Mashup Projekts von Sebastian Richter
Benutzeravatar
Mo_
Beiträge: 37
Registriert: Fr 8. Aug 2014, 08:58

[Geschlossen] Wechsel der Paypal Synchronisation API->ScreenScrapping nicht möglich

Beitrag von Mo_ » Do 12. Apr 2018, 09:59

Hi,

auch als Privatanwender bin ich in den Fall
https://hibiscus-mashup.derrichter.de/i ... intervalls

Code: Alles auswählen

11002 	TransactionSearch 	SHORT 	Search warning.
LONG 	The number of results were truncated. Please change your search parameters if you wish to see all your results.
reingelaufen.
Ich musste den Intervall auf 1440 verkleinern, was 60 Tagen entspricht, damit es wieder geht. Seltsamerweise habe ich nach diesem Abruf einige wenige doppelte Buchungen in der Vergangenheit bekommen. Wenn ich diese weglösche, kamen sie beim neuen Aufruf wieder. Also habe ich die alten Einträge der doppelten Paare gelöscht, damit ging es dann. Scheinbar hat sich beim Abruf gegenüber den früheren Abrufen etwas geändert.
Größeres Problem ist nun aber, dass der Abruf einige Minuten dauert. Nachdem ich mich auf der FAQ oben mit dem Thema näher beschäftigt habe, las ich auch, dass es angeraten ist, hin und wieder den Modus zu wechseln. Ich kann aber im Dialog Synchronisierungsoptionen die Checkbox [x] API-Synchronisation aktivieren nicht abwählen. Nach dem Übernehmen und erneuten Öffnen ist die Option immer aktiv, auch wenn ich alle Credentials darunter weglösche. Wie stellt man also den Modus um?
Verstehe ich das richtig, dass dadurch mit der Fusionsmethode auch nach dem Rücksetzen des Saldos nie Daten verloren gehen, sondern durch die jeweils andere Methode ergänzt werden?
Abgesehen von der langen Übertragungsdauer scheint der API-Zugriff dennoch der bessere zu sein für den täglichen Gebrauch. Warum müssen hier überhaupt immer wieder alle Umsätze abgerufen werden und nicht erst ab dem Abruf des letzten vorhandenen Umsatzes?
Hibiscus Nightly build
openjdk version "1.8.0_144" OpenJDK Runtime Environment (IcedTea 3.5.1) (Gentoo icedtea-3.5.1) OpenJDK 64-Bit Server VM (build 25.144-b01, mixed mode)

Benutzeravatar
Mo_
Beiträge: 37
Registriert: Fr 8. Aug 2014, 08:58

Re: Wechsel der Paypal Synchronisation API->ScreenScrapping nicht möglich

Beitrag von Mo_ » Fr 13. Apr 2018, 14:28

Mo_ hat geschrieben:Ich musste den Intervall auf 1440 verkleinern, was 60 Tagen entspricht, damit es wieder geht. Seltsamerweise habe ich nach diesem Abruf einige wenige doppelte Buchungen in der Vergangenheit bekommen. Wenn ich diese weglösche, kamen sie beim neuen Aufruf wieder. Also habe ich die alten Einträge der doppelten Paare gelöscht, damit ging es dann. Scheinbar hat sich beim Abruf gegenüber den früheren Abrufen etwas geändert.
Beim erneuten Abruf habe ich nun hunderte doppelte Einträge an anderer Stelle bekommen. Das macht sehr viel Arbeit, diese alle auszusortieren, wobei es auch unklar ist, wann solche wieder entstehen.
Das ganze Paypal-Konto löschen und wiederaufbauen käme nicht in Frage, da ich an den meisten Buchungen einen Kommentar habe mit z.B. Bestellnummer oder Ebay-Auktions-Nr.
Wie können diese doppelten Einträge passieren, wenn ich nichtmal den Abrufmodus geändert habe. Das würde ich nun auch nicht mehr tun wollen, weil dann evtl. noch weitere Buchungen doppelt erscheinen.
Hibiscus Nightly build
openjdk version "1.8.0_144" OpenJDK Runtime Environment (IcedTea 3.5.1) (Gentoo icedtea-3.5.1) OpenJDK 64-Bit Server VM (build 25.144-b01, mixed mode)

Benutzeravatar
Hibiscus-Scripter
Administrator
Administrator
Beiträge: 2519
Registriert: Mi 30. Okt 2013, 17:14
Wohnort: Würzburg
Has thanked: 96 times
Been thanked: 59 times

Re: Wechsel der Paypal Synchronisation API->ScreenScrapping nicht möglich

Beitrag von Hibiscus-Scripter » Sa 14. Apr 2018, 10:14

Hallo,

wie im Versionsthread beschrieben ist der CSV-Abruf bei PayPal im Moment nicht funktionsfägig, da hier ein ähnliches Problem wie bei American Express besteht (HTMLUnit versagt).

Die Doppler können sich hier durch Änderungen am Code ergeben haben, weil dort meine ich vor einiger Zeit ein schwerer Fehler entdeckt wurde weshalb glaube ich die Gegenkonten gar nicht richtig eingetragen wurden. Diesen Fehler gab es meine ich eine recht lange Zeit (über Jahre) ohne das es je einer bemerkt hätte. Als dieser korrigiert wurde, wurden natürlich alle betroffenen Umsätze erneut abgerufen da diese einen anderen Aufbau hatten.
Kann mich nicht mehr so genau erinnern aber das wurde bestimmt angekündigt und dazu geraten eben keinen Komplett-Abruf mehr zu machen da das Problem dann einfach nicht auftritt, sondern nur noch normale Abrufe und dann können sich nur die letzten zwei Wochen überschneiden.

Also immer die alten Doppler löschen, da die neuen ja natürlich immer als neu erkannt werden.

Gruß
... wer lesen kann ist wie immer im klaren Vorteil ...

:!: Vor dem Posten: Bitte die Posting-Regeln für neue Beiträge lesen und bitte auch immer alle 4. Punkte zur Fehlermeldung beachten (Der Post wird ansonsten gelöscht)

:idea: Hilfe und Informationen zu den Test- und Nightly-Builds und deren Installation findet Ihr z. B. im Tipps und Tricks-Forum (Weitere hilfreiche Artikel findet man in der FAQ auf der Projekt-Website)

Wer ein Dankeschön für die Arbeit und Unkosten senden möchte, kann gerne auch :arrow: Spenden

Benutzeravatar
Mo_
Beiträge: 37
Registriert: Fr 8. Aug 2014, 08:58

Re: Wechsel der Paypal Synchronisation API->ScreenScrapping nicht möglich

Beitrag von Mo_ » Mo 16. Apr 2018, 10:02

Danke für die Hinweise.
Dann war ich bzgl. CSV nicht auf dem neusten Stand. Wo ist der Versionsthread? Meinst du http://hibiscus-scripting.derrichter.de ... ginver2110 ?
Im Forum hab ich zu Paypal nun keinen Haupt-Thread gefunden. Warum erstellst du nicht auch für jeden Abruf wie Amex oder Paypal ein Unterforum, oder gibt es da einfach nicht genug Beiträge?

Ok, dann verstehe ich die Doppler. Habe nun allerdings versäumt, die Doppler alle zu bearbeiten, als sie neu reingekommen sind und noch als "Neu" markiert waren. Nun kann ich sie nur noch mit der Funktion Duplikate->Duplikate_suchen finden.
  • Verstehe ich das richtig, wenn ich eine korrekte Buchung aus Versehen weglösche, dann kommt sie mit dem nächsten Sync wieder rein?
  • Wie macht man überhaupt einen Teil-Abruf, also keinen Komplett-Abruf? Soweit ich das nun verstanden habe, gibt das API-Abrufintervall (Std) lediglich den "Slice" innerhalb des Aufrufes an. d.h. bei kleinem Slice werden umso mehr Requests benötigt, dadurch dauert der Abruf länger. Pro Request hat Paypal halt eine Maximale "Size", den muss ich also klein genug wählen, gemäß der Menge meiner persönlichen Buchungen. Es wird aber immer der gesamte Account abgerufen. Wie würde ich denn den Zeitraum eingrenzen? Wenn ich z.B. nur ein Jahr abrufe, würde auch bei kleinem Interval der Abruf schon schneller fertig werden.
Obwohl ich Paypal bereits länger mit Hibiscus abrufe, habe ich nun seit der Umstellung des Intervals, obwohl ich API-Abruf schon länger verwende, zum ersten Mal viele Buchungen bis nach 2004 aus den Urzeiten meines Paypal-Accounts erhalten. Das liegt wohl auch an den genannten Änderungen.
Hibiscus Nightly build
openjdk version "1.8.0_144" OpenJDK Runtime Environment (IcedTea 3.5.1) (Gentoo icedtea-3.5.1) OpenJDK 64-Bit Server VM (build 25.144-b01, mixed mode)

Benutzeravatar
Mo_
Beiträge: 37
Registriert: Fr 8. Aug 2014, 08:58

Re: Wechsel der Paypal Synchronisation API->ScreenScrapping nicht möglich

Beitrag von Mo_ » Mi 18. Apr 2018, 15:45

Hab es nun langsam verstanden. Erst durch das Zurücksetzen des Saldos wird ein Komplettabruf gemacht.
Ich habe nun durch gezieltes Löschen der doppelten Umsätze, Zurücksetzen des Kontosaldos und einigen langenwierigen Durchläufen mit Komplettabruf fast alle Duplikate aufräumen können.
Es bleiben immer noch Fragen:
  • Es gibt noch immer 2 Duplikate. Auch wenn ich aus einem Vorgang alle Umsätze lösche, kommen die Duplikate beim nächsten Abruf wieder. In der normalen Übersicht bei Paypal sind diese Duplikate nicht zu sehen. Eine doppelte Buchung z.B. ist fast identisch, bis auf die "Art", das ist einmal "Zahlung (diverse)" und einmal "Order". Es handelt sich nur um sehr wenige Duplikate, bei 1397 Umsätzen seit 2004 sind es "nur" 2 Duplikate. Diese könnte ich nun von Hand löschen, sollte aber irgendwann wieder ein Komplettabruf notwendig sein, ist der Stand wieder inkonsistent.
  • Da der Komplettabruf hier bis 2004 abruft, gehe ich davon aus, dass hier das gesamte Konto seit Eröffnung synchronisiert wird. Warum wird aber bei der ersten Buchung (-3,70€) hier mit einer Zwischensumme von 284,62€ begonnen? Mein Paypal-Konto ist eigentlich immer auf 0 als reines Durchlaufkonto, außer eine Rückbuchung bleibt mal für wenige Tage liegen. d.h. mit jedem Buchungspaar (-/+) ist der Stand wieder auf 0. im späteren Verlauf des Kontos bis heute ist das auch der Fall, ganz zu Anfang wurde aber mit einem falschen Zwischensaldo begonnen. Außerdem müsste strenggenommen die Zwischensumme der Statuszeile, wenn man kurz mal alle Buchungen in Hibiscus markiert, auch 0 sein, was hier aber -10.312,56€ ist. Wird die Zwischensumme für jede Buchung von Paypal übertragen, oder wird die Zwischensumme von Hibiscus berechnet? Dann auf welcher Basis, auf dem ursprünglichen Kontostand, oder auf dem letzten bekannten Kontostand? Ich vermute ersteres, dass die Schnittstelle die Zwischensummen überträgt wie bei HBCI und Hibiscus diese anzeigt. Bei HBCI rechne ich manchmal die Salden nach, indem ich alle Buchungen kurz markiere. Nur bei Offline-Konten hat Olaf ja die Funktion eingebaut "Salden neu berechnen".
    Jedenfalls berechnet Paypal oder die Paypal-API hier scheinbar die Zwischensumme falsch.
Hibiscus Nightly build
openjdk version "1.8.0_144" OpenJDK Runtime Environment (IcedTea 3.5.1) (Gentoo icedtea-3.5.1) OpenJDK 64-Bit Server VM (build 25.144-b01, mixed mode)

Benutzeravatar
Mo_
Beiträge: 37
Registriert: Fr 8. Aug 2014, 08:58

Re: Wechsel der Paypal Synchronisation API->ScreenScrapping nicht möglich

Beitrag von Mo_ » Mi 18. Apr 2018, 16:12

Beispiel für eine doppelte Buchung. Es wurde ein Artikel für 26,80 € gekauft, später storniert. Abbuchung erfolgte vom Girokonto, dort wurde einmal 26,80 abgezogen und dann 18,81 zurückgebucht (Grund wird weiter unten erläutert). Die Buchungen auf dem Paypalkonto sehen so aus:

Code: Alles auswählen

Nr.     Gegenkonto              Datum     Betrag      Zwischens.  Art
--------------------------------------------------------------------------------------------------------
11562   Bankkonto               28.09.16  -18,81 EUR  284,62 EUR  Einzahlung von einem Bankkont
11561   Netflix.com             25.09.16  -7,99 EUR   303,43 EUR  Zahlung (diverse)
11696   PayPal                  24.09.16  26,80 EUR   311,42 EUR  Verzögerte Verfügbarkeit
11695   PayPal                  16.09.16  -26,80 EUR  284,62 EUR  Verzögerte Verfügbarkeit
11694   Hilde                   16.09.16  26,80 EUR   311,42 EUR  Rückzahlung
11693   Hilde                   15.09.16  -26,80 EUR  284,62 EUR  Zahlung (diverse)
11692   Bankkonto (Lastschrift) 15.09.16  26,80 EUR   311,42 EUR  Einzahlung vom Bankkonto (Lastschrift)
11692 und 11693 war der Kauf. Zwar in der falschen Reihenfolge, aber egal, innerhalb eines Tages kann nicht richtig sortiert werden. 11694 und 11695 ist die Stornierung. Damit ist Paypal eigentlich sauber. Dennoch erfolgte mit 11696 ein Zahlungseingang am 24.09.16. Dieser ist auf der Webseite zu diesem Datum nicht zu finden, nur die beiden am 15. und 16. Da hier ein ungünstiger Fall auftrat, wo ich den gutgeschrieben Betrag nicht direkt von PP zurückgebucht hatte, erfolgte leider von dem Guthaben noch eine Zahlung an Netflix, so dass erst mit der letzten Buchung der Restbetrag zurückgebucht wurde.
Die Summe all dieser Buchungen ist 0, Paypal ist also im Grunde immer noch sauber, die Buchungen 11694 und 11695 sind aber sinnlos, dieser Betrag ging nie zurück aufs Girokonto.

Dies könnte sich noch um einen Grenzfall handeln, da ich das Guthaben zu lange liegen gelassen hatte. Beim folgenden Fall ist es aber wirklich falsch, hier führe ich auch mal die Buchungen drumherum auf, ohne etwas wegzulassen:

Code: Alles auswählen

Nr.     Gegenkonto              Datum     Betrag      Zwischens.  Art
--------------------------------------------------------------------------------------------------------
6934    Bankkonto               18.10.16  -29,90 EUR  0,00 EUR    Einzahlung von einem Bankkonto
11578   ROSE Bikes GmbH         17.10.16  29,90 EUR   284,88 EUR  Rückzahlung
11684   Parfümerie Douglas GmbH 13.10.16  -29,64 EUR  254,98 EUR  Zahlung (diverse)
11683   Parfümerie Douglas GmbH 13.10.16  -29,64 EUR  254,98 EUR  Order
11577   Baumarktmonster         13.10.16  -14,99 EUR  254,98 EUR  Zahlung (diverse)
11576   Kreditkarte             13.10.16  14,99 EUR   269,97 EUR  Belastung von Kreditkarte
11574   Kreditkarte             13.10.16  29,64 EUR   284,62 EUR  Belastung von Kreditkarte
11572   PayPal                  13.10.16  -23,31 EUR  284,62 EUR  Verzögerte Verfügbarkeit
11571   HORNBACH-Baumarkt AG    13.10.16  23,31 EUR   307,93 EUR  Rückzahlung
11570   Eisen ........ GmbH     11.10.16  -32,99 EUR  284,62 EUR  Zahlung (diverse)
11569   Bankkonto (Lastschrift) 11.10.16  32,99 EUR   317,61 EUR  Einzahlung vom Bankkonto (Lastschrift)
Buchung Nr. 11683 und 11684 sind Duplikate. Der Zeitraum ist seltsamerweise ähnlich dem vorherigen. Außerdem ist das der Punkt ab Buchung Nr. 6934, wo der Zwischensaldo erstmalig wieder richtig und 0 ist, ohne dass die Buchungen dazu passen. Da scheint ein Schnitt im Algorithmus bei Paypal zu sein. Die Summe dieser Buchungen ist tatsächlich nicht 0, sondern gemäß dem Duplikat -29,64€.
Auch ist der Datenbank-Zähler da einmal gesprungen. Ich weiß nicht, wie Olaf die Zähler zuweist, da können natürlich Zahlenbereiche freigeworden sein, durch vormals gelöschte Buchungen.

Das ganze ist nun weniger schlimm für mich, da ich PP ja nur als Durchlaufkonto nutze, und nur die Buchungen auf den Girokonten und Kreditkarten den einzelnen Kostenstellen/Projekten zuordne. Zuordnung zu Projekten mache ich über Hashtags in den Kommentaren, dazu habe ich eine laufende Diskussion mit Olaf, weil ich mir hier echte suchbare Keywords als Feature wünschen würde. Kostenstellen bearbeite ich über die Kategorie. Alle PP Buchungen auf dem PP-Konto bekommen einfach die Kategorie Paypal, sind immer +/- 0, daher eigentlich irrelevant. Dennoch störend, wenn die Buchhaltung da nicht stimmt.
Ich könnte natürlich mal mit einer Sandbox und frischen Paypalkonto einen Komplettabruf machen. Allerdings habe ich ja bereits mehrfach die falschen Buchungen weggelöscht und erneut abgerufen, es würde mich also wundern, wenn ein völlig leeres Konto einen anderen Stand abrufen würde.
Hibiscus Nightly build
openjdk version "1.8.0_144" OpenJDK Runtime Environment (IcedTea 3.5.1) (Gentoo icedtea-3.5.1) OpenJDK 64-Bit Server VM (build 25.144-b01, mixed mode)

Benutzeravatar
Mo_
Beiträge: 37
Registriert: Fr 8. Aug 2014, 08:58

Re: Wechsel der Paypal Synchronisation API->ScreenScrapping nicht möglich

Beitrag von Mo_ » Do 19. Apr 2018, 12:12

Hier ist nochmal eine Unstimmigkeit in naher Vergangenheit, die auch jedesmal nach dem Korrigieren erneut im Konto erscheint. Hier wird die Zwischensumme einfach falsch berechnet ab Nr. 9655 und eine doppelte Buchung Nr. 11697 eingefügt, die man auf der Webseite nicht sieht:

Code: Alles auswählen

Nr.     Gegenkonto          Datum     Betrag      Zwischens. Notiz                              Art
--------------------------------------------------------------------------------------------------------
11697   Elektrotechnik  31.01.18   -233,19 EUR    0,00 EUR  Kauf: Verteilermaterial             Zahlung (diverse)
10077   Bernd           31.01.18    -11,89 EUR  -11,89 EUR  Kauf: 2x ABB    Schuko-Steckdose    Zahlung (diverse)
9655    Kreditkarte     31.01.18     11,89 EUR    0,00 EUR  Kauf: 2x ABB    Schuko-Steckdose    Belastung von Kreditkarte
9642    Bankkonto       31.01.18    -43,00 EUR    0,00 EUR  Verkauf: Alukoffer                  Einzahlung von einem Bankkonto
9641    Ahmet           31.01.18     43,00 EUR   43,00 EUR  Verkauf: Alukoffer                  Zahlung (diverse)
9638    Kreditkarte     31.01.18     59,00 EUR    0,00 EUR  Kauf: Schrumpfschlauch              Belastung von Kreditkarte
9637    APS             31.01.18    -59,00 EUR  -59,00 EUR  Kauf: Schrumpfschlauch              Zahlung (diverse)
9636    Kreditkarte     31.01.18      7,95 EUR    0,00 EUR  Kauf  Batterie für    BUDERUS       Belastung von Kreditkarte
9635    werotronic      31.01.18     -7,95 EUR   -7,95 EUR  Kauf  Batterie für    BUDERUS       Zahlung (diverse)
9632    Kreditkarte     31.01.18    233,19 EUR  233,19 EUR  Kauf: Verteilermaterial             Belastung von Kreditkarte
11685   Elektrotechnik  30.01.18   -233,19 EUR    0,00 EUR  Kauf: Verteilermaterial             Order
Hibiscus Nightly build
openjdk version "1.8.0_144" OpenJDK Runtime Environment (IcedTea 3.5.1) (Gentoo icedtea-3.5.1) OpenJDK 64-Bit Server VM (build 25.144-b01, mixed mode)

Zurück zu „Hibiscus Mashup über Finance.Websync - (Beta 0.x = neue Release 3 der alten Scripte)“