SL/BackgroundJob/SelfTest/Transactions.pm

   1 package SL::BackgroundJob::SelfTest::Transactions;
   2
   3 use utf8;
   4 use strict;
   5 use parent qw(SL::BackgroundJob::SelfTest::Base);
   6
   7 use SL::DBUtils;
   8
   9 use Rose::Object::MakeMethods::Generic (
  10   scalar => [ qw(dbh fromdate todate) ],
  11 );
  12
  13 sub run {
  14   my ($self) = @_;
  15
  16   $self->_setup;
  17
  18   $self->tester->plan(tests => 17);
  19
  20   $self->check_konten_mit_saldo_nicht_in_guv;
  21   $self->check_bilanzkonten_mit_pos_eur;
  22   $self->check_balanced_individual_transactions;
  23   $self->check_verwaiste_acc_trans_eintraege;
  24   $self->check_verwaiste_invoice_eintraege;
  25   $self->check_netamount_laut_invoice_ar;
  26   $self->check_invnumbers_unique;
  27   $self->check_summe_stornobuchungen;
  28   $self->check_ar_paid;
  29   $self->check_ap_paid;
  30   $self->check_ar_overpayments;
  31   $self->check_ap_overpayments;
  32   $self->check_paid_stornos;
  33   $self->check_stornos_ohne_partner;
  34   $self->check_overpayments;
  35   $self->check_every_account_with_taxkey;
  36   $self->calc_saldenvortraege;
  37 }
  38
  39 sub _setup {
  40   my ($self) = @_;
  41
  42   # TODO FIXME calc dates better, unless this is wanted
  43   $self->fromdate(DateTime->new(day => 1, month => 1, year => DateTime->today->year));
  44   $self->todate($self->fromdate->clone->add(years => 1)->add(days => -1));
  45
  46   $self->dbh($::form->get_standard_dbh);
  47 }
  48
  49 sub check_konten_mit_saldo_nicht_in_guv {
  50   my ($self) = @_;
  51
  52   my $query = qq|
  53     SELECT c.accno, c.description, c.category, SUM(a.amount) AS Saldo
  54     FROM chart c,
  55          acc_trans a
  56     WHERE c.id = a.chart_id
  57      and  (c.category like 'I' or c.category like 'E')
  58      and  amount != 0
  59      and  pos_eur is null
  60          and  a.transdate >= ? and a.transdate <= ?
  61     GROUP BY c.accno,c.description,c.category,c.pos_bilanz,c.pos_eur
  62     ORDER BY c.accno|;
  63
  64   my $konten_nicht_in_guv =  selectall_hashref_query($::form, $self->dbh, $query, $self->fromdate, $self->todate);
  65
  66   my $correct = 0 == scalar grep { $_->{Saldo} } @$konten_nicht_in_guv;
  67
  68   $self->tester->ok($correct, "Erfolgskonten mit Saldo nicht in GuV (Saldenvortragskonten können ignoriert werden, sollten aber 0 sein)");
  69   if (!$correct) {
  70     for my $konto (@$konten_nicht_in_guv) {
  71       $self->tester->diag($konto);
  72     }
  73   }
  74 }
  75
  76 sub check_bilanzkonten_mit_pos_eur {
  77   my ($self) = @_;
  78
  79   my $query = qq|SELECT accno, description FROM chart WHERE (category = 'A' OR category = 'L' OR category = 'Q') AND (pos_eur IS NOT NULL OR pos_eur != 0)|;
  80
  81   my $bilanzkonten_mit_pos_eur = selectall_hashref_query($::form, $self->dbh, $query);
  82   if (@$bilanzkonten_mit_pos_eur) {
  83      $self->tester->ok(0, "Es gibt Bilanzkonten die der GuV/EÜR zugeordnet sind)");
  84      $self->tester->diag("$_->{accno}  $_->{description}") for @$bilanzkonten_mit_pos_eur;
  85   } else {
  86      $self->tester->ok(1, "Keine Bilanzkonten in der GuV");
  87   }
  88 }
  89
  90 sub check_balanced_individual_transactions {
  91   my ($self) = @_;
  92
  93   my $query = qq|
  94     select sum(ac.amount) as amount,trans_id,ar.invnumber as ar,ap.invnumber as ap,gl.reference as gl
  95       from acc_trans ac
  96       left join ar on (ar.id = ac.trans_id)
  97       left join ap on (ap.id = ac.trans_id)
  98       left join gl on (gl.id = ac.trans_id)
  99     where ac.transdate >= ? AND ac.transdate <= ?
 100     group by trans_id,ar.invnumber,ap.invnumber,gl.reference
 101     having sum(ac.amount) != 0;|;
 102
 103   my $acs = selectall_hashref_query($::form, $self->dbh, $query, $self->fromdate, $self->todate);
 104   if (@$acs) {
 105     $self->tester->ok(0, "Es gibt unausgeglichene acc_trans-Transaktionen:");
 106     for my $ac (@{ $acs }) {
 107       $self->tester->diag("trans_id: $ac->{trans_id},  amount = $ac->{amount}, ar: $ac->{ar} ap: $ac->{ap} gl: $ac->{gl}");
 108     }
 109   } else {
 110     $self->tester->ok(1, "Alle acc_trans Transaktionen ergeben in Summe 0, keine unausgeglichenen Transaktionen");
 111   }
 112 }
 113
 114 sub check_verwaiste_acc_trans_eintraege {
 115   my ($self) = @_;
 116
 117   my $query = qq|
 118       select trans_id,amount,accno,description from acc_trans a
 119     left join chart c on (c.id = a.chart_id)
 120     where trans_id not in (select id from gl union select id from ar union select id from ap order by id)
 121       and a.transdate >= ? and a.transdate <= ? ;|;
 122
 123   my $verwaiste_acs = selectall_hashref_query($::form, $self->dbh, $query, $self->fromdate, $self->todate);
 124   if (@$verwaiste_acs) {
 125      $self->tester->ok(0, "Es gibt verwaiste acc-trans Einträge! (wo ar/ap/gl-Eintrag fehlt)");
 126      $self->tester->diag($_) for @$verwaiste_acs;
 127   } else {
 128      $self->tester->ok(1, "Keine verwaisten acc-trans Einträge (wo ar/ap/gl-Eintrag fehlt)");
 129   }
 130 }
 131
 132 sub check_verwaiste_invoice_eintraege {
 133  # taxincluded is null sollte nie passieren:
 134  # select sum(sellprice*qty) from invoice i where trans_id in (select id from ar where taxincluded is null);
 135   my ($self) = @_;
 136   my $query = qq|
 137      select * from invoice
 138        where trans_id not in (select id from ar union select id from ap order by id)
 139       and a.transdate >= ? and a.transdate <= ? ;|;
 140
 141   my $verwaiste_invoice = selectall_hashref_query($::form, $self->dbh, $query, $self->fromdate, $self->todate);
 142   if (@$verwaiste_invoice) {
 143      $self->tester->ok(0, "Es gibt verwaiste invoice Einträge! (wo ar/ap-Eintrag fehlt)");
 144      $self->tester->diag($_) for @$verwaiste_acs;
 145   } else {
 146      $self->tester->ok(1, "Keine verwaisten invoice Einträge (wo ar/ap-Eintrag fehlt)");                                                                                       }
 147 }
 148
 149 sub check_netamount_laut_invoice_ar {
 150   my ($self) = @_;
 151   my $query = qq|
 152     select sum(round(cast(i.qty*(i.fxsellprice * (1-i.discount)) as numeric), 2))
 153     from invoice i
 154     left join ar a on (a.id = i.trans_id)
 155     where a.transdate >= ? and a.transdate <= ?;|;
 156   my ($netamount_laut_invoice) =  selectfirst_array_query($::form, $self->dbh, $query, $self->fromdate, $self->todate);
 157
 158   $query = qq| select sum(netamount) from ar where transdate >= ? and transdate <= ?; |;
 159   my ($netamount_laut_ar) =  selectfirst_array_query($::form, $self->dbh, $query, $self->fromdate, $self->todate);
 160
 161   my $correct = $netamount_laut_invoice - $netamount_laut_ar == 0;
 162
 163   $self->tester->ok($correct, "Summe laut Verkaufsbericht sollte gleich Summe aus Verkauf -> Berichte -> Rechnungen sein");
 164   if (!$correct) {
 165     $self->tester->diag("Netto-Summe laut Verkaufsbericht (invoice): $netamount_laut_invoice");
 166     $self->tester->diag("Netto-Summe laut Verkauf -> Berichte -> Rechnungen: $netamount_laut_ar");
 167   }
 168 }
 169
 170 sub check_invnumbers_unique {
 171   my ($self) = @_;
 172
 173   my $query = qq| select  invnumber,count(invnumber) as count from ar
 174                where transdate >= ? and transdate <= ?
 175                group by invnumber
 176                having count(invnumber) > 1; |;
 177   my $non_unique_invnumbers =  selectall_hashref_query($::form, $self->dbh, $query, $self->fromdate, $self->todate);
 178
 179   if (@$non_unique_invnumbers) {
 180     $self->tester->ok(0, "Es gibt doppelte Rechnungsnummern");
 181     for my $invnumber (@{ $non_unique_invnumbers }) {
 182       $self->tester->diag("invnumber: $invnumber->{invnumber}    $invnumber->{count}x");
 183     }
 184   } else {
 185     $self->tester->ok(1, "Alle Rechnungsnummern sind eindeutig");
 186   }
 187 }
 188
 189 sub check_summe_stornobuchungen {
 190   my ($self) = @_;
 191
 192   my $query = qq|
 193     select sum(amount) from ar a JOIN customer c ON (a.customer_id = c.id)
 194     WHERE storno is true
 195       AND a.transdate >= ? and a.transdate <= ?|;
 196   my ($summe_stornobuchungen_ar) = selectfirst_array_query($::form, $self->dbh, $query, $self->fromdate, $self->todate);
 197
 198   $query = qq|
 199     select sum(amount) from ap a JOIN vendor c ON (a.vendor_id = c.id)
 200     WHERE storno is true
 201       AND a.transdate >= ? and a.transdate <= ?|;
 202   my ($summe_stornobuchungen_ap) = selectfirst_array_query($::form, $self->dbh, $query, $self->fromdate, $self->todate);
 203
 204   $self->tester->ok($summe_stornobuchungen_ap == 0, 'Summe aller Einkaufsrechnungen (stornos + stornierte) soll 0 sein');
 205   $self->tester->ok($summe_stornobuchungen_ar == 0, 'Summe aller Verkaufsrechnungen (stornos + stornierte) soll 0 sein');
 206   $self->tester->diag("Summe Einkaufsrechnungen (ar): $summe_stornobuchungen_ar") if $summe_stornobuchungen_ar;
 207   $self->tester->diag("Summe Einkaufsrechnungen (ap): $summe_stornobuchungen_ap") if $summe_stornobuchungen_ap;
 208 }
 209
 210 sub check_ar_paid {
 211   my ($self) = @_;
 212
 213   my $query = qq|
 214       select invnumber,paid,
 215            (select sum(amount) from acc_trans a left join chart c on (c.id = a.chart_id) where trans_id = ar.id and c.link like '%AR_paid%') as accpaid ,
 216            paid+(select sum(amount) from acc_trans a left join chart c on (c.id = a.chart_id) where trans_id = ar.id and c.link like '%AR_paid%') as diff
 217     from ar
 218     where
 219           (select sum(amount) from acc_trans a left join chart c on (c.id = a.chart_id) where trans_id = ar.id and c.link like '%AR_paid%') is not null
 220             AND storno is false
 221       AND transdate >= ? and transdate <= ?
 222     order by diff |;
 223
 224   my $paid_diffs_ar = selectall_hashref_query($::form, $self->dbh, $query, $self->fromdate, $self->todate);
 225
 226   my $errors = scalar grep { $_->{diff} != 0 } @$paid_diffs_ar;
 227
 228   $self->tester->ok(!$errors, "Vergleich ar paid mit acc_trans AR_paid");
 229
 230   for my $paid_diff_ar (@{ $paid_diffs_ar }) {
 231     next if $paid_diff_ar->{diff} == 0;
 232     $self->tester->diag("ar invnumber: $paid_diff_ar->{invnumber} : paid: $paid_diff_ar->{paid}    acc_paid= $paid_diff_ar->{accpaid}    diff: $paid_diff_ar->{diff}");
 233   }
 234 }
 235
 236 sub check_ap_paid {
 237   my ($self) = @_;
 238
 239   my $query = qq|
 240       select invnumber,paid,
 241             (select sum(amount) from acc_trans a left join chart c on (c.id = a.chart_id) where trans_id = ap.id and c.link like '%AP_paid%') as accpaid ,
 242             paid-(select sum(amount) from acc_trans a left join chart c on (c.id = a.chart_id) where trans_id = ap.id and c.link like '%AP_paid%') as diff
 243      from ap
 244      where
 245            (select sum(amount) from acc_trans a left join chart c on (c.id = a.chart_id) where trans_id = ap.id and c.link like '%AP_paid%') is not null
 246        AND transdate >= ? and transdate <= ?
 247      order by diff |;
 248
 249   my $paid_diffs_ap = selectall_hashref_query($::form, $self->dbh, $query, $self->fromdate, $self->todate);
 250
 251   my $errors = scalar grep { $_->{diff} != 0 } @$paid_diffs_ap;
 252
 253   $self->tester->ok(!$errors, "Vergleich ap paid mit acc_trans AP_paid");
 254   for my $paid_diff_ap (@{ $paid_diffs_ap }) {
 255      next if $paid_diff_ap->{diff} == 0;
 256      $self->tester->diag("ap invnumber: $paid_diff_ap->{invnumber} : paid: $paid_diff_ap->{paid}    acc_paid= $paid_diff_ap->{accpaid}    diff: $paid_diff_ap->{diff}");
 257   }
 258 }
 259
 260 sub check_ar_overpayments {
 261   my ($self) = @_;
 262
 263   my $query = qq|
 264        select invnumber,paid,amount,transdate,c.customernumber,c.name from ar left join customer c on (ar.customer_id = c.id)
 265      where abs(paid) > abs(amount)
 266        AND transdate >= ? and transdate <= ?
 267          order by invnumber;|;
 268
 269   my $overpaids_ar =  selectall_hashref_query($::form, $self->dbh, $query, $self->fromdate, $self->todate);
 270
 271   my $correct = 0 == @$overpaids_ar;
 272
 273   $self->tester->ok($correct, "Keine Überzahlungen laut ar.paid");
 274   for my $overpaid_ar (@{ $overpaids_ar }) {
 275     $self->tester->diag("ar invnumber: $overpaid_ar->{invnumber} : paid: $overpaid_ar->{paid}    amount= $overpaid_ar->{amount}  transdate = $overpaid_ar->{transdate}");
 276   }
 277 }
 278
 279 sub check_ap_overpayments {
 280   my ($self) = @_;
 281
 282   my $query = qq|
 283       select invnumber,paid,amount,transdate,vc.vendornumber,vc.name from ap left join vendor vc on (ap.vendor_id = vc.id)
 284     where abs(paid) > abs(amount)
 285       AND transdate >= ? and transdate <= ?
 286         order by invnumber;|;
 287
 288   my $overpaids_ap =  selectall_hashref_query($::form, $self->dbh, $query, $self->fromdate, $self->todate);
 289
 290   my $correct = 0 == @$overpaids_ap;
 291
 292   $self->tester->ok($correct, "Überzahlungen laut ap.paid:");
 293   for my $overpaid_ap (@{ $overpaids_ap }) {
 294     $self->tester->diag("ap invnumber: $overpaid_ap->{invnumber} : paid: $overpaid_ap->{paid}    amount= $overpaid_ap->{amount}  transdate = $overpaid_ap->{transdate}");
 295   }
 296 }
 297
 298 sub check_paid_stornos {
 299   my ($self) = @_;
 300
 301   my $query = qq|
 302     SELECT ar.invnumber,sum(amount - COALESCE((SELECT sum(amount)*-1 FROM acc_trans LEFT JOIN chart ON (acc_trans.chart_id=chart.id) WHERE link ilike '%paid%' AND acc_trans.trans_id=ar.id ),0)) as "open"
 303     FROM ar, customer
 304     WHERE paid != amount
 305       AND ar.storno
 306       AND (ar.customer_id = customer.id)
 307       AND ar.transdate >= ? and ar.transdate <= ?
 308     GROUP BY ar.invnumber;|;
 309   my $paid_stornos = selectall_hashref_query($::form, $self->dbh, $query, $self->fromdate, $self->todate);
 310
 311   $self->tester->ok(0 == @$paid_stornos, "Keine bezahlten Stornos");
 312   for my $paid_storno (@{ $paid_stornos }) {
 313     $self->tester->diag("invnumber: $paid_storno->{invnumber}   offen: $paid_storno->{open}");
 314   }
 315 }
 316
 317 sub check_stornos_ohne_partner {
 318   my ($self) = @_;
 319
 320   my $query = qq|
 321     SELECT (SELECT cast ('ar' as text)) as invoice ,ar.id,invnumber,storno,amount,transdate,type,customernumber as cv_number
 322     FROM ar
 323     LEFT JOIN customer c on (c.id = ar.customer_id)
 324     WHERE storno_id is null AND storno is true AND ar.id not in (SELECT storno_id FROM ar WHERE storno_id is not null AND storno is true)
 325     UNION
 326     SELECT (SELECT cast ('ap' as text)) as invoice,ap.id,invnumber,storno,amount,transdate,type,vendornumber as cv_number
 327     FROM ap
 328     LEFT JOIN vendor v on (v.id = ap.vendor_id)
 329     WHERE storno_id is null AND storno is true AND ap.id not in (SELECT storno_id FROM ap WHERE storno_id is not null AND storno is true);
 330   |;
 331
 332   my $stornos_ohne_partner =  selectall_hashref_query($::form, $self->dbh, $query);
 333
 334   $self->tester->ok(@$stornos_ohne_partner == 0, 'Es sollte keine Stornos ohne Partner geben');
 335   if (@$stornos_ohne_partner) {
 336     $self->tester->diag("Stornos ohne Partner:   (kann passieren wenn Stornorechnung außerhalb Zeitraum liegt)");
 337     $self->tester->diag("gilt aber trotzdem als paid zu dem Zeitpunkt, oder?");
 338   }
 339   my $stornoheader = 0;
 340   for my $storno (@{ $stornos_ohne_partner }) {
 341     if (!$stornoheader++) {
 342       $self->tester->diag(join "\t", keys %$storno);
 343     }
 344     $self->tester->diag(join "\t", map { $storno->{$_} } keys %$storno);
 345   }
 346 }
 347
 348 sub check_overpayments {
 349   my ($self) = @_;
 350
 351   # Vergleich ar.paid und das was laut acc_trans bezahlt wurde
 352   # "als bezahlt markieren" ohne sauberes Ausbuchen führt zu Differenzen bei offenen Forderungen
 353   # geht nur auf wenn acc_trans Zahlungseingänge auch im Untersuchungszeitraum lagen
 354   # Stornos werden rausgefiltert
 355   my $query = qq|
 356 SELECT
 357 invnumber,customernumber,name,ar.transdate,ar.datepaid,
 358 amount,
 359 amount-paid as "open via ar",
 360 paid as "paid via ar",
 361 coalesce((SELECT sum(amount)*-1 FROM acc_trans LEFT JOIN chart ON (acc_trans.chart_id=chart.id) WHERE link ilike '%paid%' AND acc_trans.trans_id=ar.id AND acc_trans.transdate <= ?),0) as "paid via acc_trans"
 362 FROM ar left join customer c on (c.id = ar.customer_id)
 363 WHERE
 364  (ar.storno IS FALSE)
 365  AND (transdate <= ? )
 366 ;|;
 367
 368   my $invoices = selectall_hashref_query($::form, $self->dbh, $query, $self->todate, $self->todate);
 369
 370   my $count_overpayments = scalar grep {
 371        $_->{"paid via ar"} != $_->{"paid via acc_trans"}
 372     || (    $_->{"amount"} - $_->{"paid via acc_trans"} != $_->{"open via ar"}
 373          && $_->{"paid via ar"} != $_->{"paid via acc_trans"} )
 374   } @$invoices;
 375
 376   $self->tester->ok($count_overpayments == 0, 'Vergleich ar.paid und das was laut acc_trans bezahlt wurde');
 377
 378   if ($count_overpayments) {
 379     for my $invoice (@{ $invoices }) {
 380       if ($invoice->{"paid via ar"} != $invoice->{"paid via acc_trans"}) {
 381         $self->tester->diag("paid via ar (@{[ $invoice->{'paid via ar'} * 1 ]}) !=   paid via acc_trans  (@{[ $invoice->{'paid via acc_trans'} * 1 ]}) (at least until transdate!)");
 382         if (defined $invoice->{datepaid}) {
 383           $self->tester->diag("datepaid = $invoice->{datepaid})");
 384         }
 385         $self->tester->diag("Überzahlung!") if $invoice->{"paid via acc_trans"} > $invoice->{amount};
 386       } elsif ( $invoice->{"amount"} - $invoice->{"paid via acc_trans"} != $invoice->{"open via ar"} && $invoice->{"paid via ar"} != $invoice->{"paid via acc_trans"}) {
 387         $self->tester->diag("amount - paid_via_acc_trans !=  open_via_ar");
 388         $self->tester->diag("Überzahlung!") if $invoice->{"paid via acc_trans"} > $invoice->{amount};
 389       } else {
 390         # nothing wrong
 391       }
 392     }
 393   }
 394 }
 395
 396 sub calc_saldenvortraege {
 397   my ($self) = @_;
 398
 399   my $saldenvortragskonto = '9000';
 400
 401   # Saldo Saldenvortragskonto 9000 am Jahresanfang
 402   my $query = qq|
 403       select sum(amount) from acc_trans where chart_id = (select id from chart where accno = ?) and transdate <= ?|;
 404   my ($saldo_9000_jahresanfang) = selectfirst_array_query($::form, $self->dbh, $query, $saldenvortragskonto, DateTime->new(day => 1, month => 1, year => DateTime->today->year));
 405   $self->tester->diag("Saldo 9000 am 01.01.@{[DateTime->today->year]}: @{[ $saldo_9000_jahresanfang * 1 ]}    (sollte 0 sein)");
 406
 407     # Saldo Saldenvortragskonto 9000 am Jahresende
 408   $query = qq|
 409       select sum(amount) from acc_trans where chart_id = (select id from chart where accno = ?) and transdate <= ?|;
 410   my ($saldo_9000_jahresende) = selectfirst_array_query($::form, $self->dbh, $query, $saldenvortragskonto, DateTime->new(day => 31, month => 12, year => DateTime->today->year));
 411   $self->tester->diag("Saldo $saldenvortragskonto am 31.12.@{[DateTime->today->year]}: @{[ $saldo_9000_jahresende * 1 ]}    (sollte 0 sein)");
 412 }
 413
 414 sub check_every_account_with_taxkey {
 415   my ($self) = @_;
 416
 417   my $query = qq|SELECT accno, description FROM chart WHERE id NOT IN (select chart_id from taxkeys)|;
 418   my $accounts_without_tk = selectall_hashref_query($::form, $self->dbh, $query);
 419
 420   if ( scalar @{ $accounts_without_tk } > 0 ){
 421     $self->tester->ok(0, "Folgende Konten haben keinen gültigen Steuerschlüssel:");
 422
 423     for my $account_without_tk (@{ $accounts_without_tk } ) {
 424       $self->tester->diag("Kontonummer: $account_without_tk->{accno} Beschreibung: $account_without_tk->{description}");
 425     }
 426   } else {
 427     $self->tester->ok(1, "Jedes Konto hat einen gültigen Steuerschlüssel!");
 428   }
 429 }
 430
 431 1;
 432
 433 __END__
 434
 435 =encoding utf-8
 436
 437 =head1 NAME
 438
 439 SL::BackgroundJob::SelfTest::Transactions - base tests
 440
 441 =head1 DESCRIPTION
 442
 443 Several tests for data integrity.
 444
 445 =head1 FUNCTIONS
 446
 447 =head1 BUGS
 448
 449 =head1 AUTHOR
 450
 451 G. Richardson E<lt>information@richardson-bueren.deE<gt>
 452 Jan Büren E<lt>information@richardson-bueren.deE<gt>
 453 Sven Schoeling E<lt>s.schoeling@linet-services.deE<gt>
 454
 455 =cut
 456