Controller::send_file schickt jetzt über client_js wenn ajax

(cherry picked from commit 0f16bc87b4804cf05cefb5ac1514c7f565cfbfbd)

kivi.js: kivi.save_file und client_js binding

(cherry picked from commit f68ea953a6a563172f12991d2ca3f9f17ad89dd2)

Controller::redirect_to: url_for nicht doppelt aufrufen, wenn ajax

Macht zwar nichts, muss aber auch nicht.

CustomerVendor POD korrigiert

t/datev/datev_format_2018.t nutzt Dev create_gl_transaction

Jahresabschluß - GLTransaction->post und Tests

Der YearEnd Controller nutzt nun GLTransaction->post, damit muß man die
acc_trans-Einträge nicht mehr von Hand zusammenbauen, und die Buchungen
passieren automatisch als Transaktion, die Buchungen werden validiert
und es wird ein Historieneintrag erstellt.

GLTransaction - Dialogbuchungen per Rose erstellen

neue Methoden in GLTransaction zum Erstellen von Dialogbuchungen
* post
* validate
* add_chart_booking

An einigen Stellen im Code werden Dialogbuchungen per Hand erstellt,
inkl. Steuern, das soll hiermit vereinheitlicht und vereinfacht
werden.

Acc_trans-Einträge können nun mit wenigen Parametern zu Dialogbuchungen
hinzugefügt werden, die Parameter orientieren sich dabei an den Werten,
wie sie auch an der Oberfläche eingegeben werden (Konto, Soll/Haben,
Steuer).  Dabei werden einige der Werte aus der GLTransaction
automatisch übernommen.

Beim Buchen wird eine neue Transaktion gestartet, die Buchung wird
validiert und es wird ein Historieneintrag erstellt.

SL Dev Record - neue Methoden für ar/gl/ap Transaktionen

Neue Methoden, um für Tests schnell Debitorenbuchungen,
Kreditorenbuchungen und Dialogbuchungen zu erstellen

ActionBar: Javascript: unbenutzte Variable entfernt

ActionBar: Javascript: jquery-Selektor zu Objekt auflösen

Sonst lassen sich die Funktionen removeTooltip, setTooltip, setDisabled,
setEnabled nicht mit einem Selektor via ClientJs->run

Danke Mosu.

ReportGenerator: set_options: auch bei csv_export nur Standardwerte beibehalten

ReportGenerator: set_options: "for" statt "map", da Rückgabewert nicht verwendet

S:C:YearEndTransactions: Warnung vermeiden: Variablen waren schon deklariert

S:C:YearEndTransactions: Kosmetik: Tab entfernt

Auftrags-Controller: Link bei Artikelnummer: Artikelstamm in neuem Tab öffnen

Auftrags-Controller: self an _row-Template übergeben …

… und nicht einzelne Variablen aus self, die dort abgefragt werden.

changelog zu "Auftrags-Controller: Positions-Update aus Artikel-Stamm"

Auftrags-Controller: Benutzereinstellung: Positions-Update aus Artikel-Stamm

Auftrags-Controller: Positions-Update aus Artikel-Stamm

locales-Lauf en

fehlende Übersetzung zum Jahresabschluß

Vorhandene Steuer speichern: richitge Anzahl von Bind-Variablen angeben

fix zu commit 543d78225ec609e9f67ecb1544e135ca88149234
"Spalte taxnumber aus Tabelle tax entfernt"

Alten YearEndTransactions Test entfernt

Jahresabschluß - YearEndTransactions neu implementiert

Der alte Jahresabschluß hatte eine Reihe von Schwächen, z.B. wurde nicht
zwischen Bestands- und Erfolgskonten unterschieden, und es wurde auch
kein Gewinn- oder Verlustvortrag gemacht. Der Anwender mußte selber
entscheiden, welche Konten abgeschlossen werden sollten.

* Saldenvortragskonto, sowie Gewinn- und Verlustvortragskonto müssen in
  der Mandantenkonfiguration unter "Standardkonten" konfiguriert werden

* Es wird nicht mehr für jedes Konto eine Dialogbuchung erstellt,
  sondern es werden alle Soll- und Habensalden zusammengefasst, und
  diese in Summe gegen das Saldenvortragskonto gebucht

* Der Jahresabschluß lässt sich für einen bestimmten Zeitraum mehrmals
  ausführen, falls später Buchungen für den Zeitraum hinzukommen.

AccountingPeriod - Methode an get_balance_starting_date übergeben

Für den Fall, daß man die Methode zur Ermittlung des Startdatums nicht
aus der Mandantenkonfiguration nehmen möchte, sondern diese selber
vorgeben, gibt es nun einen neuen Parameter, um die Methode selber zu
bestimmen. Der Default ist weiterhin der Wert aus der
Mandantenkonfiguration.

balance_startdate_method_options nach AccountingPeriod Helper

verlagert, wird auch für YearEndTransactions benötigt.

CSV-Import-Bericht: beim Löschen nur verwaiste Profile löschen

Unter gewissen Umständen kann es passieren, dass es mehrere
`csv_import_reports` mit derselben `profile_id` gibt. In so einem Fall
darf nur dann versucht werden, die Einträge aus `csv_import_profiles`
zu löschen, wenn der letzte `csv_import_reports`-Eintrag gelöscht
wird, der auf auf dieses Profil verlinkt.

Bericht VK-Rg/Debitorenbuchungen: nach Abteilungen sortieren können

Bericht EK-Rg/Kreditorenbuchungen: Abteilungen anzeigen können

Bericht Angebote/Aufträge: Abteilungen anzeigen können

template oe search: Kosmetik: Leerzeilen entfernt

Bericht EK-Rg/Kreditorenbuchungen: Filter nach Abteilung als Option anzeigen

Bericht EK-Rg/Kreditorenbuchungen: Filter nach Abteilung als hidden mitnehmen

Preisgruppenpreise als Preisliste bei Kunden anzeigen

Wenn dem Kunden eine Preisgruppe zugeordnet ist, werden die Preise in
den Kundenstammdaten als Preisliste (eigener Tab) angezeigt.

JS: CustomerVendor: Kosmetik: Tab entfernt

BankTransaction: keine Leerzeichen am Ende vom Verwendungszweck einfügen

Wenn man mehrere Felder einfach mit `join(' ', @felder)` zusammenfügt,
so entstehen nun mal ein Haufen Leerzeichen, auch wenn alle Felder
selber leer sind. Das führt konkret beim Import von Banktransaktionen
dazu, dass das Verwendungszweck-Feld, das aus den Feldern
`purpose` (ohne Suffix) und `purpose1` bis `purpose13` gebildet wird,
sehr viele Leerzeichen am Ende oder in der Mitte hat, wenn die
Felder (größtenteils) nicht benutzt werden.

Löscht auch bei bestehenden Positionen in der Datenbank Leerzeichen am
Ende. Leerzeichen am Anfang oder in der Mitte werden hingegen nicht
angefasst.

BankTransaction: Vorschlagslistencode aus action_list eigene Funktion verlagert

BankTransaction: Sortierungscode vereinfacht

Belege: E-Mail-Dialog: Sprache für Anhang-Übersetzung setzen

Rose: MetaSetups bzgl. Fließkommazahlen erneuert

bank_transaction_acc_trans: überflüssige Spalte »id« entfernt

Primärschlüssel sind zwei andere Spalten, und die Präsenz dieser
Nicht-Primärschlüssel-Spalte zusammen mit Typ »serial« macht Probleme,
weil Rose kein Default für solche Spalten kennt.

Kundenartikelnummern in Vorlagen verwenden können

Einsortierung in das template array wie Lieferantenartikelnummern als
customer_make und customer_model.

Standard-Druckvorlagen Angebot/Auftrag/Lieferschein/Rechnung für Verkauf
exemplarisch angepasst.

WH: Warnungen wegen nicht initialisierten Werten vermeiden

Durch Tests getriggert, konkret: durch t/wh/transfer.t

SL::DB::Unit: Warnungen wegen nicht initialisierten Werten vermeiden

Durch Tests getriggert, konkret: durch t/wh/transfer.t

AttrSorted-Helfer: Warnungen wegen nicht initialisierten Werten vermeiden

Durch Tests getriggert, konkret: durch t/controllers/csvimport/parts.t

SL::Auth: Warnungen wegen nicht initialisierten Werten vermeiden

Durch Tests getriggert, konkret: durch t/controllers/base/render.t

DB-Upgrades für Hintergrundjobs von Perl auf SQL umgestellt

Rose-Models dürfen in DB-Upgrade-Scripten nicht verwendet werden, weil
die Perl-Strukturdaten (MetaSetup) in dem Moment schon auf dem neuen
Stand, die Datenbankstrukturen aber auf dem alten Stand sind. Daher
schlagen bei Unterschieden (z.B. eine Spalte soll später noch angelegt
werden, sie existiert aber im neuen MetaSetup schon) halt sämliche
Operationen fehl.

Lagerstandsbericht: Listenpreis als Basis f. Bestandswert auswählbar

Lagerstandsbericht: Listenpreis anzeigbar machen

Kosmetik: doppeltes Leerzeichen weg

SelfTest: Geschwindigkeitssteigerung durch »NOT EXISTS« anstelle von »NOT IN«

Nicht ganz frische PostgreSQL-Versionen (mindestens bis 9.6 inklusive)
optimieren »NOT IN«-mit-Subquery nicht automatisch und müssen daher
für jede Zeile des äußeren Selects einen linearen Scan auf die
Subquery-Tabelle machen.

Deutlich effektiver ist das in diesem Fall äquivalente »NOT
EXISTS«-mit-Subquery.

Beispiel: Namen aller Kunden, für die noch keine Rechnung geschrieben
wurde. Falsch mit »NOT IN«:

SELECT name
FROM customer
WHERE id NOT IN (
  SELECT customer_id
  FROM ar
);

Besser und semantisch äquivalent:

SELECT name
FROM customer
WHERE NOT EXISTS (
  SELECT customer_id
  FROM ar
  WHERE customer_id = customer.id
);

Geschwindigkeitssteigerung ist auch ein Euphemismus. Vor der Änderung
war der Selftest bei der LINET-Produktivdatenbank nicht in der Lage,
seine Tests innerhalb von drei Tagen auszuführen. Nach der Änderung
dauert der Selftest weniger als eine Minute.

Neure PostgreSQL-Versionen (z.B. v11) erkennen dieses Pattern
automatisch.

Rose-Models anhand des tatsächlichen Schemas aktualisiert

Doku: Update nach Auth-Erweiterung auf multiple Module

Auth: Unterstützung für multiple Authentifizierungsbackends

Über den Parameter "module" kann man nun multiple Backends angeben,
die nacheinander versucht werden, bis ein Erfolg gemeldet wird oder
die Liste durchlaufen wurde.

Zusätzlich kann man LDAP-Module mehrfach angeben. Damit
unterschiedliche Konfigurationen für jede Modulinstanz benutzt werden
können, wurde die Syntax erweitert: für "LDAP:Config-Abschnitts-Name"
wird "[authentication/Config-Abschnitts-Name]" benutzt. Zwecks
Rückwärtskompatibilität sucht "LDAP" ohne Angabe eines Namens nach dem
bisher auch verwendeten Abschnitt "[authentication/ldap]".

Nützlich ist das Ganze z.B., um einen LDAP-Fallback-Server angeben zu
können, der benutzt wird, wenn der Hauptserver nicht erreichbar sein
sollte.

Auth: mini_error gefixt

$::auth->mini_error wird potenziell zu einem Zeitpunkt aufgerufen, an
dem es die Instanzen von $::form und $::request noch nicht gibt. Da
hier wirklich nur die Bare-Bones-Ausgabe der Fehlermeldung benötigt
wird, machen wir für den Fall manuell ein CGI-Objekt auf.

LDAP-Auth: Konfiguration über Konstruktur übergeben

Ist eine Vorarbeit dafür, das LDAP-Modul mit unterschiedlichen
Konfigurationen benutzen zu können.

LDAP-Auth: enter_sub/leave_sub entfernt

Task-Server auf unterschiedlichen Maschinen laufen lassen können

Jede Task-Server-Instanz und jeder Hintergrundjob haben nun ein neues
Attribute »node_id«. Darüber kann gesteuert werden, dass bestimmte
Jobs nur von einer bestimmten Instanz ausgeführt werden.

Die »node_id« eines neu angelegten Jobs ist standardmäßig leer. Das
bedeutet, dass ein Job von einer beliebigen Task-Server-Instanz
ausgeführt werden kann.

Die »node_id« eines Task-Servers ist standardmäßig der Hostname (siehe
ausgabe von »perl -MSys::Hostname -le 'print hostname()'«), kann aber
in der Konfigurationsdatei überschrieben werden (»[task_server]« →
»node_id«).

Zusätzlich gibt es den Konfigurationsparameter »[task_server]« →
»only_run_tasks_for_this_node«. Ist dieser Parameter gesetzt, so führt
der Task-Server nur diejenigen Jobs aus, deren »node_id«-Feld mit der
»node_id« der Task-Server-Instanz übereinstimmt. Andernfalls werden
auch diejenigen Jobs ausgeführt, deren »node_id«-Feld leer ist.

Achtung: es findet momentan keinerlei Locking statt. Das bedeutet,
dass es für jede Datenbank nur eine Task-Server-Instanz geben darf,
bei der »only_run_tasks_for_this_node« nicht gesetzt ist. Für
Load-Balancing eignet sich das also bisher noch nicht.

Typos in de locale

Workflow Lieferantenauftrag->Kreditorenbuchung: mini Performance-Optimierung

Später benötigte Relationen direkt mit laden.
Dank an Geoffrey.

Workflow Lieferantenauftrag->Kreditorenbuchung: Zahlungsbedingungen aus Auftrag

Um das Fälligkeitsdatum zu ermitteln, die Zahlungsbedingungen aus dem Auftrag
nehmen, nicht die aus den Lieferantenstammdaten.

Neuer Workflow Lieferantenauftrag->Kreditorenbuchung

Für jedes Aufwandskonto der Positionen im Lieferantenauftrag wird eine
Zeile in der Kreditorenbuchung erstellt. Gebucht wird standardmäßig
auf des entsprechende Aufwandskonto. In der Mandantenkonfiguration
kann unter Standardkonten ein Konto ausgewählt werden, auf das dann
alle Zeilen gebucht werden.
Die Steuern werden übernommen, sofern diese für das ausgewählte
Aufwandskonto gültig sind. Ansonsten wird die Default-Steuer für das
Aufwandskonto gesetzt.
Der Quellauftrag wird geschlossen, wenn der Betrag aller
Kreditorenbuchungen, die aus Workflows aus dem Quellauftrag entstanden
sind, gleich dem Betrag des Quellauftrags ist.

Auftrags-Controller: mime-type füer odt

Spalte taxnumber aus Tabelle tax entfernt 2

sql Upgrade Datei vergessen

changelog "Herkunft der personenbezogenen Daten" erweitert (ältere Version)

Typo in changelog

Payment Helper - POD repariert

Mahnungen erzeugen - nach Abteilung filtern und anzeigen

Index auf inventory parts_id

um schneller die Bestände eines Artikels in diversen Lagern zu berechnen

Neuer index auf inventory über itime und parts_id

Um Abfragen wie
* letzte 10 Lagerbuchungen
* letzte 10 Lagerbuchungen von Artikel XYZ
zu beschleunigen

Part Controller - neuer Tab mit Lagerinformationen

* Übersicht über alle Lagerbestände, wo der Artikel überall gelagert ist
(Derzeit gibt es im Template Variabeln um Zwischensummen und
Nachkommastellen zu kontrollieren)

* Mini-Journal mit den letzten 10 Lagertransaktionen des Artikels

Diese Daten werden nur bei Bedarf geladen, also wenn der Benutzer auf
den neuen Tab "Lagerbewegungen/-bestände" klickt.

Außerdem gibt es Links zu diversen Lageraktionen (Einlagern, Umlagern,
Entnahme), wo der Artikel dann schon vorausgewählt ist.

SL::DB::Part - get_simple_stock_sql: Mengen pro Bin

und Summen über Lager und Gesamtmenge.

Order Controller POD - Typos

Dev Part - Codeeinrückungen

Bericht Lagerbestand - Artikelnummer vorbelegbar machen

wenn man einen Parameter partname im Link übergibt
  wh.pl?action=report&partnumber=foobar123

Bericht Lagerbuchungen - Artikelnummer vorbelegbar machen

wenn man einen Parameter partname im Link übergibt
 &partname=foobar

Umlagern und Entnahme mit Artikel vorbelegen

Wenn man in der URL ein &parts_id=12345 im Link mitliefert.
In beiden Berichten gibt es einen Partpicker.

Inventory stock_in - select_default_bin Modus

wird in der Form / URL ein select_default_bin=1 übergeben, wird der
Standardlagerplatz des Artikels vorausgewählt (sofern vorhanden).

Ansonsten passiert das Aktualisieren von Lager/Lagerplatz nur, wenn sich
der Artikel nach Laden der Seite ändert.

InstanceConfiguration.pm - Typos und Style

Aggregatfunktion comma entfernt und Templates angepasst

"comma" war eine alte benutzerdefinierte Aggregatfunktion, die benutzt
wurde, um mehrere aggregierte Werte aus einem GROUP BY in einen
kommaseparierten String umzuwandeln.

Mittlerweile würde man das einfach mit array_agg und array_to_string machen:
 array_to_string(array_agg(startdate), ', ') as startdate

Im Template wurden die ',' dann durch '<br>' ersetzt. Stattdessen werden
die Werte im Query nun als array_agg ausgegeben, und im Template wird
eine Schleife über das Arrayref gebildet.

SL::Dev::Payment - check if bank account exists

PriceRule Manager - selectall_ids -> selectcol_array_query

Helper UserPreferences - selectall_ids -> selectcol_array_query

SL::DBUtils - selectall_array_query -> selectcol_array_query

selectall_array_query durch selectcol_array_query ersetzt.

Intern wird nun die DBI-Funktion selectcol_arrayref verwendet, anstatt
dies manuell per Schleife zu machen. Der Name selectall_array_query war
irreführend und der neue Name entspricht nun dem, was man erwartet.

SL::DBUtils - POD zu AutoCommit aktualisiert + Typos

Inventory Controller - Datenbankoptimierungen für mini_journal

Aus Datenbanksicht war das Inventory mini-journal eine Katastrophe.

Die trans_id Abfrage führte zu einem ersten Seq Scan auf der Tabelle inventory.
  my $query = 'SELECT trans_id FROM inventory GROUP BY trans_id ORDER BY max(itime) DESC LIMIT 10';

Die Rose Manager Abfrage führte dann zu einem zweiten Seq Scan auf der Tabelle inventory:
 $objs = SL::DB::Manager::Inventory->get_all(query => [ trans_id => \@ids ]) if @ids;

Das sind zwei Seq Scans auf eine Tabelle die in kivitendo recht groß werden
kann. Außerdem könnte in der Zwischenzeit ein neuer inventory-Eintrag
dazugekommen sein, der damit ignoriert würde.

Im Template wurde dann auf die Rose-Objekte von part, transfer_type, bin und
warehouse zugegriffen, und da diese noch nicht geladen wurden sorgt das im
Extremfall für 40 weitere Datenbankzugriffe.

Das ist alles schön kompakter perl Code, aber wie könnte man das aus
Datenbanksicht optimieren, also die Anzahl der Zugriffe verringern und nach
Möglichkeit Indexe benutzen?

Die Templatezugriffe können einfach durch ein with_objects verhindert werden:
    with_objects => [ 'parts', 'trans_type', 'bin', 'bin.warehouse' ],

Statt einer separaten Abfrage für die trans_ids könnte man diese als eine
Unterabfrage in get_all einführen:
  query        => [ trans_id => [ \"$query" ] ]

Die get-all-Abfrage kann man aber noch weiter verbessern, indem man nach id
statt trans_id filtert, da es für id im Gegensatz zu trans_id schon einen Index
gibt. Das Ziel für die Unterabfrage sollte also sein, eine Liste von ids zu
bekommen, damit der Index benutzt wird und man sich den Seq Scan spart.

Das mini-Journal zeigt die letzten 10 Lagerbewegungen, die entweder
Einlagerungen, Auslagerungen oder Umlagerungen sein können. Im Fall von
Umlagerungen wären das 2 inventory-Einträge, ansonsten 1. Da wir nicht wissen,
wieviele Umlagerungen dabei sind, holen wir die letzten 20 Einträge, filtern
diese nach den letzten 10 trans_ids, und extrahieren daraus die inventory ids
(zwischen 10 und 20 ids). Die ursprüngliche Abfrage mit dem GROUP BY konnte
keinen index nutzen, da das ORDER BY auf max(itime) statt itime war. Durch das
"limit 20" werden zwar potentiell ein paar Zeilen zu viel geholt, dafür kann
man aber nun einen Index auf inventory(itime) setzen, der von der Abfrage auch
verwendet werden kann, und damit spart man sich auch den letzten Seq Scan auf
inventory.

create index if not exists inventory_itime_idx on inventory (itime);

Spalte taxnumber aus Tabelle tax entfernt

tax.taxnumber war ein redundanter Eintrag, und entsprach dem Wert von
chart.accno aus tax.chart_id.

Z.B. in SKR04 hatte Steuerschlüssel 3 (Umsatzsteuer 19%) die taxnumber
1776 und die chart_id 775 (chart mit id 775 ist das Konto 1776).

Ein Problem dabei ist, daß wenn man in den Konteneinstellungen die
Kontonummer von 1776 ändert, dies nicht automatisch in tax.taxnumber mit
aktualisiert wurde.

Im Code wurde taxnumber v.A. verwendet, um bei Belegen die Steuern zu
gruppieren, mit der taxnumber als Schlüssel.

taxnumber wurde nun also entfernt, und obwohl zum Gruppieren der Steuern
immer noch diese Kontonummer verwendet wird, wird diese Kontonummer
nicht mehr zum Suchen des entsprechenden Taxeintrags verwendet, sondern
die Suche passiert indirekt über die chart_id.

Das ganze System basiert derzeit darauf, daß es für jeden tax-Eintrag ein
eindeutiges Automatikkonto gibt, in der Praxis muß dies aber nicht der
Fall sein!

Refactoring sql-Abfrage für Steuertabelle

statt 2 subselects pro Automatik- und Skontokonto, jeweils ein Join, um
die Kontonummer und Kontenbeschreibung direkt auszulesen.

changelog zu PartPicker sucht nach Kunden- und Lieferanten-Artikel-Nr.

Auftrags-Controller: Kunden- bzw. Lieferanten-Art-Nr. in Pos-Zeile anzeigen.

… sofern in den Benutzereinstellungen auch die Suche danach ausgewählt ist.

Auftrags-Controller: PartPicker filtert nach Kunden- und Lieferanten-Art.-Nr., …

… sofern das in den Benutzereinstellungen ausgewählt ist.

UserPreferences-Helper f. Part-Picker-Such-Einstellungen in Belegen

Hier kann der Benutzer einstellen, ob in Verkauf auch nach Kunden-Artikle-Nr.
und im Einkauf nach Lieferanten-Artikel-Nr. gesucht werden soll.

PartPicker nach Kunden- und Lieferanten-Artikel-Nr. suchen und filtern können

Part: Filter-Specs für Kunden- und Lieferanten-Artikel.-Nr.

PartPicker: Mehrfachauswahl: Ursprüngliche Filter für Dialog merken.

Damit klappt das auch hier mit der Suche nach gültigen/ungültigen/allen
Artikeln.

Release 3.5.4

Changelog auf Release 3.5.4; Bugfixes ergänzt

locales-Lauf english

Vergessene hidden Abteilung für Ein/Verkauf->Berichte->Lieferscheine

PTC: zur Margenberechnung die Nettozeilensumme nehmen.

So ist der Verhalten in den anderen (alten) Masken. Sonst ergeben sich
unterschiedliche Werte in den verschiedenen Masken, wenn
"Steuer im Preis inbegriffen" gewählt ist.