Doku: Update nach Auth-Erweiterung auf multiple Module

Auth: Unterstützung für multiple Authentifizierungsbackends

Über den Parameter "module" kann man nun multiple Backends angeben,
die nacheinander versucht werden, bis ein Erfolg gemeldet wird oder
die Liste durchlaufen wurde.

Zusätzlich kann man LDAP-Module mehrfach angeben. Damit
unterschiedliche Konfigurationen für jede Modulinstanz benutzt werden
können, wurde die Syntax erweitert: für "LDAP:Config-Abschnitts-Name"
wird "[authentication/Config-Abschnitts-Name]" benutzt. Zwecks
Rückwärtskompatibilität sucht "LDAP" ohne Angabe eines Namens nach dem
bisher auch verwendeten Abschnitt "[authentication/ldap]".

Nützlich ist das Ganze z.B., um einen LDAP-Fallback-Server angeben zu
können, der benutzt wird, wenn der Hauptserver nicht erreichbar sein
sollte.

Auth: mini_error gefixt

$::auth->mini_error wird potenziell zu einem Zeitpunkt aufgerufen, an
dem es die Instanzen von $::form und $::request noch nicht gibt. Da
hier wirklich nur die Bare-Bones-Ausgabe der Fehlermeldung benötigt
wird, machen wir für den Fall manuell ein CGI-Objekt auf.

LDAP-Auth: Konfiguration über Konstruktur übergeben

Ist eine Vorarbeit dafür, das LDAP-Modul mit unterschiedlichen
Konfigurationen benutzen zu können.

LDAP-Auth: enter_sub/leave_sub entfernt

Task-Server auf unterschiedlichen Maschinen laufen lassen können

Jede Task-Server-Instanz und jeder Hintergrundjob haben nun ein neues
Attribute »node_id«. Darüber kann gesteuert werden, dass bestimmte
Jobs nur von einer bestimmten Instanz ausgeführt werden.

Die »node_id« eines neu angelegten Jobs ist standardmäßig leer. Das
bedeutet, dass ein Job von einer beliebigen Task-Server-Instanz
ausgeführt werden kann.

Die »node_id« eines Task-Servers ist standardmäßig der Hostname (siehe
ausgabe von »perl -MSys::Hostname -le 'print hostname()'«), kann aber
in der Konfigurationsdatei überschrieben werden (»[task_server]« →
»node_id«).

Zusätzlich gibt es den Konfigurationsparameter »[task_server]« →
»only_run_tasks_for_this_node«. Ist dieser Parameter gesetzt, so führt
der Task-Server nur diejenigen Jobs aus, deren »node_id«-Feld mit der
»node_id« der Task-Server-Instanz übereinstimmt. Andernfalls werden
auch diejenigen Jobs ausgeführt, deren »node_id«-Feld leer ist.

Achtung: es findet momentan keinerlei Locking statt. Das bedeutet,
dass es für jede Datenbank nur eine Task-Server-Instanz geben darf,
bei der »only_run_tasks_for_this_node« nicht gesetzt ist. Für
Load-Balancing eignet sich das also bisher noch nicht.

Typos in de locale

Workflow Lieferantenauftrag->Kreditorenbuchung: mini Performance-Optimierung

Später benötigte Relationen direkt mit laden.
Dank an Geoffrey.

Workflow Lieferantenauftrag->Kreditorenbuchung: Zahlungsbedingungen aus Auftrag

Um das Fälligkeitsdatum zu ermitteln, die Zahlungsbedingungen aus dem Auftrag
nehmen, nicht die aus den Lieferantenstammdaten.

Neuer Workflow Lieferantenauftrag->Kreditorenbuchung

Für jedes Aufwandskonto der Positionen im Lieferantenauftrag wird eine
Zeile in der Kreditorenbuchung erstellt. Gebucht wird standardmäßig
auf des entsprechende Aufwandskonto. In der Mandantenkonfiguration
kann unter Standardkonten ein Konto ausgewählt werden, auf das dann
alle Zeilen gebucht werden.
Die Steuern werden übernommen, sofern diese für das ausgewählte
Aufwandskonto gültig sind. Ansonsten wird die Default-Steuer für das
Aufwandskonto gesetzt.
Der Quellauftrag wird geschlossen, wenn der Betrag aller
Kreditorenbuchungen, die aus Workflows aus dem Quellauftrag entstanden
sind, gleich dem Betrag des Quellauftrags ist.

Auftrags-Controller: mime-type füer odt

Spalte taxnumber aus Tabelle tax entfernt 2

sql Upgrade Datei vergessen

changelog "Herkunft der personenbezogenen Daten" erweitert (ältere Version)

Typo in changelog

Payment Helper - POD repariert

Mahnungen erzeugen - nach Abteilung filtern und anzeigen

Index auf inventory parts_id

um schneller die Bestände eines Artikels in diversen Lagern zu berechnen

Neuer index auf inventory über itime und parts_id

Um Abfragen wie
* letzte 10 Lagerbuchungen
* letzte 10 Lagerbuchungen von Artikel XYZ
zu beschleunigen

Part Controller - neuer Tab mit Lagerinformationen

* Übersicht über alle Lagerbestände, wo der Artikel überall gelagert ist
(Derzeit gibt es im Template Variabeln um Zwischensummen und
Nachkommastellen zu kontrollieren)

* Mini-Journal mit den letzten 10 Lagertransaktionen des Artikels

Diese Daten werden nur bei Bedarf geladen, also wenn der Benutzer auf
den neuen Tab "Lagerbewegungen/-bestände" klickt.

Außerdem gibt es Links zu diversen Lageraktionen (Einlagern, Umlagern,
Entnahme), wo der Artikel dann schon vorausgewählt ist.

SL::DB::Part - get_simple_stock_sql: Mengen pro Bin

und Summen über Lager und Gesamtmenge.

Order Controller POD - Typos

Dev Part - Codeeinrückungen

Bericht Lagerbestand - Artikelnummer vorbelegbar machen

wenn man einen Parameter partname im Link übergibt
  wh.pl?action=report&partnumber=foobar123

Bericht Lagerbuchungen - Artikelnummer vorbelegbar machen

wenn man einen Parameter partname im Link übergibt
 &partname=foobar

Umlagern und Entnahme mit Artikel vorbelegen

Wenn man in der URL ein &parts_id=12345 im Link mitliefert.
In beiden Berichten gibt es einen Partpicker.

Inventory stock_in - select_default_bin Modus

wird in der Form / URL ein select_default_bin=1 übergeben, wird der
Standardlagerplatz des Artikels vorausgewählt (sofern vorhanden).

Ansonsten passiert das Aktualisieren von Lager/Lagerplatz nur, wenn sich
der Artikel nach Laden der Seite ändert.

InstanceConfiguration.pm - Typos und Style

Aggregatfunktion comma entfernt und Templates angepasst

"comma" war eine alte benutzerdefinierte Aggregatfunktion, die benutzt
wurde, um mehrere aggregierte Werte aus einem GROUP BY in einen
kommaseparierten String umzuwandeln.

Mittlerweile würde man das einfach mit array_agg und array_to_string machen:
 array_to_string(array_agg(startdate), ', ') as startdate

Im Template wurden die ',' dann durch '<br>' ersetzt. Stattdessen werden
die Werte im Query nun als array_agg ausgegeben, und im Template wird
eine Schleife über das Arrayref gebildet.

SL::Dev::Payment - check if bank account exists

PriceRule Manager - selectall_ids -> selectcol_array_query

Helper UserPreferences - selectall_ids -> selectcol_array_query

SL::DBUtils - selectall_array_query -> selectcol_array_query

selectall_array_query durch selectcol_array_query ersetzt.

Intern wird nun die DBI-Funktion selectcol_arrayref verwendet, anstatt
dies manuell per Schleife zu machen. Der Name selectall_array_query war
irreführend und der neue Name entspricht nun dem, was man erwartet.

SL::DBUtils - POD zu AutoCommit aktualisiert + Typos

Inventory Controller - Datenbankoptimierungen für mini_journal

Aus Datenbanksicht war das Inventory mini-journal eine Katastrophe.

Die trans_id Abfrage führte zu einem ersten Seq Scan auf der Tabelle inventory.
  my $query = 'SELECT trans_id FROM inventory GROUP BY trans_id ORDER BY max(itime) DESC LIMIT 10';

Die Rose Manager Abfrage führte dann zu einem zweiten Seq Scan auf der Tabelle inventory:
 $objs = SL::DB::Manager::Inventory->get_all(query => [ trans_id => \@ids ]) if @ids;

Das sind zwei Seq Scans auf eine Tabelle die in kivitendo recht groß werden
kann. Außerdem könnte in der Zwischenzeit ein neuer inventory-Eintrag
dazugekommen sein, der damit ignoriert würde.

Im Template wurde dann auf die Rose-Objekte von part, transfer_type, bin und
warehouse zugegriffen, und da diese noch nicht geladen wurden sorgt das im
Extremfall für 40 weitere Datenbankzugriffe.

Das ist alles schön kompakter perl Code, aber wie könnte man das aus
Datenbanksicht optimieren, also die Anzahl der Zugriffe verringern und nach
Möglichkeit Indexe benutzen?

Die Templatezugriffe können einfach durch ein with_objects verhindert werden:
    with_objects => [ 'parts', 'trans_type', 'bin', 'bin.warehouse' ],

Statt einer separaten Abfrage für die trans_ids könnte man diese als eine
Unterabfrage in get_all einführen:
  query        => [ trans_id => [ \"$query" ] ]

Die get-all-Abfrage kann man aber noch weiter verbessern, indem man nach id
statt trans_id filtert, da es für id im Gegensatz zu trans_id schon einen Index
gibt. Das Ziel für die Unterabfrage sollte also sein, eine Liste von ids zu
bekommen, damit der Index benutzt wird und man sich den Seq Scan spart.

Das mini-Journal zeigt die letzten 10 Lagerbewegungen, die entweder
Einlagerungen, Auslagerungen oder Umlagerungen sein können. Im Fall von
Umlagerungen wären das 2 inventory-Einträge, ansonsten 1. Da wir nicht wissen,
wieviele Umlagerungen dabei sind, holen wir die letzten 20 Einträge, filtern
diese nach den letzten 10 trans_ids, und extrahieren daraus die inventory ids
(zwischen 10 und 20 ids). Die ursprüngliche Abfrage mit dem GROUP BY konnte
keinen index nutzen, da das ORDER BY auf max(itime) statt itime war. Durch das
"limit 20" werden zwar potentiell ein paar Zeilen zu viel geholt, dafür kann
man aber nun einen Index auf inventory(itime) setzen, der von der Abfrage auch
verwendet werden kann, und damit spart man sich auch den letzten Seq Scan auf
inventory.

create index if not exists inventory_itime_idx on inventory (itime);

Spalte taxnumber aus Tabelle tax entfernt

tax.taxnumber war ein redundanter Eintrag, und entsprach dem Wert von
chart.accno aus tax.chart_id.

Z.B. in SKR04 hatte Steuerschlüssel 3 (Umsatzsteuer 19%) die taxnumber
1776 und die chart_id 775 (chart mit id 775 ist das Konto 1776).

Ein Problem dabei ist, daß wenn man in den Konteneinstellungen die
Kontonummer von 1776 ändert, dies nicht automatisch in tax.taxnumber mit
aktualisiert wurde.

Im Code wurde taxnumber v.A. verwendet, um bei Belegen die Steuern zu
gruppieren, mit der taxnumber als Schlüssel.

taxnumber wurde nun also entfernt, und obwohl zum Gruppieren der Steuern
immer noch diese Kontonummer verwendet wird, wird diese Kontonummer
nicht mehr zum Suchen des entsprechenden Taxeintrags verwendet, sondern
die Suche passiert indirekt über die chart_id.

Das ganze System basiert derzeit darauf, daß es für jeden tax-Eintrag ein
eindeutiges Automatikkonto gibt, in der Praxis muß dies aber nicht der
Fall sein!

Refactoring sql-Abfrage für Steuertabelle

statt 2 subselects pro Automatik- und Skontokonto, jeweils ein Join, um
die Kontonummer und Kontenbeschreibung direkt auszulesen.

changelog zu PartPicker sucht nach Kunden- und Lieferanten-Artikel-Nr.

Auftrags-Controller: Kunden- bzw. Lieferanten-Art-Nr. in Pos-Zeile anzeigen.

… sofern in den Benutzereinstellungen auch die Suche danach ausgewählt ist.

Auftrags-Controller: PartPicker filtert nach Kunden- und Lieferanten-Art.-Nr., …

… sofern das in den Benutzereinstellungen ausgewählt ist.

UserPreferences-Helper f. Part-Picker-Such-Einstellungen in Belegen

Hier kann der Benutzer einstellen, ob in Verkauf auch nach Kunden-Artikle-Nr.
und im Einkauf nach Lieferanten-Artikel-Nr. gesucht werden soll.

PartPicker nach Kunden- und Lieferanten-Artikel-Nr. suchen und filtern können

Part: Filter-Specs für Kunden- und Lieferanten-Artikel.-Nr.

PartPicker: Mehrfachauswahl: Ursprüngliche Filter für Dialog merken.

Damit klappt das auch hier mit der Suche nach gültigen/ungültigen/allen
Artikeln.

Release 3.5.4

Changelog auf Release 3.5.4; Bugfixes ergänzt

locales-Lauf english

Vergessene hidden Abteilung für Ein/Verkauf->Berichte->Lieferscheine

PTC: zur Margenberechnung die Nettozeilensumme nehmen.

So ist der Verhalten in den anderen (alten) Masken. Sonst ergeben sich
unterschiedliche Werte in den verschiedenen Masken, wenn
"Steuer im Preis inbegriffen" gewählt ist.

Task-Server: Exceptions als Warnung loggen, nicht als Debugmeldung

DB-Upgrade-Skripte: Falsche Abhängigkeit 3.5.2 -> 3.5.4 korrigiert

3.5.3 -> 3.5.4

Release 3.5.4-beta1

Changelog auf Release 3.5.4-beta gesetzt

Dokumentation: Release auf 3.5.4 gesetzt

Datenbank-Upgrade-Skripte für die 3.5.4

generische LS-E-Mail auch in Stammdaten editieren ...

Controller - alten unbenutzten Code entfernt

SL::Dev::Inventory - Typo und Formatierung

descriptin -> description

lange Zeilen in mehrere Zeilen umformatiert

Typo in POD

Typo in POD

DBConnect POD Typo

ungenutzte Spalte "ranking" aus Tabelle "payment_terms" entfernt

Überbleibsel aus uraltem Zahlungsbedingungsfeature

action Name in POD aktualisiert

SL::DB _register_db Passwort aus $type herausfiltern

Es wurde nach dem falschen String gefiltert.

EB/SB Buchungen minimale Kindersicherung für Datumswerte

Die Funktion lässt den Nutzer zuviele Freiheiten ;-(
Ausreichend wäre es nur ein Datum (vgl. sql-ledger yearend) eingeben
zu lassen und das Folgedatum ist dann automatisch der nächste Tag.

Kontoauszug verbuchen rückgängig: Mitarbeiter in history protokollieren

Kontoauszug rückgängig machen: Nur bei aktuellem Beleg arap.paid neu setzen

Hintergrundjobs: einmalige Jobausführung: Daten übergeben können

Entweder, man übergibt `data` als Parameter in
URI-Hash-Form (z.B. '&data.var=value'), als normaler YAML-encodierter
String, so wie er auch in der Datenbank
steht (z.B. '&data=---%0Avar%3Dvalue'), oder man übergibt
JSON-encodierte Daten in
`json_data` (z.B. '&json_data=%7B%22var%22%3A%22value%22%7D`).

Mahnungs-Tabelle: Fremdschlüsselverknüpfung auf Rechnungstabelle Part 2

Mahnungs-Tabelle: Fremdschlüsselverknüpfung auf Rechnungstabelle

DateTime: Funktionen zum Parsen von YYYY:MM:DD und YYYY:MM:DDTHH:MM:SS

Hintergrundjobs: Controller-Action zur einmaligen Ausführung eines Jobs

Gedacht für Aufruf von extern, gibt JSON zurück. Beispiel:

curl --silent  --user "<username>:<password>" \
  'https://<hostname>/kivitendo/controller.pl?action=BackgroundJob/execute_class&class=CleanAuthSessions'

CVars: bei Gültigkeitswechsel aktuellen Wert nicht speichern

Wenn man in den Artikelstammdaten eine CVar von ungültig auf gültig
umschaltet, so ist in dem Moment die CVar-Input im Formular nicht
enthalten, sondern nur die Gültigkeits-Checkbox. Wenn dann im Backend
der aktuelle Wert der CVar in die DB gespeichert wird, weil die CVar
ja ab dem Moment gültig ist, so ist der Wert dementsprechend leer
bzw. 0 für numerische Typen.

Der Effekt ist, dass beim nächsten Laden der CVar ein Wert in der DB
steht (leer/0), und dass dieser Wert vorausgewählt ist und nicht der
Standardwert aus der Konfiguration.

Daher sorgt diese Änderung dafür, dass in so einem Fall der aktuelle
CVar-Wert schlicht gar nicht in die DB geschrieben wird. Genauer:

Wenn das Speichern der Gültigkeit gewünscht wird, so wird der Wert nur
dann geschrieben, wenn die CVar sowohl vor dem Speichern als auch nach
dem Speichern gültig ist, sie also weder gerade aktiviert noch gerade
deaktiviert wird. Andernfalls wird die CVar in der DB nicht vorhanden
sein.

Einkauf/Verkauf: Bemerkungsfelder gleich groß anzeigen

Einkaufsrechnungen: Projektauswahl gefixt

Einkauf/Verkauf: keine Validierung bei Update-Button

Andernfalls wird z.B. erzwungen, dass die Vorgangsbezeichnung
eingegeben ist, bevor der Update-Button betätigt wird. Das betrifft
auch den Kundenwechsel, der ein automatisches Update triggert, was
wiederum die Validierung triggert.

Wichtig bzgl. Validierung ist letztlich nur, dass die Werte zum
Zeitpunkt des Speicherns gültig sind, egal ob explizites
(»Speicher«, »Als neu speicher«) oder implizites Speichern (»Drucken«,
»E-Mail« etc.).

LaTeX: openin_any weniger restriktiv

Die Einstellung openin_any aus texmf.cnf (oder der Umgebungsvariable
gleichen Namens) kontrolliert, aus welchen Pfaden (PDF)LaTeX
Quelldateien liest: a = any liest aus beliebigen Verzeichnissen, r =
restricted nicht aus Dot-Verzeichnissen und p = paranoid nur aus
dem Ausgabeverzeichnis und seinen Unterverzeichnissen.

Bei kivitendo ist das Ausgabeverzeichnis …/users, die Vorlagen liegen
in …/templates/…, sind also keine Unterverzeichnisse. Aktuelle
LaTeX-Versionen (zumindest ab TeXLive 2019.5…) wenden das nun strikt
an, was dazu führt, dass z.B. das Einbinden von Bildern nicht möglich
ist, wenn die Bilder in …/templates/… anstelle von …/users liegen —
sogar obwohl …/templates/… in $TEXINPUTS enthalten ist.

An dieser Stelle ist zu viel Sicherheit falsch bzw. für unser
aktuelles Layout falsch.

Eine andere mögliche Variante wäre, die LaTeX-Abhandlung direkt in
…/templates anstelle von …/users uz machen. Das erfordert aber
potenziell Eingriff durch den SysAdmin, um Verzeichnisrechte anders zu
setzen. Daher wird das erst mal nicht gemacht.

Part-Controller: Kosmetik

Part-Controller: Gültigkeit von CVars richtig speichern

Das behebt den Bug, dass sich CVars in den Warenstammdaten nicht mehr
ungültig/gültig gesetzt werden konnten.

Revert "CVars: in Artikelstammdaten sind alle CVars gültig"

This reverts commit ab45df2fa087f4b754ef02f238557ab0e28a676b.

CVars in den Warenstammdaten sind nicht immer gültig. Das Problem hier war,
dass das Speichern des Gültig-Flags durch einen anderen Bug nicht funktionierte,
und so Variablen, die als Voreinstellung deaktiviert waren, nicht mehr geändert
werden konnten (auch nicht auf aktiviert/gültig gesetzt werden).
Der Fix für diesen anderen Bug kommt gleich.

Upgrade-Datei: Hinweis auf: Task-Server berücksichtigt Memory-Limit

Changelog: Task-Server berücksichtig Memory-Limit

Dokumentation: Task-Server: Hinweise auf Memory-Limit und Restart (systemd)

Ausserdem alle "Taskserver" durch "Task-Server" ersetzt.

Task-Server: Debug-Meldung, falls Beendigung wg. Memory-Limit.

memory_usage_is_too_high von Dispatcher nach System::Process verschoben

(cherry picked from commit c0e3364a21b2da1c61564ddb8d9afa5ab6489f9c)

task_server.pl: Speicherlimit beachten

(cherry picked from commit 7fcf2ca9960d160419aa89824cb4fb3a25188ad9)

Dokumentation: Andere Pakete an zentraler Stelle bündeln

Viele Admins überlesen die Notiz, dass postgresql-contrib noch
benötigt wird, wenn die Info 'nur' im Kapitel Datenbank steht.
Kapitel 2.2.3 unterhalb der Perl-Pakete kurz gebündelt und alle
notwendigen nicht Perl Pakete dort mit einem Installationsbefehl gesetzt.

Dokumentation: weitere Anpassung für openSUSE

SuSE Installations-Doku überarbeitet

Bugfix: Brieffunktion prüft im Einkauf auf Verkaufsbriefrechte

Ternärer Operator für Fallunterscheidung
(is_sales or is_not_very_much_sales)

Auftrags-Controller: item-ids nach Speichern richtig setzen

Vergessen, den idx in jedem Fall weiterzuzählen. Dadurch konnte es passieren,
das Positionen aus dem Auftrag gelöscht und evtl. Langtexte und Werte der
2. Zeile falsch zugeordnet wurden.

Nachtrag zu:
commit 7749e0e61e5d431a59e33cf497addf9ad682b8af
Author: Bernd Bleßmann <bernd@kivitendo-premium.de>
Date:   Wed May 15 15:18:21 2019 +0200

    OrderController: nach Speichern hiddens der ids wieder setzen, …

    … falls die Makse nicht neu geladen wird.

Benutzereinstellungen für Höhe des Scrollbereichs f. Positionen …

… im neuen Auftrags-Controller

Auftrags-Controller: Einstellungen/Höhe des Scrollbereichs berücksichtigen …

… für den Positionsbereich

UserPreferences-Helper f. Scrollbar-Einstellungen in Belegen

Hier kann die Höhe des scrollbaren Postitionsbereichs im neuen
Auftrags-Controller abgelegt werden.

Changelog (Bei DB Verwendungszweck)

Kontoauszug verbuchen, bei DB Verwendungszweck übernehmen

Dialogbuchungen aus Kontoauszugs-Import erstellen,
der Verwendungszweck wird in die Beschreibung übernommen

Dialogbuchungen aus Bankimport nicht stornieren

Die acc_trans_ids werden hier auch noch gelöscht und
neu geschrieben. Die Verknüpfungs-Info gehen entsprechend kaputt.
Solange die Periode noch nicht geschlossen ist, ist ein Neuverbuchen
der Bankbewegung wesentlich sinnvoller.

PartPicker: auch nach ungültigen oder allen Artikeln suchen können.

Dazu kann ein Parameter "status" (active/obsolete/all) übergeben werden.
Ohne diesen Parameter ist das Verhalten wie zuvor (nur gültige).

Wiederkehrende Rechnungen: Druckvorlage nach Auftragssprache auswählen

Bisher wurde immer die Standarddruckvorlage genutzt und die im Auftrag
und damit der Rechnung eingestellte Sprache komplett ignoriert.

Weiterhin wird der Dateiname des Anhangs nach der eingestellten
Sprache gesetzt. Das funktioniert nur, wenn die in kivitendo
konfigurierten Sprachen dieselben Sprachkürzel nutzen, wie kivitendos
Übersetzungen selber heißen (also »de« und »en«).

LXDebug: fix level2string für diverse Level, inklusive WARN()

Task-Server: CLI-Option zur Ausführung eines einzelnen Jobs

Führt einen einen bestimmten Job exakt einmal aus, egal, ob der Job
aktiv ist oder was sein nächstes Ausführungsdatum ist. Anschließend
beendet sich der Task-Server wieder.

Das Argument ist die Datenbank-ID aus Tabelle »background_jobs«.

Beispiel:

./scripts/task_server.pl debug --run-job=42