b23e4fa4509d641c08d367c95ed55a13cf4c4945
[kivitendo-erp.git] / SL / Helper / ShippedQty.pm
1 package SL::Helper::ShippedQty;
2
3 use strict;
4 use parent qw(Rose::Object);
5
6 use Carp;
7 use Scalar::Util qw(blessed);
8 use List::Util qw(min);
9 use List::MoreUtils qw(any all uniq);
10 use List::UtilsBy qw(partition_by);
11 use SL::AM;
12 use SL::DBUtils qw(selectall_hashref_query selectall_as_map);
13 use SL::Locale::String qw(t8);
14
15 use Rose::Object::MakeMethods::Generic (
16   'scalar'                => [ qw(objects objects_or_ids shipped_qty keep_matches) ],
17   'scalar --get_set_init' => [ qw(oe_ids dbh require_stock_out fill_up item_identity_fields oi2oe oi_qty delivered matches
18                                   services_deliverable) ],
19 );
20
21 my $no_stock_item_links_query = <<'';
22   SELECT oi.trans_id, oi.id AS oi_id, oi.qty AS oi_qty, oi.unit AS oi_unit, doi.id AS doi_id, doi.qty AS doi_qty, doi.unit AS doi_unit
23   FROM record_links rl
24   INNER JOIN orderitems oi            ON oi.id = rl.from_id AND rl.from_table = 'orderitems'
25   INNER JOIN delivery_order_items doi ON doi.id = rl.to_id AND rl.to_table = 'delivery_order_items'
26   WHERE oi.trans_id IN (%s)
27   ORDER BY oi.trans_id, oi.position
28
29 # oi not item linked. takes about 250ms for 100k hits
30 # obsolete since 3.5.6
31 my $fill_up_oi_query = <<'';
32   SELECT oi.id, oi.trans_id, oi.position, oi.parts_id, oi.description, oi.reqdate, oi.serialnumber, oi.qty, oi.unit
33   FROM orderitems oi
34   WHERE oi.trans_id IN (%s)
35   ORDER BY oi.trans_id, oi.position
36
37 # doi linked by record, but not by items; 250ms for 100k hits
38 # obsolete since 3.5.6
39 my $no_stock_fill_up_doi_query = <<'';
40   SELECT doi.id, doi.delivery_order_id, doi.position, doi.parts_id, doi.description, doi.reqdate, doi.serialnumber, doi.qty, doi.unit
41   FROM delivery_order_items doi
42   WHERE doi.delivery_order_id IN (
43     SELECT to_id
44     FROM record_links
45     WHERE from_id IN (%s)
46       AND from_table = 'oe'
47       AND to_table = 'delivery_orders'
48       AND to_id = doi.delivery_order_id)
49    AND NOT EXISTS (
50     SELECT NULL
51     FROM record_links
52     WHERE from_table = 'orderitems'
53       AND to_table = 'delivery_order_items'
54       AND to_id = doi.id)
55
56 my $stock_item_links_query = <<'';
57   SELECT oi.trans_id, oi.id AS oi_id, oi.qty AS oi_qty, oi.unit AS oi_unit, doi.id AS doi_id,
58     (CASE WHEN doe.customer_id > 0 THEN -1 ELSE 1 END) * i.qty AS doi_qty, p.unit AS doi_unit
59   FROM record_links rl
60   INNER JOIN orderitems oi                   ON oi.id = rl.from_id AND rl.from_table = 'orderitems'
61   INNER JOIN delivery_order_items doi        ON doi.id = rl.to_id AND rl.to_table = 'delivery_order_items'
62   INNER JOIN delivery_orders doe             ON doe.id = doi.delivery_order_id
63   INNER JOIN delivery_order_items_stock dois ON dois.delivery_order_item_id = doi.id
64   INNER JOIN inventory i                     ON dois.id = i.delivery_order_items_stock_id
65   INNER JOIN parts p                         ON p.id = doi.parts_id
66   WHERE oi.trans_id IN (%s)
67   ORDER BY oi.trans_id, oi.position
68
69 my $stock_fill_up_doi_query = <<'';
70   SELECT doi.id, doi.delivery_order_id, doi.position, doi.parts_id, doi.description, doi.reqdate, doi.serialnumber,
71     (CASE WHEN doe.customer_id > 0 THEN -1 ELSE 1 END) * i.qty, p.unit
72   FROM delivery_order_items doi
73   INNER JOIN parts p                         ON p.id = doi.parts_id
74   INNER JOIN delivery_order_items_stock dois ON dois.delivery_order_item_id = doi.id
75   INNER JOIN delivery_orders doe             ON doe.id = doi.delivery_order_id
76   INNER JOIN inventory i                     ON dois.id = i.delivery_order_items_stock_id
77   WHERE doi.delivery_order_id IN (
78     SELECT to_id
79     FROM record_links
80     WHERE from_id IN (%s)
81       AND from_table = 'oe'
82       AND to_table = 'delivery_orders'
83       AND to_id = doi.delivery_order_id)
84    AND NOT EXISTS (
85     SELECT NULL
86     FROM record_links
87     WHERE from_table = 'orderitems'
88       AND to_table = 'delivery_order_items'
89       AND to_id = doi.id)
90
91 my $oe_do_record_links = <<'';
92   SELECT from_id, to_id
93   FROM record_links
94   WHERE from_id IN (%s)
95     AND from_table = 'oe'
96     AND to_table = 'delivery_orders'
97
98 my @known_item_identity_fields = qw(parts_id description reqdate serialnumber);
99 my %item_identity_fields = (
100   parts_id     => t8('Part'),
101   description  => t8('Description'),
102   reqdate      => t8('Reqdate'),
103   serialnumber => t8('Serial Number'),
104 );
105
106 sub calculate {
107   my ($self, $data) = @_;
108
109   croak 'Need exactly one argument, either id, object or arrayref of ids or objects.' unless 2 == @_;
110
111   $self->normalize_input($data);
112
113   return $self unless @{ $self->oe_ids };
114
115   $self->calculate_item_links;
116   $self->calculate_fill_up if $self->fill_up;
117
118   $self;
119 }
120
121 sub calculate_item_links {
122   my ($self) = @_;
123
124   my @oe_ids = @{ $self->oe_ids };
125
126   my $item_links_query = $self->require_stock_out ? $stock_item_links_query : $no_stock_item_links_query;
127
128   my $query = sprintf $item_links_query, join (', ', ('?')x @oe_ids);
129
130   my $data = selectall_hashref_query($::form, $self->dbh, $query, @oe_ids);
131
132   for (@$data) {
133     my $qty = $_->{doi_qty} * AM->convert_unit($_->{doi_unit} => $_->{oi_unit});
134     $self->shipped_qty->{$_->{oi_id}} //= 0;
135     $self->shipped_qty->{$_->{oi_id}} += $qty;
136     $self->oi2oe->{$_->{oi_id}}        = $_->{trans_id};
137     $self->oi_qty->{$_->{oi_id}}       = $_->{oi_qty};
138
139     push @{ $self->matches }, [ $_->{oi_id}, $_->{doi_id}, $qty, 1 ] if $self->keep_matches;
140   }
141 }
142
143 sub _intersect {
144   my ($a1, $a2) = @_;
145   my %seen;
146   grep { $seen{$_}++ } @$a1, @$a2;
147 }
148
149 sub calculate_fill_up {
150   my ($self) = @_;
151
152   my @oe_ids = @{ $self->oe_ids };
153
154   my $fill_up_doi_query = $self->require_stock_out ? $stock_fill_up_doi_query : $no_stock_fill_up_doi_query;
155
156   my $oi_query  = sprintf $fill_up_oi_query,   join (', ', ('?')x@oe_ids);
157   my $doi_query = sprintf $fill_up_doi_query,  join (', ', ('?')x@oe_ids);
158   my $rl_query  = sprintf $oe_do_record_links, join (', ', ('?')x@oe_ids);
159
160   my $oi  = selectall_hashref_query($::form, $self->dbh, $oi_query,  @oe_ids);
161
162   return unless @$oi;
163
164   my $doi = selectall_hashref_query($::form, $self->dbh, $doi_query, @oe_ids);
165   my $rl  = selectall_hashref_query($::form, $self->dbh, $rl_query,  @oe_ids);
166
167   my %oi_by_identity  = partition_by { $self->item_identity($_) } @$oi;
168   my %doi_by_id       = partition_by { $_->{delivery_order_id} } @$doi;
169   my %doi_by_trans_id;
170   push @{ $doi_by_trans_id{$_->{from_id}} //= [] }, @{ $doi_by_id{$_->{to_id}} }
171     for grep { exists $doi_by_id{$_->{to_id}} } @$rl;
172
173   my %doi_by_identity = partition_by { $self->item_identity($_) } @$doi;
174
175   for my $match (sort keys %oi_by_identity) {
176     next unless exists $doi_by_identity{$match};
177
178     my %oi_by_oe = partition_by { $_->{trans_id} } @{ $oi_by_identity{$match} };
179     for my $trans_id (sort { $a <=> $b } keys %oi_by_oe) {
180       next unless my @sorted_doi = _intersect($doi_by_identity{$match}, $doi_by_trans_id{$trans_id});
181
182       # sorting should be quite fast here, because there are usually only a handful of matches
183       next unless my @sorted_oi  = sort { $a->{position} <=> $b->{position} } @{ $oi_by_oe{$trans_id} };
184
185       # parallel walk through sorted oi/doi entries
186       my $oi_i = my $doi_i = 0;
187       my ($oi, $doi) = ($sorted_oi[$oi_i], $sorted_doi[$doi_i]);
188       while ($oi_i < @sorted_oi && $doi_i < @sorted_doi) {
189         $oi =  $sorted_oi[++$oi_i],   next if $oi->{qty} <= $self->shipped_qty->{$oi->{id}};
190         $doi = $sorted_doi[++$doi_i], next if 0 == $doi->{qty};
191
192         my $factor  = AM->convert_unit($doi->{unit} => $oi->{unit});
193         my $min_qty = min($oi->{qty} - $self->shipped_qty->{$oi->{id}}, $doi->{qty} * $factor);
194
195         # min_qty should never be 0 now. the first part triggers the first next,
196         # the second triggers the second next and factor must not be 0
197         # but it would lead to an infinite loop, so catch that.
198         die 'panic! invalid shipping quantity' unless $min_qty;
199
200         $self->shipped_qty->{$oi->{id}} += $min_qty;
201         $doi->{qty}                     -= $min_qty / $factor;  # TODO: find a way to avoid float rounding
202         push @{ $self->matches }, [ $oi->{id}, $doi->{id}, $min_qty, 0 ] if $self->keep_matches;
203       }
204     }
205   }
206
207   $self->oi2oe->{$_->{id}}  = $_->{trans_id} for @$oi;
208   $self->oi_qty->{$_->{id}} = $_->{qty}      for @$oi;
209 }
210
211 sub write_to {
212   my ($self, $objects) = @_;
213
214   croak 'expecting array of objects' unless 'ARRAY' eq ref $objects;
215
216   my $shipped_qty = $self->shipped_qty;
217
218   for my $obj (@$objects) {
219     if ('SL::DB::OrderItem' eq ref $obj) {
220       $obj->{shipped_qty} = $shipped_qty->{$obj->id} //= 0;
221       $obj->{delivered}   = $shipped_qty->{$obj->id} == $obj->qty;
222     } elsif ('SL::DB::Order' eq ref $obj) {
223       # load all orderitems unless not already loaded
224       $obj->orderitems unless (defined $obj->{orderitems});
225       $self->write_to($obj->{orderitems});
226       if ($self->services_deliverable) {
227         $obj->{delivered} = all { $_->{delivered} } grep { !$_->{optional} } @{ $obj->{orderitems} };
228       } else {
229         $obj->{delivered} = all { $_->{delivered} } grep { !$_->{optional} && !$_->part->is_service } @{ $obj->{orderitems} };
230       }
231     } else {
232       die "unknown reference '@{[ ref $obj ]}' for @{[ __PACKAGE__ ]}::write_to";
233     }
234   }
235   $self;
236 }
237
238 sub write_to_objects {
239   my ($self) = @_;
240
241   return unless @{ $self->oe_ids };
242
243   croak 'Can only use write_to_objects, when calculate was called with objects. Use write_to instead.' unless $self->objects_or_ids;
244
245   $self->write_to($self->objects);
246 }
247
248 sub item_identity {
249   my ($self, $row) = @_;
250
251   join $;, map $row->{$_}, @{ $self->item_identity_fields };
252 }
253
254 sub normalize_input {
255   my ($self, $data) = @_;
256
257   $data = [$data] if 'ARRAY' ne ref $data;
258
259   $self->objects_or_ids(!!blessed($data->[0]));
260
261   if ($self->objects_or_ids) {
262     croak 'unblessed object in data while expecting object' if any { !blessed($_) } @$data;
263     $self->objects($data);
264   } else {
265     croak 'object or reference in data while expecting ids' if any { ref($_) } @$data;
266     croak 'ids need to be numbers'                          if any { ! ($_ * 1) } @$data;
267     $self->oe_ids($data);
268   }
269
270   $self->shipped_qty({});
271 }
272
273 sub available_item_identity_fields {
274   map { [ $_ => $item_identity_fields{$_} ] } @known_item_identity_fields;
275 }
276
277 sub init_oe_ids {
278   my ($self) = @_;
279
280   croak 'oe_ids not initialized in id mode'            if !$self->objects_or_ids;
281   croak 'objects not initialized before accessing ids' if $self->objects_or_ids && !defined $self->objects;
282   croak 'objects need to be Order or OrderItem'        if any  {  ref($_) !~ /^SL::DB::Order(?:Item)?$/ } @{ $self->objects };
283
284   [ uniq map { ref($_) =~ /Item/ ? $_->trans_id : $_->id } @{ $self->objects } ]
285 }
286
287 sub init_dbh { SL::DB->client->dbh }
288
289 sub init_oi2oe { {} }
290 sub init_oi_qty { {} }
291 sub init_matches { [] }
292 sub init_delivered {
293   my ($self) = @_;
294   my $d = { };
295   for (keys %{ $self->oi_qty }) {
296     my $oe_id = $self->oi2oe->{$_};
297     $d->{$oe_id} //= 1;
298     $d->{$oe_id} &&= $self->shipped_qty->{$_} == $self->oi_qty->{$_};
299   }
300   $d;
301 }
302
303 sub init_require_stock_out    { $::instance_conf->get_shipped_qty_require_stock_out }
304 sub init_item_identity_fields { [ grep $item_identity_fields{$_}, @{ $::instance_conf->get_shipped_qty_item_identity_fields } ] }
305 sub init_fill_up              { $::instance_conf->get_shipped_qty_fill_up  }
306
307 sub init_services_deliverable  {
308   my ($self) = @_;
309   if ($::form->{type} =~ m/^sales_/) {
310     $::instance_conf->get_sales_delivery_order_check_service;
311   } elsif ($::form->{type} =~ m/^purchase_/) {
312     $::instance_conf->get_purchase_delivery_order_check_service;
313   } else {
314     croak "wrong call, no customer or vendor object referenced";
315   }
316 }
317
318 1;
319
320 __END__
321
322 =encoding utf-8
323
324 =head1 NAME
325
326 SL::Helper::ShippedQty - Algorithmic module for calculating shipped qty
327
328 =head1 SYNOPSIS
329
330   use SL::Helper::ShippedQty;
331
332   my $helper = SL::Helper::ShippedQty->new(
333     fill_up              => 0,
334     require_stock_out    => 0,
335     item_identity_fields => [ qw(parts_id description reqdate serialnumber) ],
336   );
337
338   $helper->calculate($order_object);
339   $helper->calculate(\@order_objects);
340   $helper->calculate($orderitem_object);
341   $helper->calculate(\@orderitem_objects);
342   $helper->calculate($oe_id);
343   $helper->calculate(\@oe_ids);
344
345   # if these are items set delivered and shipped_qty
346   # if these are orders, iterate through their items and set delivered on order
347   $helper->write_to($objects);
348
349   # if calculate was called with objects, you can use this shortcut:
350   $helper->write_to_objects;
351
352   # shipped_qtys by oi_id
353   my $shipped_qty = $helper->shipped_qty->{$oi->id};
354
355   # delivered by oe_id
356   my $delivered = $helper->delievered->{$oi->id};
357
358   # calculate and write_to can be chained:
359   my $helper = SL::Helper::ShippedQty->new->calculate($orders)->write_to_objects;
360
361 =head1 DESCRIPTION
362
363 This module encapsulates the algorithm needed to compute the shipped qty for
364 orderitems (hopefully) correctly and efficiently for several use cases.
365
366 While this is used in object accessors, it can not be fast when called in a
367 loop over and over, so take advantage of batch processing when possible.
368
369 =head1 MOTIVATION AND PROBLEMS
370
371 The concept of shipped qty is sadly not as straight forward as it sounds at
372 first glance. Any correct implementation must in some way deal with the
373 following problems.
374
375 =over 4
376
377 =item *
378
379 When is an order shipped? For users that use the inventory it
380 will mean when a delivery order is stocked out. For those not using the
381 inventory it will mean when the delivery order is saved.
382
383 =item *
384
385 How to find the correct matching elements. After the changes
386 to record item links it's natural to assume that each position is linked, but
387 for various reasons this might not be the case. Positions that are not linked
388 in the database need to be matched by marching.
389
390 =item *
391
392 Double links need to be accounted for (these can stem from buggy code).
393
394 =item *
395
396 orderitems and oe entries may link to many of their counterparts in
397 delivery_orders. delivery_orders my be created from multiple orders. The
398 only constant is that a single entry in delivery_order_items has at most one
399 link from an orderitem.
400
401 =item *
402
403 For the fill up case the identity of positions is not clear. The naive approach
404 is just the same part, but description, charge number, reqdate and qty can all
405 be part of the identity of a position for finding shipped matches.
406
407 =item *
408
409 Certain delivery orders might not be eligible for qty calculations if delivery
410 orders are used for other purposes.
411
412 =item *
413
414 Units need to be handled correctly
415
416 =item *
417
418 Negative positions must be taken into account. A negative delivery order is
419 assumed to be a RMA of sorts, but a negative order is not as straight forward.
420
421 =item *
422
423 Must be able to work with plain ids and Rose objects, and absolutely must
424 include a bulk mode to speed up multiple objects.
425
426 =back
427
428
429 =head1 FUNCTIONS
430
431 =over 4
432
433 =item C<new PARAMS>
434
435 Creates a new helper object. PARAMS may include:
436
437 =over 4
438
439 =item * C<require_stock_out>
440
441 Boolean. If set, delivery orders must be stocked out to be considered
442 delivered. The default is a client setting.
443
444 =item * C<fill_up>
445
446 Boolean. If set, unlinked delivery order items will be used to fill up
447 undelivered order items. Not needed in newer installations. The default is a
448 client setting.
449
450 =item * C<item_identity_fields ARRAY>
451
452 If set, the fields are used to compute the identity of matching positions. The
453 default is a client setting. Possible values include:
454
455 =over 4
456
457 =item * C<parts_id>
458
459 =item * C<description>
460
461 =item * C<reqdate>
462
463 =item * C<serialnumber>
464
465 =back
466
467 =item * C<keep_matches>
468
469 Boolean. If set to true the internal matchings of OrderItems and
470 DeliveryOrderItems will be kept for later postprocessing, in case you need more
471 than this modules provides.
472
473 See C<matches> for the returned format.
474
475 =back
476
477 =item C<calculate OBJECTS>
478
479 =item C<calculate IDS>
480
481 Do the main work. There must be a single argument: Either an id or an
482 C<SL::DB::Order> object, or an arrayref of one of these types.
483
484 Mixing ids and objects will generate an exception.
485
486 No return value. All internal errors will throw an exception.
487
488 =item C<write_to OBJECTS>
489
490 =item C<write_to_objects>
491
492 Save the C<shipped_qty> and C<delivered> state to the given objects. If
493 L</calculate> was called with objects, then C<write_to_objects> will use these.
494
495 C<shipped_qty> and C<delivered> will be directly infused into the objects
496 without calling the accessor for delivered. If you want to save afterwards,
497 you'll have to do that yourself.
498
499 C<shipped_qty> is guaranteed to be coerced to a number. If no delivery_order
500 was found it will be set to zero.
501
502 C<delivered> is guaranteed only to be the correct boolean value, but not
503 any specific value.
504
505 Note: C<write_to> will avoid loading unnecessary objects. This means if it is
506 called with an Order object that has not loaded its orderitems yet, only
507 C<delivered> will be set in the Order object. A subsequent C<<
508 $order->orderitems->[0]->{delivered} >> will return C<undef>, and C<<
509 $order->orderitems->[0]->shipped_qty >> will invoke another implicit
510 calculation.
511
512 =item C<shipped_qty>
513
514 Valid after L</calculate>. Returns a hasref with shipped qtys by orderitems id.
515
516 Unlike the result of C</write_to>, entries in C<shipped_qty> may be C<undef> if
517 linked elements were found.
518
519 =item C<delivered>
520
521 Valid after L</calculate>. Returns a hashref with a delivered flag by order id.
522
523 =item C<matches>
524
525 Valid after L</calculate> with C<with_matches> set. Returns an arrayref of
526 individual matches. Each match is an arrayref with these fields:
527
528 =over 4
529
530 =item *
531
532 The id of the OrderItem.
533
534 =item *
535
536 The id of the DeliveryOrderItem.
537
538 =item *
539
540 The qty that was matched between the two converted to the unit of the OrderItem.
541
542 =item *
543
544 A boolean flag indicating if this match was found with record_item links. If
545 false, the match was made in the fill up stage.
546
547 =back
548
549 =back
550
551 =head1 REPLACED FUNCTIONALITY
552
553 =head2 delivered mode
554
555 Originally used in mark_orders_if_delivered. Searches for orders associated
556 with a delivery order and evaluates whether those are delivered or not. No
557 detailed information is needed.
558
559 This is to be integrated into fast delivered check on the orders. The calling
560 convention for the delivery_order is not part of the scope of this module.
561
562 =head2 do_mode
563
564 Originally used for printing delivery orders. Resolves for each position for
565 how much was originally ordered, and how much remains undelivered.
566
567 This one is likely to be dropped. The information only makes sense without
568 combined merge/split deliveries and is very fragile with unaccounted delivery
569 orders.
570
571 =head2 oe mode
572
573 Same from the order perspective. Used for transitions to delivery orders, where
574 delivered qtys should be removed from positions. Also used each time a record
575 is rendered to show the shipped qtys. Also used to find orders that are not
576 fully delivered.
577
578 Acceptable shortcuts would be the concepts fully shipped (for the order) and
579 providing already loaded objects.
580
581 =head2 Replaces the following functions
582
583 C<DO::get_shipped_qty>
584
585 C<SL::Controller::DeliveryPlan::calc_qtys>
586
587 C<SL::DB::OrderItem::shipped_qty>
588
589 C<SL::DB::OrderItem::delivered_qty>
590
591 =head1 OLD ALGORITHM
592
593 this is the old get_shipped_qty algorithm by Martin for reference
594
595     in: oe_id, do_id, doctype, delivered flag
596
597     not needed with better signatures
598      if do_id:
599        load oe->do links for this id,
600        set oe_ids from those
601      fi
602      if oe_id:
603        set oe_ids to this
604
605     return if no oe_ids;
606
607   2 load all orderitems for these oe_ids
608     for orderitem:
609       nomalize qty
610       set undelivered := qty
611     end
612
613     create tuple: [ position => qty_ordered, qty_not_delivered, orderitem.id ]
614
615   1 load all oe->do links for these oe_ids
616
617     if no links:
618       return all tuples so far
619     fi
620
621   4 create dictionary for orderitems from [2] by id
622
623   3 load all delivery_order_items for do_ids from [1], with recorditem_links from orderitems
624       - optionally with doctype filter (identity filter)
625
626     # first pass for record_item_links
627     for dois:
628       normalize qty
629       if link from orderitem exists and orderitem is in dictionary [4]
630         reduce qty_notdelivered in orderitem by doi.qty
631         keep link to do entry in orderitem
632     end
633
634     # second pass fill up
635     for dois:
636       ignroe if from link exists or qty == 0
637
638       for orderitems from [2]:
639         next if notdelivered_qty == 0
640         if doi.parts_id == orderitem.parts_id:
641           if oi.notdelivered_qty < 0:
642             doi :+= -oi.notdelivered_qty,
643             oi.notdelivered_qty := 0
644           else:
645             fi doi.qty < oi.notdelivered_qty:
646               doi.qty := 0
647               oi.notdelivered_qty :-= doi.qty
648             else:
649               doi.qty :-= oi.notdelivered_qty
650               oi.notdelivered_qty := 0
651             fi
652             keep link to oi in doi
653           fi
654         fi
655         last wenn doi.qty <= 0
656       end
657     end
658
659     # post process for return
660
661     if oe_id:
662       copy notdelivered from oe to ship{position}{notdelivered}
663     if !oe_id and do_id and delivered:
664       ship.{oi.trans_id}.delivered := oi.notdelivered_qty <= 0
665     if !oe_id and do_id and !delivered:
666       for all doi:
667         ignore if do.id != doi.delivery_order_id
668         if oi in doi verlinkt und position bekannt:
669           addiere oi.qty               zu doi.ordered_qty
670           addiere oi.notdelievered_qty zu doi.notdelivered_qty
671         fi
672       end
673     fi
674
675 =head1 NEW ALGORITHM
676
677   in: orders, parameters
678
679   normalize orders to ids
680
681   # handle record_item links
682   retrieve record_links entries with inner joins on orderitems, delivery_orderitems and stock/inventory if requested
683   for all record_links:
684     initialize shipped_qty for this doi to 0 if not yet seen
685     convert doi.qty to oi.unit
686     add normalized doi.qty to shipped_qty
687   end
688
689   # handle fill up
690   abort if fill up is not requested
691
692   retrieve all orderitems matching the given order ids
693   retrieve all doi with a link to the given order ids but without item link (and optionally with stock/inventory)
694   retrieve all record_links between orders and delivery_orders                  (1)
695
696   abort when no dois were found
697
698   create a partition of the delivery order items by do_id                       (2)
699   create empty mapping for delivery order items by order_id                     (3)
700   for all record_links from [1]:
701     add all matching doi from (2) to (3)
702   end
703
704   create a partition of the orderitems by item identity                         (4)
705   create a partition of the delivery order items by item identity               (5)
706
707   for each identity in (4):
708     skip if no matching entries in (5)
709
710     create partition of all orderitems for this identity by order id            (6)
711     for each sorted order id in [6]:
712       look up matching delivery order items by identity from [5]                (7)
713       look up matching delivery order items by order id from [3]                (8)
714       create stable sorted intersection between [7] and [8]                     (9)
715
716       sort the orderitems from (6) by position                                 (10)
717
718       parallel walk through [9] and [10]:
719         missing qty :=  oi.qty - shipped_qty[oi]
720
721
722         next orderitem           if missing_qty <= 0
723         next delivery order item if doi.qty == 0
724
725         min_qty := minimum(missing_qty, [doi.qty converted to oi.unit]
726
727         # transfer min_qty from doi.qty to shipped[qty]:
728         shipped_qty[oi] += min_qty
729         doi.qty         -= [min_qty converted to doi.unit]
730       end
731     end
732   end
733
734 =head1 COMPLEXITY OBSERVATIONS
735
736 Perl ops except for sort are expected to be constant (relative to the op overhead).
737
738 =head2 Record item links
739
740 The query itself has indices available for all joins and filters and should
741 scale with sublinear with the number of affected orderitems.
742
743 The rest of the code iterates through the result and calls C<AM::convert_unit>,
744 which caches internally and is asymptotically constant.
745
746 =head2 Fill up
747
748 C<partition_by> and C<intersect> both scale linearly. The first two scale with
749 input size, but use existing indices. The delivery order items query scales
750 with the nested loop anti join of the "NOT EXISTS" subquery, which takes most
751 of the time. For large databases omitting the order id filter may be faster.
752
753 Three partitions after that scale linearly. Building the doi_by_oe_id
754 multimap is O(n²) worst case, but will be linear for most real life data.
755
756 Iterating through the values of the partitions scales with the number of
757 elements in the multimap, and does not add additional complexity.
758
759 The sort and parallel walk are O(nlogn) for the length of the subdivisions,
760 which again makes square worst case, but much less than that in the general
761 case.
762
763 =head3 Space requirements
764
765 In the current form the results of the 4 queries get fetched, and 4 of them are
766 held in memory at the same time. Three persistent structures are held:
767 C<shipped_qty>, C<oi2oe>, and C<oi_qty> - all hashes with one entry for each
768 orderitem. C<delivered> is calculated on demand and is a hash with an entry for
769 each order id of input.
770
771 Temporary structures are partitions of the orderitems, of which again the fill
772 up multi map between order id and delivery order items is potentially the
773 largest with square requierment worst case.
774
775
776 =head1 TODO
777
778   * delivery order identity
779   * test stocked
780   * rewrite to avoid division
781   * rewrite to avoid selectall for really large queries (no problem for up to 100k)
782   * calling mode or return to flag delivery_orders as delivered?
783   * add localized field white list
784   * reduce worst case square space requirement to linear
785
786 =head1 BUGS
787
788 None yet, but there are most likely a lot in code this funky.
789
790 =head1 AUTHOR
791
792 Sven Schöling E<lt>s.schoeling@linet-services.deE<gt>
793
794 =cut