Weitere Verbesserungen am asynchronen Import.
[kivitendo-erp.git] / SL / Controller / CsvImport / Part.pm
1 package SL::Controller::CsvImport::Part;
2
3 use strict;
4
5 use SL::Helper::Csv;
6
7 use SL::DB::Buchungsgruppe;
8 use SL::DB::CustomVariable;
9 use SL::DB::CustomVariableConfig;
10 use SL::DB::PartsGroup;
11 use SL::DB::PaymentTerm;
12 use SL::DB::PriceFactor;
13 use SL::DB::Pricegroup;
14 use SL::DB::Price;
15 use SL::DB::Translation;
16 use SL::DB::Unit;
17
18 use parent qw(SL::Controller::CsvImport::Base);
19
20 use Rose::Object::MakeMethods::Generic
21 (
22  scalar                  => [ qw(table makemodel_columns) ],
23  'scalar --get_set_init' => [ qw(bg_by settings parts_by price_factors_by units_by partsgroups_by
24                                  translation_columns all_pricegroups) ],
25 );
26
27 sub init_class {
28   my ($self) = @_;
29   $self->class('SL::DB::Part');
30 }
31
32 sub init_bg_by {
33   my ($self) = @_;
34
35   my $all_bg = SL::DB::Manager::Buchungsgruppe->get_all;
36   return { map { my $col = $_; ( $col => { map { ( $_->$col => $_ ) } @{ $all_bg } } ) } qw(id description) };
37 }
38
39 sub init_price_factors_by {
40   my ($self) = @_;
41
42   my $all_price_factors = SL::DB::Manager::PriceFactor->get_all;
43   return { map { my $col = $_; ( $col => { map { ( $_->$col => $_ ) } @{ $all_price_factors } } ) } qw(id description) };
44 }
45
46 sub init_partsgroups_by {
47   my ($self) = @_;
48
49   my $all_partsgroups = SL::DB::Manager::PartsGroup->get_all;
50   return { map { my $col = $_; ( $col => { map { ( $_->$col => $_ ) } @{ $all_partsgroups } } ) } qw(id partsgroup) };
51 }
52
53 sub init_units_by {
54   my ($self) = @_;
55
56   my $all_units = SL::DB::Manager::Unit->get_all;
57   return { map { my $col = $_; ( $col => { map { ( $_->$col => $_ ) } @{ $all_units } } ) } qw(name) };
58 }
59
60 sub init_parts_by {
61   my ($self) = @_;
62
63   my $parts_by = { id         => { map { ( $_->id => $_ ) } grep { !$_->assembly } @{ $self->existing_objects } },
64                    partnumber => { part    => { },
65                                    service => { } } };
66
67   foreach my $part (@{ $self->existing_objects }) {
68     next if $part->assembly;
69     $parts_by->{partnumber}->{ $part->type }->{ $part->partnumber } = $part;
70   }
71
72   return $parts_by;
73 }
74
75 sub init_all_pricegroups {
76   my ($self) = @_;
77
78   return SL::DB::Manager::Pricegroup->get_all(sort => 'id');
79 }
80
81 sub init_settings {
82   my ($self) = @_;
83
84   return { map { ( $_ => $self->controller->profile->get($_) ) } qw(apply_buchungsgruppe default_buchungsgruppe article_number_policy
85                                                                     sellprice_places sellprice_adjustment sellprice_adjustment_type
86                                                                     shoparticle_if_missing parts_type default_unit) };
87 }
88
89 sub init_all_cvar_configs {
90   my ($self) = @_;
91
92   return SL::DB::Manager::CustomVariableConfig->get_all(where => [ module => 'IC' ]);
93 }
94
95 sub init_translation_columns {
96   my ($self) = @_;
97
98   return [ map { ("description_" . $_->article_code, "notes_" . $_->article_code) } (@{ $self->all_languages }) ];
99 }
100
101 sub check_objects {
102   my ($self) = @_;
103
104   return unless @{ $self->controller->data };
105
106   $self->makemodel_columns({});
107
108   my $i;
109   my $num_data = scalar @{ $self->controller->data };
110   foreach my $entry (@{ $self->controller->data }) {
111     $self->controller->track_progress(8 + ($i/$num_data * 40)) if $i % 100 == 0; # scale from 5..45%
112
113     $self->check_buchungsgruppe($entry);
114     $self->check_type($entry);
115     $self->check_unit($entry);
116     $self->check_price_factor($entry);
117     $self->check_payment($entry);
118     $self->check_partsgroup($entry);
119     $self->handle_pricegroups($entry);
120     $self->check_existing($entry) unless @{ $entry->{errors} };
121     $self->handle_prices($entry) if $self->settings->{sellprice_adjustment};
122     $self->handle_shoparticle($entry);
123     $self->handle_translations($entry);
124     $self->handle_cvars($entry);
125     $self->handle_makemodel($entry);
126     $self->set_various_fields($entry);
127   } continue {
128     $i++;
129   }
130
131   $self->add_columns(qw(type)) if $self->settings->{parts_type} eq 'mixed';
132   $self->add_columns(qw(buchungsgruppen_id unit));
133   $self->add_columns(map { "${_}_id" } grep { exists $self->controller->data->[0]->{raw_data}->{$_} } qw (price_factor payment partsgroup));
134   $self->add_columns(qw(shop)) if $self->settings->{shoparticle_if_missing};
135   $self->add_cvar_raw_data_columns;
136   map { $self->add_raw_data_columns("pricegroup_${_}") } (1..scalar(@{ $self->all_pricegroups }));
137   map { $self->add_raw_data_columns($_) if exists $self->controller->data->[0]->{raw_data}->{$_} } @{ $self->translation_columns };
138   map { $self->add_raw_data_columns("make_${_}", "model_${_}", "lastcost_${_}") } sort { $a <=> $b } keys %{ $self->makemodel_columns };
139 }
140
141 sub get_duplicate_check_fields {
142   return {
143     partnumber => {
144       label     => $::locale->text('Part Number'),
145       default   => 0
146     },
147
148     description => {
149       label     => $::locale->text('Description'),
150       default   => 1,
151       maker     => sub {
152         my $desc = shift->description;
153         $desc =~ s/[\s,\.\-]//g;
154         return $desc;
155       }
156     },
157   };
158 }
159
160 sub check_buchungsgruppe {
161   my ($self, $entry) = @_;
162
163   my $object = $entry->{object};
164
165   # Check Buchungsgruppe
166
167   # Store and verify default ID.
168   my $default_id = $self->settings->{default_buchungsgruppe};
169   $default_id    = undef unless $self->bg_by->{id}->{ $default_id };
170
171   # 1. Use default ID if enforced.
172   $object->buchungsgruppen_id($default_id) if $default_id && ($self->settings->{apply_buchungsgruppe} eq 'all');
173
174   # 2. Use supplied ID if valid
175   $object->buchungsgruppen_id(undef) if $object->buchungsgruppen_id && !$self->bg_by->{id}->{ $object->buchungsgruppen_id };
176
177   # 3. Look up name if supplied.
178   if (!$object->buchungsgruppen_id) {
179     my $bg = $self->bg_by->{description}->{ $entry->{raw_data}->{buchungsgruppe} };
180     $object->buchungsgruppen_id($bg->id) if $bg;
181   }
182
183   # 4. Use default ID if not valid.
184   $object->buchungsgruppen_id($default_id) if !$object->buchungsgruppen_id && $default_id && ($self->settings->{apply_buchungsgruppe} eq 'missing');
185
186   return 1 if $object->buchungsgruppen_id;
187
188   push @{ $entry->{errors} }, $::locale->text('Error: Buchungsgruppe missing or invalid');
189   return 0;
190 }
191
192 sub check_existing {
193   my ($self, $entry) = @_;
194
195   my $object = $entry->{object};
196
197   $entry->{part} = SL::DB::Manager::Part->find_by(
198     SL::DB::Manager::Part->type_filter($object->type),
199     ( partnumber => $object->partnumber )                 x!! $object->partnumber,
200   );
201
202   if ($self->settings->{article_number_policy} eq 'update_prices') {
203     if ($entry->{part}) {
204       map { $entry->{part}->$_( $object->$_ ) if defined $object->$_ } qw(sellprice listprice lastcost);
205
206       # merge prices
207       my %prices_by_pricegroup_id = map { $_->pricegroup->id => $_ } $entry->{part}->prices, $object->prices;
208       $entry->{part}->prices(grep { $_ } map { $prices_by_pricegroup_id{$_->id} } @{ $self->all_pricegroups });
209
210       push @{ $entry->{information} }, $::locale->text('Updating prices of existing entry in database');
211       $entry->{object_to_save} = $entry->{part};
212     }
213   } elsif ( $self->settings->{article_number_policy} eq 'skip' ) {
214     push(@{$entry->{errors}}, $::locale->text('Skipping due to existing entry in database')) if ( $entry->{part} );
215   } else {
216     $object->partnumber('####') if $entry->{part};
217   }
218 }
219
220 sub handle_prices {
221   my ($self, $entry) = @_;
222
223   foreach my $column (qw(sellprice listprice lastcost)) {
224     next unless $self->controller->headers->{used}->{ $column };
225
226     my $adjustment = $self->settings->{sellprice_adjustment};
227     my $value      = $entry->{object}->$column;
228
229     $value = $self->settings->{sellprice_adjustment_type} eq 'percent' ? $value * (100 + $adjustment) / 100 : $value + $adjustment;
230     $entry->{object}->$column($::form->round_amount($value, $self->settings->{sellprice_places}));
231   }
232 }
233
234 sub handle_shoparticle {
235   my ($self, $entry) = @_;
236
237   $entry->{object}->shop(1) if $self->settings->{shoparticle_if_missing} && !$self->controller->headers->{used}->{shop};
238 }
239
240 sub check_type {
241   my ($self, $entry) = @_;
242
243   my $bg = $self->bg_by->{id}->{ $entry->{object}->buchungsgruppen_id };
244   $bg  ||= SL::DB::Buchungsgruppe->new(inventory_accno_id => 1, income_accno_id_0 => 1, expense_accno_id_0 => 1);
245
246   my $type = $self->settings->{parts_type};
247   if ($type eq 'mixed') {
248     $type = $entry->{raw_data}->{type} =~ m/^p/i ? 'part'
249           : $entry->{raw_data}->{type} =~ m/^s/i ? 'service'
250           :                                        undef;
251   }
252
253   $entry->{object}->income_accno_id(  $bg->income_accno_id_0 );
254   $entry->{object}->expense_accno_id( $bg->expense_accno_id_0 );
255
256   if ($type eq 'part') {
257     $entry->{object}->inventory_accno_id( $bg->inventory_accno_id );
258
259   } elsif ($type ne 'service') {
260     push @{ $entry->{errors} }, $::locale->text('Error: Invalid part type');
261     return 0;
262   }
263
264   return 1;
265 }
266
267 sub check_price_factor {
268   my ($self, $entry) = @_;
269
270   my $object = $entry->{object};
271
272   # Check whether or not price factor ID is valid.
273   if ($object->price_factor_id && !$self->price_factors_by->{id}->{ $object->price_factor_id }) {
274     push @{ $entry->{errors} }, $::locale->text('Error: Invalid price factor');
275     return 0;
276   }
277
278   # Map name to ID if given.
279   if (!$object->price_factor_id && $entry->{raw_data}->{price_factor}) {
280     my $pf = $self->price_factors_by->{description}->{ $entry->{raw_data}->{price_factor} };
281
282     if (!$pf) {
283       push @{ $entry->{errors} }, $::locale->text('Error: Invalid price factor');
284       return 0;
285     }
286
287     $object->price_factor_id($pf->id);
288   }
289
290   return 1;
291 }
292
293 sub check_partsgroup {
294   my ($self, $entry) = @_;
295
296   my $object = $entry->{object};
297
298   # Check whether or not part group ID is valid.
299   if ($object->partsgroup_id && !$self->partsgroups_by->{id}->{ $object->partsgroup_id }) {
300     push @{ $entry->{errors} }, $::locale->text('Error: Invalid parts group');
301     return 0;
302   }
303
304   # Map name to ID if given.
305   if (!$object->partsgroup_id && $entry->{raw_data}->{partsgroup}) {
306     my $pg = $self->partsgroups_by->{partsgroup}->{ $entry->{raw_data}->{partsgroup} };
307
308     if (!$pg) {
309       push @{ $entry->{errors} }, $::locale->text('Error: Invalid parts group');
310       return 0;
311     }
312
313     $object->partsgroup_id($pg->id);
314   }
315
316   return 1;
317 }
318
319 sub check_unit {
320   my ($self, $entry) = @_;
321
322   my $object = $entry->{object};
323
324   $object->unit($self->settings->{default_unit}) unless $object->unit;
325
326   # Check whether or unit is valid.
327   if (!$self->units_by->{name}->{ $object->unit }) {
328     push @{ $entry->{errors} }, $::locale->text('Error: Unit missing or invalid');
329     return 0;
330   }
331
332   return 1;
333 }
334
335 sub handle_translations {
336   my ($self, $entry) = @_;
337
338   my @translations;
339   foreach my $language (@{ $self->all_languages }) {
340     my ($desc, $notes) = @{ $entry->{raw_data} }{ "description_" . $language->article_code, "notes_" . $language->article_code };
341     next unless $desc || $notes;
342
343     push @translations, SL::DB::Translation->new(language_id     => $language->id,
344                                                  translation     => $desc,
345                                                  longdescription => $notes);
346   }
347
348   $entry->{object}->translations(\@translations);
349 }
350
351 sub handle_pricegroups {
352   my ($self, $entry) = @_;
353
354   my @prices;
355   my $idx = 0;
356   foreach my $pricegroup (@{ $self->all_pricegroups }) {
357     $idx++;
358     my $sellprice = $entry->{raw_data}->{"pricegroup_${idx}"};
359     next if $sellprice eq '';
360
361     push @prices, SL::DB::Price->new(pricegroup_id => $pricegroup->id,
362                                      price         => $::form->parse_amount(\%::myconfig, $sellprice));
363   }
364
365   $entry->{object}->prices(\@prices);
366 }
367
368 sub handle_makemodel {
369   my ($self, $entry) = @_;
370   my $object = $entry->{object};
371   my $found_any;
372
373   my @makemodels;
374   foreach my $idx (sort map { substr $_, 5 } grep { m/^make_\d+$/ && $entry->{raw_data}->{$_} } keys %{ $entry->{raw_data} }) {
375     my $vendor = $entry->{raw_data}->{"make_${idx}"};
376     $vendor    = $self->vc_by->{id}->               { $vendor }
377               || $self->vc_by->{number}->{vendors}->{ $vendor }
378               || $self->vc_by->{name}->  {vendors}->{ $vendor };
379
380     if (ref($vendor) ne 'SL::DB::Vendor') {
381       push @{ $entry->{errors} }, $::locale->text('Error: Invalid vendor in column make_#1', $idx);
382
383     } else {
384       $found_any = 1;
385       push @makemodels, SL::DB::MakeModel->new(make               => $vendor->id,
386                                                model              => $entry->{raw_data}->{"model_${idx}"},
387                                                lastcost_as_number => $entry->{raw_data}->{"lastcost_${idx}"});
388
389       $self->makemodel_columns->{$idx}    = 1;
390       $entry->{raw_data}->{"make_${idx}"} = $vendor->name;
391     }
392   }
393
394   $object->makemodels(\@makemodels);
395   $object->makemodel(scalar(@makemodels) ? 1 : 0);
396
397   if ( !$entry->{part} || $self->settings->{article_number_policy} ne 'update_prices' ) {
398     return;
399   }
400
401   my %old_makemodels_by_make = map { $_->make => $_ } $entry->{part}->makemodels;
402
403   foreach my $makemodel ($object->makemodels()) {
404     my $makemodel_orig = $old_makemodels_by_make{$makemodel->make};
405     $found_any = 1;
406
407     if ($makemodel_orig) {
408       $makemodel_orig->model($makemodel->model);
409       $makemodel_orig->lastcost($makemodel->lastcost);
410
411     } else {
412       $entry->{part}->add_makemodels($makemodel);
413     }
414   }
415
416   $entry->{part}->makemodel($object->makemodel);
417
418   $self->save_with_cascade(1) if $found_any;
419 }
420
421 sub set_various_fields {
422   my ($self, $entry) = @_;
423
424   $entry->{object}->priceupdate(DateTime->now_local);
425 }
426
427 sub init_profile {
428   my ($self) = @_;
429
430   my $profile = $self->SUPER::init_profile;
431   delete @{$profile}{qw(alternate assembly bom expense_accno_id income_accno_id inventory_accno_id makemodel priceupdate stockable type)};
432
433   return $profile;
434 }
435
436 sub save_objects {
437   my ($self, %params) = @_;
438
439   my $with_number    = [ grep { $_->{object}->partnumber ne '####' } @{ $self->controller->data } ];
440   my $without_number = [ grep { $_->{object}->partnumber eq '####' } @{ $self->controller->data } ];
441
442   map { $_->{object}->partnumber('') } @{ $without_number };
443
444   $self->SUPER::save_objects(data => $with_number);
445   $self->SUPER::save_objects(data => $without_number);
446 }
447
448 sub setup_displayable_columns {
449   my ($self) = @_;
450
451   $self->SUPER::setup_displayable_columns;
452   $self->add_cvar_columns_to_displayable_columns;
453
454   $self->add_displayable_columns({ name => 'bin',                description => $::locale->text('Bin')                                                  },
455                                  { name => 'buchungsgruppen_id', description => $::locale->text('Buchungsgruppe (database ID)')                         },
456                                  { name => 'buchungsgruppe',     description => $::locale->text('Buchungsgruppe (name)')                                },
457                                  { name => 'description',        description => $::locale->text('Description')                                          },
458                                  { name => 'drawing',            description => $::locale->text('Drawing')                                              },
459                                  { name => 'ean',                description => $::locale->text('EAN')                                                  },
460                                  { name => 'formel',             description => $::locale->text('Formula')                                              },
461                                  { name => 'gv',                 description => $::locale->text('Business Volume')                                      },
462                                  { name => 'has_sernumber',      description => $::locale->text('Has serial number')                                    },
463                                  { name => 'image',              description => $::locale->text('Image')                                                },
464                                  { name => 'lastcost',           description => $::locale->text('Last Cost')                                            },
465                                  { name => 'listprice',          description => $::locale->text('List Price')                                           },
466                                  { name => 'make_X',             description => $::locale->text('Make (vendor\'s database ID, number or name; with X being a number)') . ' [1]' },
467                                  { name => 'microfiche',         description => $::locale->text('Microfiche')                                           },
468                                  { name => 'model_X',            description => $::locale->text('Model (with X being a number)') . ' [1]'               },
469                                  { name => 'lastcost_X',         description => $::locale->text('Lastcost (with X being a number)') . ' [1]'            },
470                                  { name => 'not_discountable',   description => $::locale->text('Not Discountable')                                     },
471                                  { name => 'notes',              description => $::locale->text('Notes')                                                },
472                                  { name => 'obsolete',           description => $::locale->text('Obsolete')                                             },
473                                  { name => 'onhand',             description => $::locale->text('On Hand')                                              },
474                                  { name => 'partnumber',         description => $::locale->text('Part Number')                                          },
475                                  { name => 'partsgroup_id',      description => $::locale->text('Partsgroup (database ID)')                             },
476                                  { name => 'partsgroup',         description => $::locale->text('Partsgroup (name)')                                    },
477                                  { name => 'payment_id',         description => $::locale->text('Payment terms (database ID)')                          },
478                                  { name => 'payment',            description => $::locale->text('Payment terms (name)')                                 },
479                                  { name => 'price_factor_id',    description => $::locale->text('Price factor (database ID)')                           },
480                                  { name => 'price_factor',       description => $::locale->text('Price factor (name)')                                  },
481                                  { name => 'rop',                description => $::locale->text('ROP')                                                  },
482                                  { name => 'sellprice',          description => $::locale->text('Sellprice')                                            },
483                                  { name => 'shop',               description => $::locale->text('Shopartikel')                                          },
484                                  { name => 'type',               description => $::locale->text('Article type (see below)')                             },
485                                  { name => 'unit',               description => $::locale->text('Unit (if missing or empty default unit will be used)') },
486                                  { name => 've',                 description => $::locale->text('Verrechnungseinheit')                                  },
487                                  { name => 'weight',             description => $::locale->text('Weight')                                               },
488                                 );
489
490   foreach my $language (@{ $self->all_languages }) {
491     $self->add_displayable_columns({ name        => 'description_' . $language->article_code,
492                                      description => $::locale->text('Description (translation for #1)', $language->description) },
493                                    { name        => 'notes_' . $language->article_code,
494                                      description => $::locale->text('Notes (translation for #1)', $language->description) });
495   }
496
497   my $idx = 0;
498   foreach my $pricegroup (@{ $self->all_pricegroups }) {
499     $idx++;
500     $self->add_displayable_columns({ name        => 'pricegroup_' . $idx,
501                                      description => $::locale->text("Sellprice for price group '#1'", $pricegroup->pricegroup) });
502   }
503 }
504
505 1;