5529082ff309b20e97fd2ece4bc89d7a2f86024f
[kivitendo-erp.git] / SL / Controller / CsvImport / Part.pm
1 package SL::Controller::CsvImport::Part;
2
3 use strict;
4
5 use SL::Helper::Csv;
6
7 use SL::DB::Buchungsgruppe;
8 use SL::DB::CustomVariable;
9 use SL::DB::CustomVariableConfig;
10 use SL::DB::PartsGroup;
11 use SL::DB::PaymentTerm;
12 use SL::DB::PriceFactor;
13 use SL::DB::Pricegroup;
14 use SL::DB::Price;
15 use SL::DB::Translation;
16 use SL::DB::Unit;
17
18 use parent qw(SL::Controller::CsvImport::Base);
19
20 use Rose::Object::MakeMethods::Generic
21 (
22  scalar                  => [ qw(table makemodel_columns) ],
23  'scalar --get_set_init' => [ qw(bg_by settings parts_by price_factors_by units_by partsgroups_by
24                                  translation_columns all_pricegroups) ],
25 );
26
27 sub init_class {
28   my ($self) = @_;
29   $self->class('SL::DB::Part');
30 }
31
32 sub init_bg_by {
33   my ($self) = @_;
34
35   my $all_bg = SL::DB::Manager::Buchungsgruppe->get_all;
36   return { map { my $col = $_; ( $col => { map { ( $_->$col => $_ ) } @{ $all_bg } } ) } qw(id description) };
37 }
38
39 sub init_price_factors_by {
40   my ($self) = @_;
41
42   my $all_price_factors = SL::DB::Manager::PriceFactor->get_all;
43   return { map { my $col = $_; ( $col => { map { ( $_->$col => $_ ) } @{ $all_price_factors } } ) } qw(id description) };
44 }
45
46 sub init_partsgroups_by {
47   my ($self) = @_;
48
49   my $all_partsgroups = SL::DB::Manager::PartsGroup->get_all;
50   return { map { my $col = $_; ( $col => { map { ( $_->$col => $_ ) } @{ $all_partsgroups } } ) } qw(id partsgroup) };
51 }
52
53 sub init_units_by {
54   my ($self) = @_;
55
56   my $all_units = SL::DB::Manager::Unit->get_all;
57   return { map { my $col = $_; ( $col => { map { ( $_->$col => $_ ) } @{ $all_units } } ) } qw(name) };
58 }
59
60 sub init_parts_by {
61   my ($self) = @_;
62
63   my $parts_by = { id         => { map { ( $_->id => $_ ) } grep { !$_->assembly } @{ $self->existing_objects } },
64                    partnumber => { part    => { },
65                                    service => { } } };
66
67   foreach my $part (@{ $self->existing_objects }) {
68     next if $part->assembly;
69     $parts_by->{partnumber}->{ $part->type }->{ $part->partnumber } = $part;
70   }
71
72   return $parts_by;
73 }
74
75 sub init_all_pricegroups {
76   my ($self) = @_;
77
78   return SL::DB::Manager::Pricegroup->get_all(sort => 'id');
79 }
80
81 sub init_settings {
82   my ($self) = @_;
83
84   return { map { ( $_ => $self->controller->profile->get($_) ) } qw(apply_buchungsgruppe default_buchungsgruppe article_number_policy
85                                                                     sellprice_places sellprice_adjustment sellprice_adjustment_type
86                                                                     shoparticle_if_missing parts_type default_unit) };
87 }
88
89 sub init_all_cvar_configs {
90   my ($self) = @_;
91
92   return SL::DB::Manager::CustomVariableConfig->get_all(where => [ module => 'IC' ]);
93 }
94
95 sub init_translation_columns {
96   my ($self) = @_;
97
98   return [ map { ("description_" . $_->article_code, "notes_" . $_->article_code) } (@{ $self->all_languages }) ];
99 }
100
101 sub check_objects {
102   my ($self) = @_;
103
104   return unless @{ $self->controller->data };
105
106   $self->controller->track_progress(phase => 'building data', progress => 0);
107
108   $self->makemodel_columns({});
109
110   my $i;
111   my $num_data = scalar @{ $self->controller->data };
112   foreach my $entry (@{ $self->controller->data }) {
113     $self->controller->track_progress(progress => $i/$num_data * 100) if $i % 100 == 0;
114
115     $self->check_buchungsgruppe($entry);
116     $self->check_type($entry);
117     $self->check_unit($entry);
118     $self->check_price_factor($entry);
119     $self->check_payment($entry);
120     $self->check_partsgroup($entry);
121     $self->handle_pricegroups($entry);
122     $self->check_existing($entry) unless @{ $entry->{errors} };
123     $self->handle_prices($entry) if $self->settings->{sellprice_adjustment};
124     $self->handle_shoparticle($entry);
125     $self->handle_translations($entry);
126     $self->handle_cvars($entry);
127     $self->handle_makemodel($entry);
128     $self->set_various_fields($entry);
129   } continue {
130     $i++;
131   }
132
133   $self->add_columns(qw(type)) if $self->settings->{parts_type} eq 'mixed';
134   $self->add_columns(qw(buchungsgruppen_id unit));
135   $self->add_columns(map { "${_}_id" } grep { exists $self->controller->data->[0]->{raw_data}->{$_} } qw (price_factor payment partsgroup));
136   $self->add_columns(qw(shop)) if $self->settings->{shoparticle_if_missing};
137   $self->add_cvar_raw_data_columns;
138   map { $self->add_raw_data_columns("pricegroup_${_}") if exists $self->controller->data->[0]->{raw_data}->{"pricegroup_$_"} } (1..scalar(@{ $self->all_pricegroups }));
139   map { $self->add_raw_data_columns($_) if exists $self->controller->data->[0]->{raw_data}->{$_} } @{ $self->translation_columns };
140   map { $self->add_raw_data_columns("make_${_}", "model_${_}", "lastcost_${_}") } sort { $a <=> $b } keys %{ $self->makemodel_columns };
141 }
142
143 sub get_duplicate_check_fields {
144   return {
145     partnumber => {
146       label     => $::locale->text('Part Number'),
147       default   => 0
148     },
149
150     description => {
151       label     => $::locale->text('Description'),
152       default   => 1,
153       maker     => sub {
154         my $desc = shift->description;
155         $desc =~ s/[\s,\.\-]//g;
156         return $desc;
157       }
158     },
159   };
160 }
161
162 sub check_buchungsgruppe {
163   my ($self, $entry) = @_;
164
165   my $object = $entry->{object};
166
167   # Check Buchungsgruppe
168
169   # Store and verify default ID.
170   my $default_id = $self->settings->{default_buchungsgruppe};
171   $default_id    = undef unless $self->bg_by->{id}->{ $default_id };
172
173   # 1. Use default ID if enforced.
174   $object->buchungsgruppen_id($default_id) if $default_id && ($self->settings->{apply_buchungsgruppe} eq 'all');
175
176   # 2. Use supplied ID if valid
177   $object->buchungsgruppen_id(undef) if $object->buchungsgruppen_id && !$self->bg_by->{id}->{ $object->buchungsgruppen_id };
178
179   # 3. Look up name if supplied.
180   if (!$object->buchungsgruppen_id) {
181     my $bg = $self->bg_by->{description}->{ $entry->{raw_data}->{buchungsgruppe} };
182     $object->buchungsgruppen_id($bg->id) if $bg;
183   }
184
185   # 4. Use default ID if not valid.
186   $object->buchungsgruppen_id($default_id) if !$object->buchungsgruppen_id && $default_id && ($self->settings->{apply_buchungsgruppe} eq 'missing');
187
188   return 1 if $object->buchungsgruppen_id;
189
190   push @{ $entry->{errors} }, $::locale->text('Error: Buchungsgruppe missing or invalid');
191   return 0;
192 }
193
194 sub check_existing {
195   my ($self, $entry) = @_;
196
197   my $object = $entry->{object};
198
199   $entry->{part} = SL::DB::Manager::Part->find_by(
200     SL::DB::Manager::Part->type_filter($object->type),
201     ( partnumber => $object->partnumber )                 x!! $object->partnumber,
202   );
203
204   if ($self->settings->{article_number_policy} eq 'update_prices') {
205     if ($entry->{part}) {
206       map { $entry->{part}->$_( $object->$_ ) if defined $object->$_ } qw(sellprice listprice lastcost);
207
208       # merge prices
209       my %prices_by_pricegroup_id = map { $_->pricegroup->id => $_ } $entry->{part}->prices, $object->prices;
210       $entry->{part}->prices(grep { $_ } map { $prices_by_pricegroup_id{$_->id} } @{ $self->all_pricegroups });
211
212       push @{ $entry->{information} }, $::locale->text('Updating prices of existing entry in database');
213       $entry->{object_to_save} = $entry->{part};
214     }
215   } elsif ( $self->settings->{article_number_policy} eq 'skip' ) {
216     push(@{$entry->{errors}}, $::locale->text('Skipping due to existing entry in database')) if ( $entry->{part} );
217   } else {
218     $object->partnumber('####') if $entry->{part};
219   }
220 }
221
222 sub handle_prices {
223   my ($self, $entry) = @_;
224
225   foreach my $column (qw(sellprice listprice lastcost)) {
226     next unless $self->controller->headers->{used}->{ $column };
227
228     my $adjustment = $self->settings->{sellprice_adjustment};
229     my $value      = $entry->{object}->$column;
230
231     $value = $self->settings->{sellprice_adjustment_type} eq 'percent' ? $value * (100 + $adjustment) / 100 : $value + $adjustment;
232     $entry->{object}->$column($::form->round_amount($value, $self->settings->{sellprice_places}));
233   }
234 }
235
236 sub handle_shoparticle {
237   my ($self, $entry) = @_;
238
239   $entry->{object}->shop(1) if $self->settings->{shoparticle_if_missing} && !$self->controller->headers->{used}->{shop};
240 }
241
242 sub check_type {
243   my ($self, $entry) = @_;
244
245   my $bg = $self->bg_by->{id}->{ $entry->{object}->buchungsgruppen_id };
246   $bg  ||= SL::DB::Buchungsgruppe->new(inventory_accno_id => 1, income_accno_id_0 => 1, expense_accno_id_0 => 1);
247
248   my $type = $self->settings->{parts_type};
249   if ($type eq 'mixed') {
250     $type = $entry->{raw_data}->{type} =~ m/^p/i ? 'part'
251           : $entry->{raw_data}->{type} =~ m/^s/i ? 'service'
252           :                                        undef;
253   }
254
255   $entry->{object}->income_accno_id(  $bg->income_accno_id_0 );
256   $entry->{object}->expense_accno_id( $bg->expense_accno_id_0 );
257
258   if ($type eq 'part') {
259     $entry->{object}->inventory_accno_id( $bg->inventory_accno_id );
260
261   } elsif ($type ne 'service') {
262     push @{ $entry->{errors} }, $::locale->text('Error: Invalid part type');
263     return 0;
264   }
265
266   return 1;
267 }
268
269 sub check_price_factor {
270   my ($self, $entry) = @_;
271
272   my $object = $entry->{object};
273
274   # Check whether or not price factor ID is valid.
275   if ($object->price_factor_id && !$self->price_factors_by->{id}->{ $object->price_factor_id }) {
276     push @{ $entry->{errors} }, $::locale->text('Error: Invalid price factor');
277     return 0;
278   }
279
280   # Map name to ID if given.
281   if (!$object->price_factor_id && $entry->{raw_data}->{price_factor}) {
282     my $pf = $self->price_factors_by->{description}->{ $entry->{raw_data}->{price_factor} };
283
284     if (!$pf) {
285       push @{ $entry->{errors} }, $::locale->text('Error: Invalid price factor');
286       return 0;
287     }
288
289     $object->price_factor_id($pf->id);
290   }
291
292   return 1;
293 }
294
295 sub check_partsgroup {
296   my ($self, $entry) = @_;
297
298   my $object = $entry->{object};
299
300   # Check whether or not part group ID is valid.
301   if ($object->partsgroup_id && !$self->partsgroups_by->{id}->{ $object->partsgroup_id }) {
302     push @{ $entry->{errors} }, $::locale->text('Error: Invalid parts group');
303     return 0;
304   }
305
306   # Map name to ID if given.
307   if (!$object->partsgroup_id && $entry->{raw_data}->{partsgroup}) {
308     my $pg = $self->partsgroups_by->{partsgroup}->{ $entry->{raw_data}->{partsgroup} };
309
310     if (!$pg) {
311       push @{ $entry->{errors} }, $::locale->text('Error: Invalid parts group');
312       return 0;
313     }
314
315     $object->partsgroup_id($pg->id);
316   }
317
318   return 1;
319 }
320
321 sub check_unit {
322   my ($self, $entry) = @_;
323
324   my $object = $entry->{object};
325
326   $object->unit($self->settings->{default_unit}) unless $object->unit;
327
328   # Check whether or unit is valid.
329   if (!$self->units_by->{name}->{ $object->unit }) {
330     push @{ $entry->{errors} }, $::locale->text('Error: Unit missing or invalid');
331     return 0;
332   }
333
334   return 1;
335 }
336
337 sub handle_translations {
338   my ($self, $entry) = @_;
339
340   my @translations;
341   foreach my $language (@{ $self->all_languages }) {
342     my ($desc, $notes) = @{ $entry->{raw_data} }{ "description_" . $language->article_code, "notes_" . $language->article_code };
343     next unless $desc || $notes;
344
345     push @translations, SL::DB::Translation->new(language_id     => $language->id,
346                                                  translation     => $desc,
347                                                  longdescription => $notes);
348   }
349
350   $entry->{object}->translations(\@translations);
351 }
352
353 sub handle_pricegroups {
354   my ($self, $entry) = @_;
355
356   my @prices;
357   my $idx = 0;
358   foreach my $pricegroup (@{ $self->all_pricegroups }) {
359     $idx++;
360     my $sellprice = $entry->{raw_data}->{"pricegroup_${idx}"};
361     next if $sellprice eq '';
362
363     push @prices, SL::DB::Price->new(pricegroup_id => $pricegroup->id,
364                                      price         => $::form->parse_amount(\%::myconfig, $sellprice));
365   }
366
367   $entry->{object}->prices(\@prices);
368 }
369
370 sub handle_makemodel {
371   my ($self, $entry) = @_;
372   my $object = $entry->{object};
373   my $found_any;
374
375   my @makemodels;
376   foreach my $idx (sort map { substr $_, 5 } grep { m/^make_\d+$/ && $entry->{raw_data}->{$_} } keys %{ $entry->{raw_data} }) {
377     my $vendor = $entry->{raw_data}->{"make_${idx}"};
378     $vendor    = $self->vc_by->{id}->               { $vendor }
379               || $self->vc_by->{number}->{vendors}->{ $vendor }
380               || $self->vc_by->{name}->  {vendors}->{ $vendor };
381
382     if (ref($vendor) ne 'SL::DB::Vendor') {
383       push @{ $entry->{errors} }, $::locale->text('Error: Invalid vendor in column make_#1', $idx);
384
385     } else {
386       $found_any = 1;
387       push @makemodels, SL::DB::MakeModel->new(make               => $vendor->id,
388                                                model              => $entry->{raw_data}->{"model_${idx}"},
389                                                lastcost_as_number => $entry->{raw_data}->{"lastcost_${idx}"});
390
391       $self->makemodel_columns->{$idx}    = 1;
392       $entry->{raw_data}->{"make_${idx}"} = $vendor->name;
393     }
394   }
395
396   $object->makemodels(\@makemodels);
397   $object->makemodel(scalar(@makemodels) ? 1 : 0);
398
399   if ( !$entry->{part} || $self->settings->{article_number_policy} ne 'update_prices' ) {
400     return;
401   }
402
403   my %old_makemodels_by_make = map { $_->make => $_ } $entry->{part}->makemodels;
404
405   foreach my $makemodel ($object->makemodels()) {
406     my $makemodel_orig = $old_makemodels_by_make{$makemodel->make};
407     $found_any = 1;
408
409     if ($makemodel_orig) {
410       $makemodel_orig->model($makemodel->model);
411       $makemodel_orig->lastcost($makemodel->lastcost);
412
413     } else {
414       $entry->{part}->add_makemodels($makemodel);
415     }
416   }
417
418   $entry->{part}->makemodel($object->makemodel);
419
420   $self->save_with_cascade(1) if $found_any;
421 }
422
423 sub set_various_fields {
424   my ($self, $entry) = @_;
425
426   $entry->{object}->priceupdate(DateTime->now_local);
427 }
428
429 sub init_profile {
430   my ($self) = @_;
431
432   my $profile = $self->SUPER::init_profile;
433   delete @{$profile}{qw(alternate assembly bom expense_accno_id income_accno_id inventory_accno_id makemodel priceupdate stockable type)};
434
435   $profile->{"pricegroup_$_"} = '' for 1 .. scalar @{ $_[0]->all_pricegroups };
436
437   return $profile;
438 }
439
440 sub save_objects {
441   my ($self, %params) = @_;
442
443   my $with_number    = [ grep { $_->{object}->partnumber ne '####' } @{ $self->controller->data } ];
444   my $without_number = [ grep { $_->{object}->partnumber eq '####' } @{ $self->controller->data } ];
445
446   map { $_->{object}->partnumber('') } @{ $without_number };
447
448   $self->SUPER::save_objects(data => $with_number);
449   $self->SUPER::save_objects(data => $without_number);
450 }
451
452 sub setup_displayable_columns {
453   my ($self) = @_;
454
455   $self->SUPER::setup_displayable_columns;
456   $self->add_cvar_columns_to_displayable_columns;
457
458   $self->add_displayable_columns({ name => 'bin',                description => $::locale->text('Bin')                                                  },
459                                  { name => 'buchungsgruppen_id', description => $::locale->text('Buchungsgruppe (database ID)')                         },
460                                  { name => 'buchungsgruppe',     description => $::locale->text('Buchungsgruppe (name)')                                },
461                                  { name => 'description',        description => $::locale->text('Description')                                          },
462                                  { name => 'drawing',            description => $::locale->text('Drawing')                                              },
463                                  { name => 'ean',                description => $::locale->text('EAN')                                                  },
464                                  { name => 'formel',             description => $::locale->text('Formula')                                              },
465                                  { name => 'gv',                 description => $::locale->text('Business Volume')                                      },
466                                  { name => 'has_sernumber',      description => $::locale->text('Has serial number')                                    },
467                                  { name => 'image',              description => $::locale->text('Image')                                                },
468                                  { name => 'lastcost',           description => $::locale->text('Last Cost')                                            },
469                                  { name => 'listprice',          description => $::locale->text('List Price')                                           },
470                                  { name => 'make_X',             description => $::locale->text('Make (vendor\'s database ID, number or name; with X being a number)') . ' [1]' },
471                                  { name => 'microfiche',         description => $::locale->text('Microfiche')                                           },
472                                  { name => 'model_X',            description => $::locale->text('Model (with X being a number)') . ' [1]'               },
473                                  { name => 'lastcost_X',         description => $::locale->text('Lastcost (with X being a number)') . ' [1]'            },
474                                  { name => 'not_discountable',   description => $::locale->text('Not Discountable')                                     },
475                                  { name => 'notes',              description => $::locale->text('Notes')                                                },
476                                  { name => 'obsolete',           description => $::locale->text('Obsolete')                                             },
477                                  { name => 'onhand',             description => $::locale->text('On Hand')                                              },
478                                  { name => 'partnumber',         description => $::locale->text('Part Number')                                          },
479                                  { name => 'partsgroup_id',      description => $::locale->text('Partsgroup (database ID)')                             },
480                                  { name => 'partsgroup',         description => $::locale->text('Partsgroup (name)')                                    },
481                                  { name => 'payment_id',         description => $::locale->text('Payment terms (database ID)')                          },
482                                  { name => 'payment',            description => $::locale->text('Payment terms (name)')                                 },
483                                  { name => 'price_factor_id',    description => $::locale->text('Price factor (database ID)')                           },
484                                  { name => 'price_factor',       description => $::locale->text('Price factor (name)')                                  },
485                                  { name => 'rop',                description => $::locale->text('ROP')                                                  },
486                                  { name => 'sellprice',          description => $::locale->text('Sellprice')                                            },
487                                  { name => 'shop',               description => $::locale->text('Shopartikel')                                          },
488                                  { name => 'type',               description => $::locale->text('Article type (see below)')                             },
489                                  { name => 'unit',               description => $::locale->text('Unit (if missing or empty default unit will be used)') },
490                                  { name => 've',                 description => $::locale->text('Verrechnungseinheit')                                  },
491                                  { name => 'weight',             description => $::locale->text('Weight')                                               },
492                                 );
493
494   foreach my $language (@{ $self->all_languages }) {
495     $self->add_displayable_columns({ name        => 'description_' . $language->article_code,
496                                      description => $::locale->text('Description (translation for #1)', $language->description) },
497                                    { name        => 'notes_' . $language->article_code,
498                                      description => $::locale->text('Notes (translation for #1)', $language->description) });
499   }
500
501   my $idx = 0;
502   foreach my $pricegroup (@{ $self->all_pricegroups }) {
503     $idx++;
504     $self->add_displayable_columns({ name        => 'pricegroup_' . $idx,
505                                      description => $::locale->text("Sellprice for price group '#1'", $pricegroup->pricegroup) });
506   }
507 }
508
509 1;