SL/Controller/CsvImport/Part.pm

   1 package SL::Controller::CsvImport::Part;
   2
   3 use strict;
   4
   5 use SL::Helper::Csv;
   6
   7 use SL::DBUtils;
   8 use SL::DB::Buchungsgruppe;
   9 use SL::DB::CustomVariable;
  10 use SL::DB::CustomVariableConfig;
  11 use SL::DB::PartsGroup;
  12 use SL::DB::PaymentTerm;
  13 use SL::DB::PriceFactor;
  14 use SL::DB::Pricegroup;
  15 use SL::DB::Price;
  16 use SL::DB::Translation;
  17 use SL::DB::Unit;
  18
  19 use List::MoreUtils qw(none);
  20
  21 use parent qw(SL::Controller::CsvImport::Base);
  22
  23 use Rose::Object::MakeMethods::Generic
  24 (
  25  scalar                  => [ qw(table makemodel_columns) ],
  26  'scalar --get_set_init' => [ qw(bg_by settings parts_by price_factors_by units_by partsgroups_by
  27                                  translation_columns all_pricegroups) ],
  28 );
  29
  30 sub set_profile_defaults {
  31   my ($self) = @_;
  32
  33   my $bugru = SL::DB::Manager::Buchungsgruppe->find_by(description => { like => 'Standard%19%' });
  34
  35   $self->controller->profile->_set_defaults(
  36                        sellprice_places          => 2,
  37                        sellprice_adjustment      => 0,
  38                        sellprice_adjustment_type => 'percent',
  39                        article_number_policy     => 'update_prices',
  40                        shoparticle_if_missing    => '0',
  41                        parts_type                => 'part',
  42                        default_buchungsgruppe    => ($bugru ? $bugru->id : undef),
  43                        apply_buchungsgruppe      => 'all',
  44                       );
  45 };
  46
  47
  48 sub init_class {
  49   my ($self) = @_;
  50   $self->class('SL::DB::Part');
  51 }
  52
  53 sub init_bg_by {
  54   my ($self) = @_;
  55
  56   my $all_bg = SL::DB::Manager::Buchungsgruppe->get_all;
  57   return { map { my $col = $_; ( $col => { map { ( $_->$col => $_ ) } @{ $all_bg } } ) } qw(id description) };
  58 }
  59
  60 sub init_price_factors_by {
  61   my ($self) = @_;
  62
  63   my $all_price_factors = SL::DB::Manager::PriceFactor->get_all;
  64   return { map { my $col = $_; ( $col => { map { ( $_->$col => $_ ) } @{ $all_price_factors } } ) } qw(id description) };
  65 }
  66
  67 sub init_partsgroups_by {
  68   my ($self) = @_;
  69
  70   my $all_partsgroups = SL::DB::Manager::PartsGroup->get_all;
  71   return { map { my $col = $_; ( $col => { map { ( $_->$col => $_ ) } @{ $all_partsgroups } } ) } qw(id partsgroup) };
  72 }
  73
  74 sub init_units_by {
  75   my ($self) = @_;
  76
  77   my $all_units = SL::DB::Manager::Unit->get_all;
  78   return { map { my $col = $_; ( $col => { map { ( $_->$col => $_ ) } @{ $all_units } } ) } qw(name) };
  79 }
  80
  81 sub init_parts_by {
  82   my ($self) = @_;
  83
  84 #  my $parts_by = { id         => { map { ( $_->id => $_ ) } grep { !$_->assembly } @{ $self->existing_objects } },
  85 #                   partnumber => { part    => { },
  86 #                                   service => { } } };
  87 #
  88 #  foreach my $part (@{ $self->existing_objects }) {
  89 #    next if $part->assembly;
  90 #    $parts_by->{partnumber}->{ $part->type }->{ $part->partnumber } = $part;
  91 #  }
  92
  93   my $parts_by = {};
  94   my $sth = prepare_execute_query($::form, SL::DB::Object->new->db->dbh, 'SELECT partnumber FROM parts');
  95   while (my ($partnumber) = $sth->fetchrow_array()) {
  96     $parts_by->{partnumber}{$partnumber} = 1;
  97   }
  98
  99   return $parts_by;
 100 }
 101
 102 sub init_all_pricegroups {
 103   my ($self) = @_;
 104
 105   return SL::DB::Manager::Pricegroup->get_all(sort => 'id');
 106 }
 107
 108 sub init_settings {
 109   my ($self) = @_;
 110
 111   return { map { ( $_ => $self->controller->profile->get($_) ) } qw(apply_buchungsgruppe default_buchungsgruppe article_number_policy
 112                                                                     sellprice_places sellprice_adjustment sellprice_adjustment_type
 113                                                                     shoparticle_if_missing parts_type default_unit) };
 114 }
 115
 116 sub init_all_cvar_configs {
 117   my ($self) = @_;
 118
 119   return SL::DB::Manager::CustomVariableConfig->get_all(where => [ module => 'IC' ]);
 120 }
 121
 122 sub init_translation_columns {
 123   my ($self) = @_;
 124
 125   return [ map { ("description_" . $_->article_code, "notes_" . $_->article_code) } (@{ $self->all_languages }) ];
 126 }
 127
 128 sub check_objects {
 129   my ($self) = @_;
 130
 131   return unless @{ $self->controller->data };
 132
 133   $self->controller->track_progress(phase => 'building data', progress => 0);
 134
 135   $self->makemodel_columns({});
 136
 137   my $i;
 138   my $num_data = scalar @{ $self->controller->data };
 139   foreach my $entry (@{ $self->controller->data }) {
 140     $self->controller->track_progress(progress => $i/$num_data * 100) if $i % 100 == 0;
 141
 142     $self->check_buchungsgruppe($entry);
 143     $self->check_type($entry);
 144     $self->check_unit($entry);
 145     $self->check_price_factor($entry);
 146     $self->check_payment($entry);
 147     $self->check_partsgroup($entry);
 148     $self->handle_pricegroups($entry);
 149     $self->check_existing($entry) unless @{ $entry->{errors} };
 150     $self->handle_prices($entry) if $self->settings->{sellprice_adjustment};
 151     $self->handle_shoparticle($entry);
 152     $self->handle_translations($entry);
 153     $self->handle_cvars($entry);
 154     $self->handle_makemodel($entry);
 155     $self->set_various_fields($entry);
 156   } continue {
 157     $i++;
 158   }
 159
 160   $self->add_columns(qw(type)) if $self->settings->{parts_type} eq 'mixed';
 161   $self->add_columns(qw(buchungsgruppen_id unit));
 162   $self->add_columns(map { "${_}_id" } grep { exists $self->controller->data->[0]->{raw_data}->{$_} } qw (price_factor payment partsgroup));
 163   $self->add_columns(qw(shop)) if $self->settings->{shoparticle_if_missing};
 164   $self->add_cvar_raw_data_columns;
 165   map { $self->add_raw_data_columns("pricegroup_${_}") if exists $self->controller->data->[0]->{raw_data}->{"pricegroup_$_"} } (1..scalar(@{ $self->all_pricegroups }));
 166   map { $self->add_raw_data_columns($_) if exists $self->controller->data->[0]->{raw_data}->{$_} } @{ $self->translation_columns };
 167   map { $self->add_raw_data_columns("make_${_}", "model_${_}", "lastcost_${_}") } sort { $a <=> $b } keys %{ $self->makemodel_columns };
 168 }
 169
 170 sub get_duplicate_check_fields {
 171   return {
 172     partnumber => {
 173       label     => $::locale->text('Part Number'),
 174       default   => 0
 175     },
 176
 177     description => {
 178       label     => $::locale->text('Description'),
 179       default   => 1,
 180       maker     => sub {
 181         my $desc = shift->description;
 182         $desc =~ s/[\s,\.\-]//g;
 183         return $desc;
 184       }
 185     },
 186   };
 187 }
 188
 189 sub check_buchungsgruppe {
 190   my ($self, $entry) = @_;
 191
 192   my $object = $entry->{object};
 193
 194   # Check Buchungsgruppe
 195
 196   # Store and verify default ID.
 197   my $default_id = $self->settings->{default_buchungsgruppe};
 198   $default_id    = undef unless $self->bg_by->{id}->{ $default_id };
 199
 200   # 1. Use default ID if enforced.
 201   $object->buchungsgruppen_id($default_id) if $default_id && ($self->settings->{apply_buchungsgruppe} eq 'all');
 202
 203   # 2. Use supplied ID if valid
 204   $object->buchungsgruppen_id(undef) if $object->buchungsgruppen_id && !$self->bg_by->{id}->{ $object->buchungsgruppen_id };
 205
 206   # 3. Look up name if supplied.
 207   if (!$object->buchungsgruppen_id) {
 208     my $bg = $self->bg_by->{description}->{ $entry->{raw_data}->{buchungsgruppe} };
 209     $object->buchungsgruppen_id($bg->id) if $bg;
 210   }
 211
 212   # 4. Use default ID if not valid.
 213   $object->buchungsgruppen_id($default_id) if !$object->buchungsgruppen_id && $default_id && ($self->settings->{apply_buchungsgruppe} eq 'missing');
 214
 215   return 1 if $object->buchungsgruppen_id;
 216
 217   push @{ $entry->{errors} }, $::locale->text('Error: booking group missing or invalid');
 218   return 0;
 219 }
 220
 221 sub check_existing {
 222   my ($self, $entry) = @_;
 223
 224   my $object = $entry->{object};
 225
 226   if ($object->partnumber && $self->parts_by->{partnumber}{$object->partnumber}) {
 227     $entry->{part} = SL::DB::Manager::Part->find_by(partnumber => $object->partnumber);
 228   }
 229
 230   if ($entry->{part}) {
 231     if ($self->settings->{article_number_policy} eq 'update_prices') {
 232       if ($self->settings->{parts_type} eq 'mixed' && $entry->{part}->type ne $object->type) {
 233         push(@{$entry->{errors}}, $::locale->text('Skipping due to existing entry in database with different type'));
 234       } else {
 235         map { $entry->{part}->$_( $object->$_ ) if defined $object->$_ } qw(sellprice listprice lastcost);
 236
 237         # merge prices
 238         my %prices_by_pricegroup_id = map { $_->pricegroup->id => $_ } $entry->{part}->prices, $object->prices;
 239         $entry->{part}->prices(grep { $_ } map { $prices_by_pricegroup_id{$_->id} } @{ $self->all_pricegroups });
 240
 241         push @{ $entry->{information} }, $::locale->text('Updating prices of existing entry in database');
 242         $entry->{object_to_save} = $entry->{part};
 243       }
 244     } elsif ( $self->settings->{article_number_policy} eq 'skip' ) {
 245       push(@{$entry->{errors}}, $::locale->text('Skipping due to existing entry in database'));
 246
 247     } else {
 248       $object->partnumber('####');
 249       push(@{$entry->{errors}}, $::locale->text('Skipping, for assemblies are not importable (yet)')) if $object->type eq 'assembly';
 250     }
 251   } else {
 252     push(@{$entry->{errors}}, $::locale->text('Skipping, for assemblies are not importable (yet)')) if $object->type eq 'assembly';
 253   }
 254 }
 255
 256 sub handle_prices {
 257   my ($self, $entry) = @_;
 258
 259   foreach my $column (qw(sellprice)) {
 260     my $object     = $entry->{object_to_save} || $entry->{object};
 261     my $adjustment = $self->settings->{sellprice_adjustment};
 262     my $value      = $object->$column;
 263
 264     $value = $self->settings->{sellprice_adjustment_type} eq 'percent' ? $value * (100 + $adjustment) / 100 : $value + $adjustment;
 265     $object->$column($::form->round_amount($value, $self->settings->{sellprice_places}));
 266   }
 267 }
 268
 269 sub handle_shoparticle {
 270   my ($self, $entry) = @_;
 271
 272   $entry->{object}->shop(1) if $self->settings->{shoparticle_if_missing} && !$self->controller->headers->{used}->{shop};
 273 }
 274
 275 sub check_type {
 276   my ($self, $entry) = @_;
 277
 278   my $bg = $self->bg_by->{id}->{ $entry->{object}->buchungsgruppen_id };
 279   $bg  ||= SL::DB::Buchungsgruppe->new(inventory_accno_id => 1); # does this case ever occur?
 280
 281   my $type = $self->settings->{parts_type};
 282   if ($type eq 'mixed') {
 283     $type = $entry->{raw_data}->{type} =~ m/^p/i ? 'part'
 284           : $entry->{raw_data}->{type} =~ m/^s/i ? 'service'
 285           : $entry->{raw_data}->{type} =~ m/^a/i ? 'assembly'
 286           :                                        undef;
 287   }
 288
 289   $entry->{object}->assembly($type eq 'assembly');
 290
 291   # when saving income_accno_id or expense_accno_id use ids from the selected
 292   # $bg according to the default tax_zone (the one with the highest sort
 293   # order).  Alternatively one could use the ids from defaults, but they might
 294   # not all be set.
 295
 296   $entry->{object}->income_accno_id( $bg->income_accno_id( SL::DB::Manager::TaxZone->get_default->id ) );
 297
 298   if ($type eq 'part' || $type eq 'service') {
 299     $entry->{object}->expense_accno_id( $bg->expense_accno_id( SL::DB::Manager::TaxZone->get_default->id ) );
 300   }
 301
 302   if ($type eq 'part') {
 303     $entry->{object}->inventory_accno_id( $bg->inventory_accno_id );
 304   }
 305
 306   if (none { $_ eq $type } qw(part service assembly)) {
 307     push @{ $entry->{errors} }, $::locale->text('Error: Invalid part type');
 308     return 0;
 309   }
 310
 311   return 1;
 312 }
 313
 314 sub check_price_factor {
 315   my ($self, $entry) = @_;
 316
 317   my $object = $entry->{object};
 318
 319   # Check whether or not price factor ID is valid.
 320   if ($object->price_factor_id && !$self->price_factors_by->{id}->{ $object->price_factor_id }) {
 321     push @{ $entry->{errors} }, $::locale->text('Error: Invalid price factor');
 322     return 0;
 323   }
 324
 325   # Map name to ID if given.
 326   if (!$object->price_factor_id && $entry->{raw_data}->{price_factor}) {
 327     my $pf = $self->price_factors_by->{description}->{ $entry->{raw_data}->{price_factor} };
 328
 329     if (!$pf) {
 330       push @{ $entry->{errors} }, $::locale->text('Error: Invalid price factor');
 331       return 0;
 332     }
 333
 334     $object->price_factor_id($pf->id);
 335   }
 336
 337   return 1;
 338 }
 339
 340 sub check_partsgroup {
 341   my ($self, $entry) = @_;
 342
 343   my $object = $entry->{object};
 344
 345   # Check whether or not part group ID is valid.
 346   if ($object->partsgroup_id && !$self->partsgroups_by->{id}->{ $object->partsgroup_id }) {
 347     push @{ $entry->{errors} }, $::locale->text('Error: Invalid parts group');
 348     return 0;
 349   }
 350
 351   # Map name to ID if given.
 352   if (!$object->partsgroup_id && $entry->{raw_data}->{partsgroup}) {
 353     my $pg = $self->partsgroups_by->{partsgroup}->{ $entry->{raw_data}->{partsgroup} };
 354
 355     if (!$pg) {
 356       push @{ $entry->{errors} }, $::locale->text('Error: Invalid parts group');
 357       return 0;
 358     }
 359
 360     $object->partsgroup_id($pg->id);
 361   }
 362
 363   return 1;
 364 }
 365
 366 sub check_unit {
 367   my ($self, $entry) = @_;
 368
 369   my $object = $entry->{object};
 370
 371   $object->unit($self->settings->{default_unit}) unless $object->unit;
 372
 373   # Check whether or unit is valid.
 374   if (!$self->units_by->{name}->{ $object->unit }) {
 375     push @{ $entry->{errors} }, $::locale->text('Error: Unit missing or invalid');
 376     return 0;
 377   }
 378
 379   return 1;
 380 }
 381
 382 sub handle_translations {
 383   my ($self, $entry) = @_;
 384
 385   my @translations;
 386   foreach my $language (@{ $self->all_languages }) {
 387     my ($desc, $notes) = @{ $entry->{raw_data} }{ "description_" . $language->article_code, "notes_" . $language->article_code };
 388     next unless $desc || $notes;
 389
 390     push @translations, SL::DB::Translation->new(language_id     => $language->id,
 391                                                  translation     => $desc,
 392                                                  longdescription => $notes);
 393   }
 394
 395   $entry->{object}->translations(\@translations);
 396 }
 397
 398 sub handle_pricegroups {
 399   my ($self, $entry) = @_;
 400
 401   my @prices;
 402   my $idx = 0;
 403   foreach my $pricegroup (@{ $self->all_pricegroups }) {
 404     $idx++;
 405     my $sellprice = $entry->{raw_data}->{"pricegroup_${idx}"};
 406     next if $sellprice eq '';
 407
 408     push @prices, SL::DB::Price->new(pricegroup_id => $pricegroup->id,
 409                                      price         => $::form->parse_amount(\%::myconfig, $sellprice));
 410   }
 411
 412   $entry->{object}->prices(\@prices);
 413 }
 414
 415 sub handle_makemodel {
 416   my ($self, $entry) = @_;
 417   my $object = $entry->{object};
 418   my $found_any;
 419
 420   my @makemodels;
 421   foreach my $idx (sort map { substr $_, 5 } grep { m/^make_\d+$/ && $entry->{raw_data}->{$_} } keys %{ $entry->{raw_data} }) {
 422     my $vendor = $entry->{raw_data}->{"make_${idx}"};
 423     $vendor    = $self->vc_by->{id}->               { $vendor }
 424               || $self->vc_by->{number}->{vendors}->{ $vendor }
 425               || $self->vc_by->{name}->  {vendors}->{ $vendor };
 426
 427     if (ref($vendor) ne 'SL::DB::Vendor') {
 428       push @{ $entry->{errors} }, $::locale->text('Error: Invalid vendor in column make_#1', $idx);
 429
 430     } else {
 431       $found_any = 1;
 432       push @makemodels, SL::DB::MakeModel->new(make               => $vendor->id,
 433                                                model              => $entry->{raw_data}->{"model_${idx}"},
 434                                                lastcost_as_number => $entry->{raw_data}->{"lastcost_${idx}"});
 435
 436       $self->makemodel_columns->{$idx}    = 1;
 437       $entry->{raw_data}->{"make_${idx}"} = $vendor->name;
 438     }
 439   }
 440
 441   $object->makemodels(\@makemodels);
 442   $object->makemodel(scalar(@makemodels) ? 1 : 0);
 443
 444   if ( !$entry->{part} || $self->settings->{article_number_policy} ne 'update_prices' ) {
 445     return;
 446   }
 447
 448   my %old_makemodels_by_mm = map { $_->make . $; . $_->model => $_ } $entry->{part}->makemodels;
 449   my @new_makemodels;
 450
 451   foreach my $makemodel ($object->makemodels()) {
 452     my $makemodel_orig = $old_makemodels_by_mm{$makemodel->make,$makemodel->model};
 453     $found_any = 1;
 454
 455     if ($makemodel_orig) {
 456       $makemodel_orig->model($makemodel->model);
 457       $makemodel_orig->lastcost($makemodel->lastcost);
 458
 459     } else {
 460       push @new_makemodels, $makemodel;
 461     }
 462   }
 463
 464   $entry->{part}->makemodels([ $entry->{part}->makemodels, @new_makemodels ]) if @new_makemodels;
 465
 466   # reindex makemodels
 467   my $i = 0;
 468   $_->sortorder(++$i) for @{ $entry->{part}->makemodels };
 469
 470   $self->save_with_cascade(1) if $found_any;
 471 }
 472
 473 sub set_various_fields {
 474   my ($self, $entry) = @_;
 475
 476   $entry->{object}->priceupdate(DateTime->now_local);
 477 }
 478
 479 sub init_profile {
 480   my ($self) = @_;
 481
 482   my $profile = $self->SUPER::init_profile;
 483   delete @{$profile}{qw(assembly bom expense_accno_id income_accno_id inventory_accno_id makemodel priceupdate stockable type)};
 484
 485   $profile->{"pricegroup_$_"} = '' for 1 .. scalar @{ $_[0]->all_pricegroups };
 486
 487   return $profile;
 488 }
 489
 490 sub save_objects {
 491   my ($self, %params) = @_;
 492
 493   my $with_number    = [ grep { $_->{object}->partnumber ne '####' } @{ $self->controller->data } ];
 494   my $without_number = [ grep { $_->{object}->partnumber eq '####' } @{ $self->controller->data } ];
 495
 496   map { $_->{object}->partnumber('') } @{ $without_number };
 497
 498   $self->SUPER::save_objects(data => $with_number);
 499   $self->SUPER::save_objects(data => $without_number);
 500 }
 501
 502 sub setup_displayable_columns {
 503   my ($self) = @_;
 504
 505   $self->SUPER::setup_displayable_columns;
 506   $self->add_cvar_columns_to_displayable_columns;
 507
 508   $self->add_displayable_columns({ name => 'bin',                description => $::locale->text('Bin')                                                  },
 509                                  { name => 'buchungsgruppen_id', description => $::locale->text('Booking group (database ID)')                          },
 510                                  { name => 'buchungsgruppe',     description => $::locale->text('Booking group (name)')                                 },
 511                                  { name => 'description',        description => $::locale->text('Description')                                          },
 512                                  { name => 'drawing',            description => $::locale->text('Drawing')                                              },
 513                                  { name => 'ean',                description => $::locale->text('EAN')                                                  },
 514                                  { name => 'formel',             description => $::locale->text('Formula')                                              },
 515                                  { name => 'gv',                 description => $::locale->text('Business Volume')                                      },
 516                                  { name => 'has_sernumber',      description => $::locale->text('Has serial number')                                    },
 517                                  { name => 'image',              description => $::locale->text('Image')                                                },
 518                                  { name => 'lastcost',           description => $::locale->text('Last Cost')                                            },
 519                                  { name => 'listprice',          description => $::locale->text('List Price')                                           },
 520                                  { name => 'make_X',             description => $::locale->text('Make (vendor\'s database ID, number or name; with X being a number)') . ' [1]' },
 521                                  { name => 'microfiche',         description => $::locale->text('Microfiche')                                           },
 522                                  { name => 'model_X',            description => $::locale->text('Model (with X being a number)') . ' [1]'               },
 523                                  { name => 'lastcost_X',         description => $::locale->text('Lastcost (with X being a number)') . ' [1]'            },
 524                                  { name => 'not_discountable',   description => $::locale->text('Not Discountable')                                     },
 525                                  { name => 'notes',              description => $::locale->text('Notes')                                                },
 526                                  { name => 'obsolete',           description => $::locale->text('Obsolete')                                             },
 527                                  { name => 'onhand',             description => $::locale->text('On Hand') . ' [2]'                                     },
 528                                  { name => 'partnumber',         description => $::locale->text('Part Number')                                          },
 529                                  { name => 'partsgroup_id',      description => $::locale->text('Partsgroup (database ID)')                             },
 530                                  { name => 'partsgroup',         description => $::locale->text('Partsgroup (name)')                                    },
 531                                  { name => 'payment_id',         description => $::locale->text('Payment terms (database ID)')                          },
 532                                  { name => 'payment',            description => $::locale->text('Payment terms (name)')                                 },
 533                                  { name => 'price_factor_id',    description => $::locale->text('Price factor (database ID)')                           },
 534                                  { name => 'price_factor',       description => $::locale->text('Price factor (name)')                                  },
 535                                  { name => 'rop',                description => $::locale->text('ROP')                                                  },
 536                                  { name => 'sellprice',          description => $::locale->text('Sellprice')                                            },
 537                                  { name => 'shop',               description => $::locale->text('Shop article')                                         },
 538                                  { name => 'type',               description => $::locale->text('Article type')  . ' [3]'                             },
 539                                  { name => 'unit',               description => $::locale->text('Unit (if missing or empty default unit will be used)') },
 540                                  { name => 've',                 description => $::locale->text('Verrechnungseinheit')                                  },
 541                                  { name => 'weight',             description => $::locale->text('Weight')                                               },
 542                                 );
 543
 544   foreach my $language (@{ $self->all_languages }) {
 545     $self->add_displayable_columns({ name        => 'description_' . $language->article_code,
 546                                      description => $::locale->text('Description (translation for #1)', $language->description) },
 547                                    { name        => 'notes_' . $language->article_code,
 548                                      description => $::locale->text('Notes (translation for #1)', $language->description) });
 549   }
 550
 551   my $idx = 0;
 552   foreach my $pricegroup (@{ $self->all_pricegroups }) {
 553     $idx++;
 554     $self->add_displayable_columns({ name        => 'pricegroup_' . $idx,
 555                                      description => $::locale->text("Sellprice for price group '#1'", $pricegroup->pricegroup) });
 556   }
 557 }
 558
 559 1;