SL/Helper/Csv.pm

   1 package SL::Helper::Csv;
   2
   3 use strict;
   4 use warnings;
   5
   6 use version 0.77;
   7 use Carp;
   8 use IO::File;
   9 use Params::Validate qw(:all);
  10 use List::MoreUtils qw(all pairwise firstidx);
  11 use Text::CSV_XS;
  12 use Rose::Object::MakeMethods::Generic scalar => [ qw(
  13   file encoding sep_char quote_char escape_char header profile
  14   numberformat dateformat ignore_unknown_columns strict_profile is_multiplexed
  15   _row_header _io _csv _objects _parsed _data _errors all_cvar_configs case_insensitive_header
  16   _multiplex_datatype_position
  17 ) ];
  18
  19 use SL::Helper::Csv::Dispatcher;
  20 use SL::Helper::Csv::Error;
  21
  22 # public interface
  23
  24 sub new {
  25   my $class  = shift;
  26   my %params = validate(@_, {
  27     sep_char               => { default => ';' },
  28     quote_char             => { default => '"' },
  29     escape_char            => { default => '"' },
  30     header                 => { type    => ARRAYREF, optional => 1 },
  31     profile                => { type    => ARRAYREF, optional => 1 },
  32     file                   => 1,
  33     encoding               => 0,
  34     numberformat           => 0,
  35     dateformat             => 0,
  36     ignore_unknown_columns => 0,
  37     strict_profile         => 0,
  38     case_insensitive_header => 0,
  39   });
  40   my $self = bless {}, $class;
  41
  42   $self->$_($params{$_}) for keys %params;
  43
  44   $self->_io(IO::File->new);
  45   $self->_csv(Text::CSV_XS->new({
  46     binary => 1,
  47     sep_char    => $self->sep_char,
  48     quote_char  => $self->quote_char,
  49     escape_char => $self->escape_char,
  50
  51   }));
  52   $self->_errors([]);
  53
  54   return $self;
  55 }
  56
  57 sub parse {
  58   my ($self, %params) = @_;
  59
  60   $self->_open_file;
  61   return if ! $self->_check_multiplexed;
  62   return if ! $self->_check_header;
  63   return if ! $self->_check_multiplex_datatype_position;
  64   return if ! $self->dispatcher->parse_profile;
  65   return if ! $self->_parse_data;
  66
  67   $self->_parsed(1);
  68   return $self;
  69 }
  70
  71 sub get_data {
  72   $_[0]->_data;
  73 }
  74
  75 sub get_objects {
  76   my ($self, %params) = @_;
  77   croak 'must parse first' unless $self->_parsed;
  78
  79   $self->_make_objects unless $self->_objects;
  80   return $self->_objects;
  81 }
  82
  83 sub errors {
  84   @{ $_[0]->_errors }
  85 }
  86
  87 sub check_header {
  88   $_[0]->_check_header;
  89 }
  90
  91 # private stuff
  92
  93 sub _open_file {
  94   my ($self, %params) = @_;
  95
  96   $self->encoding($self->_guess_encoding) if !$self->encoding;
  97
  98   $self->_io->open($self->file, '<' . $self->_encode_layer)
  99     or die "could not open file " . $self->file;
 100
 101   return $self->_io;
 102 }
 103
 104 # check, if data is multiplexed and if all nessesary infos are given
 105 sub _check_multiplexed {
 106   my ($self, %params) = @_;
 107
 108   $self->is_multiplexed(0);
 109
 110   # If more than one profile is given, it is multiplexed.
 111   if ($self->profile) {
 112     my @profile = @{ $self->profile };
 113     if (scalar @profile > 1) {
 114       # Each profile needs a class and a row_ident
 115       my $info_ok = all { defined $_->{class} && defined $_->{row_ident} } @profile;
 116       $self->_push_error([
 117         0,
 118         "missing class or row_ident in one of the profiles for multiplexed data",
 119         0,
 120         0]) unless $info_ok;
 121
 122       # If header is given, there needs to be a header for each profile
 123       # and no empty headers.
 124       if ($info_ok && $self->header) {
 125         my @header = @{ $self->header };
 126         my $t_ok = scalar @profile == scalar @header;
 127         $self->_push_error([
 128           0,
 129           "number of headers and number of profiles must be the same for multiplexed data",
 130           0,
 131           0]) unless $t_ok;
 132         $info_ok = $info_ok && $t_ok;
 133
 134         $t_ok = all { scalar @$_ > 0} @header;
 135         $self->_push_error([
 136           0,
 137           "no empty headers are allowed for multiplexed data",
 138           0,
 139           0]) unless $t_ok;
 140         $info_ok = $info_ok && $t_ok;
 141       }
 142       $self->is_multiplexed($info_ok);
 143       return $info_ok;
 144     }
 145   }
 146
 147   # ok, if not multiplexed
 148   return 1;
 149 }
 150
 151 sub _check_header {
 152   my ($self, %params) = @_;
 153   my $header;
 154
 155   $header = $self->header;
 156   if (!$header) {
 157     my $n_header = ($self->is_multiplexed)? scalar @{ $self->profile } : 1;
 158     foreach my $p_num (0..$n_header - 1) {
 159       my $h = $self->_csv->getline($self->_io);
 160
 161       my ($code, $string, $position, $record, $field) = $self->_csv->error_diag;
 162
 163       $self->_push_error([
 164         $self->_csv->error_input,
 165         $code, $string, $position, $record // 0,
 166       ]) unless $h;
 167
 168       if ($self->is_multiplexed) {
 169         push @{ $header }, $h;
 170       } else {
 171         $header = $h;
 172       }
 173     }
 174   }
 175
 176   # Special case: utf8 BOM.
 177   # certain software (namely MS Office and notepad.exe insist on prefixing
 178   # data with a discouraged but valid byte order mark
 179   # if not removed, the first header field will not be recognized
 180   if ($header) {
 181     my $h = ($self->is_multiplexed)? $header->[0] : $header;
 182
 183     if ($h && $h->[0] && $self->encoding =~ /utf-?8/i) {
 184       $h->[0] =~ s/^\x{FEFF}//;
 185     }
 186   }
 187
 188   # check, if all header fields are parsed well
 189   if ($self->is_multiplexed) {
 190     return unless $header && all { $_ } @$header;
 191   } else {
 192     return unless $header;
 193   }
 194
 195   # Special case: human stupidity
 196   # people insist that case sensitivity doesn't exist and try to enter all
 197   # sorts of stuff. at this point we've got a profile (with keys that represent
 198   # valid methods), and a header full of strings. if two of them match, the user
 199   # most likely meant that field, so rewrite the header
 200   if ($self->case_insensitive_header) {
 201     die 'case_insensitive_header is only possible with profile' unless $self->profile;
 202     if ($header) {
 203       my $h_aref = ($self->is_multiplexed)? $header : [ $header ];
 204       my $p_num  = 0;
 205       foreach my $h (@{ $h_aref }) {
 206         my %names = (
 207           (map { $_ => $_                                     } keys %{ $self->profile->[$p_num]->{profile} || {} }),
 208           (map { $_ => $self->profile->[$p_num]{mapping}{$_}  } keys %{ $self->profile->[$p_num]->{mapping} || {} }),
 209         );
 210         for my $name (keys %names) {
 211           for my $i (0..$#$h) {
 212             $h->[$i] = $names{$name} if lc $h->[$i] eq lc $name;
 213           }
 214         }
 215         $p_num++;
 216       }
 217     }
 218   }
 219
 220   return $self->header($header);
 221 }
 222
 223 sub _check_multiplex_datatype_position {
 224   my ($self) = @_;
 225
 226   return 1 if !$self->is_multiplexed; # ok if not multiplexed
 227
 228   my @positions = map { firstidx { 'datatype' eq lc($_) } @{ $_ } } @{ $self->header };
 229   my $first_pos = $positions[0];
 230   if (all { $first_pos == $_ } @positions) {
 231     $self->_multiplex_datatype_position($first_pos);
 232     return 1;
 233   } else {
 234     $self->_push_error([0,
 235                         "datatype field must be at the same position for all datatypes for multiplexed data",
 236                         0,
 237                         0]);
 238     return 0;
 239   }
 240 }
 241
 242 sub _parse_data {
 243   my ($self, %params) = @_;
 244   my (@data, @errors);
 245
 246   while (1) {
 247     my $row = $self->_csv->getline($self->_io);
 248     if ($row) {
 249       my $header = $self->_header_by_row($row);
 250       if (!$header) {
 251         push @errors, [
 252           0,
 253           "Cannot get header for row. Maybe row name and datatype field not matching.",
 254           0,
 255           0];
 256         last;
 257       }
 258       my %hr;
 259       @hr{@{ $header }} = @$row;
 260       push @data, \%hr;
 261     } else {
 262       last if $self->_csv->eof;
 263
 264       # Text::CSV_XS 0.89 added record number to error_diag
 265       my ($code, $string, $position, $record, $field) = $self->_csv->error_diag;
 266
 267       push @errors, [
 268         $self->_csv->error_input,
 269         $code, $string, $position,
 270         $record // $self->_io->input_line_number,
 271       ];
 272     }
 273     last if $self->_csv->eof;
 274   }
 275
 276   $self->_data(\@data);
 277   $self->_push_error(@errors);
 278
 279   return ! @errors;
 280 }
 281
 282 sub _header_by_row {
 283   my ($self, $row) = @_;
 284
 285   # initialize lookup hash if not already done
 286   if ($self->is_multiplexed && ! defined $self->_row_header ) {
 287     $self->_row_header({ pairwise { no warnings 'once'; $a->{row_ident} => $b } @{ $self->profile }, @{ $self->header } });
 288   }
 289
 290   if ($self->is_multiplexed) {
 291     return $self->_row_header->{$row->[$self->_multiplex_datatype_position]}
 292   } else {
 293     return $self->header;
 294   }
 295 }
 296
 297 sub _encode_layer {
 298   ':encoding(' . $_[0]->encoding . ')';
 299 }
 300
 301 sub _make_objects {
 302   my ($self, %params) = @_;
 303   my @objs;
 304
 305   local $::myconfig{numberformat} = $self->numberformat if $self->numberformat;
 306   local $::myconfig{dateformat}   = $self->dateformat   if $self->dateformat;
 307
 308   for my $line (@{ $self->_data }) {
 309     my $tmp_obj = $self->dispatcher->dispatch($line);
 310     push @objs, $tmp_obj;
 311   }
 312
 313   $self->_objects(\@objs);
 314 }
 315
 316 sub dispatcher {
 317   my ($self, %params) = @_;
 318
 319   $self->{_dispatcher} ||= $self->_make_dispatcher;
 320 }
 321
 322 sub _make_dispatcher {
 323   my ($self, %params) = @_;
 324
 325   die 'need a header to make a dispatcher' unless $self->header;
 326
 327   return SL::Helper::Csv::Dispatcher->new($self);
 328 }
 329
 330 sub _guess_encoding {
 331   # won't fix
 332   'utf-8';
 333 }
 334
 335 sub _push_error {
 336   my ($self, @errors) = @_;
 337   my @new_errors = ($self->errors, map { SL::Helper::Csv::Error->new(@$_) } @errors);
 338   $self->_errors(\@new_errors);
 339 }
 340
 341 sub specs {
 342   $_[0]->dispatcher->_specs
 343 }
 344
 345 1;
 346
 347 __END__
 348
 349 =encoding utf-8
 350
 351 =head1 NAME
 352
 353 SL::Helper::Csv - take care of csv file uploads
 354
 355 =head1 SYNOPSIS
 356
 357   use SL::Helper::Csv;
 358
 359   my $csv = SL::Helper::Csv->new(
 360     file        => \$::form->{upload_file},
 361     encoding    => 'utf-8', # undef means utf8
 362     sep_char    => ',',     # default ';'
 363     quote_char  => '\'',    # default '"'
 364     escape_char => '"',     # default '"'
 365     header      => [ qw(id text sellprice word) ], # see later
 366     profile     => [ { profile => { sellprice => 'sellprice_as_number'},
 367                        class   => 'SL::DB::Part' } ],
 368   );
 369
 370   my $status  = $csv->parse;
 371   my $hrefs   = $csv->get_data;
 372   my $objects = $csv->get_objects;
 373
 374   my @errors  = $csv->errors;
 375
 376 =head1 DESCRIPTION
 377
 378 See Synopsis.
 379
 380 Text::CSV already offers good functions to get lines out of a csv file, but in
 381 most cases you will want those lines to be parsed into hashes or even objects,
 382 so this model just skips ahead and gives you objects.
 383
 384 Its basic assumptions are:
 385
 386 =over 4
 387
 388 =item You do know what you expect to be in that csv file.
 389
 390 This means first and foremost that you have knowledge about encoding, number and
 391 date format, csv parameters such as quoting and separation characters. You also
 392 know what content will be in that csv and what L<Rose::DB> is responsible for
 393 it. You provide valid header columns and their mapping to the objects.
 394
 395 =item You do NOT know if the csv provider yields to your expectations.
 396
 397 Stuff that does not work with what you expect should not crash anything, but
 398 give you a hint what went wrong. As a result, if you remember to check for
 399 errors after each step, you should be fine.
 400
 401 =item Data does not make sense. It's just data.
 402
 403 Almost all data imports have some type of constraints. Some data needs to be
 404 unique, other data needs to be connected to existing data sets. This will not
 405 happen here. You will receive a plain mapping of the data into the class tree,
 406 nothing more.
 407
 408 =item Multiplex data
 409
 410 This module can handle multiplexed data of different class types. In that case
 411 multiple profiles with classes and row identifiers must be given. Multiple
 412 headers may also be given or read from csv data. Data must contain the row
 413 identifier in the column named 'datatype'.
 414
 415 =back
 416
 417 =head1 METHODS
 418
 419 =over 4
 420
 421 =item C<new> PARAMS
 422
 423 Standard constructor. You can use this to set most of the data.
 424
 425 =item C<parse>
 426
 427 Do the actual work. Will return true ($self actually) if success, undef if not.
 428
 429 =item C<get_objects>
 430
 431 Parse the data into objects and return those.
 432
 433 This method will return an arrayref of all objects.
 434
 435 =item C<get_data>
 436
 437 Returns an arrayref of the raw lines as hashrefs.
 438
 439 =item C<errors>
 440
 441 Return all errors that came up during parsing. See error handling for detailed
 442 information.
 443
 444 =back
 445
 446 =head1 PARAMS
 447
 448 =over 4
 449
 450 =item C<file>
 451
 452 The file which contents are to be read. Can be a name of a physical file or a
 453 scalar ref for memory data.
 454
 455 =item C<encoding>
 456
 457 Encoding of the CSV file. Note that this module does not do any encoding
 458 guessing. Know what your data is. Defaults to utf-8.
 459
 460 =item C<sep_char>
 461
 462 =item C<quote_char>
 463
 464 =item C<escape_char>
 465
 466 Same as in L<Text::CSV>
 467
 468 =item C<header> \@HEADERS
 469
 470 If given, it contains an ARRAY of the header fields for not multiplexed data.
 471 Or an ARRAYREF for each different class type for multiplexed data. These
 472 ARRAYREFS are the header fields which are an array of columns. In this case
 473 the first lines are not used as a header. Empty header fields will be ignored
 474 in objects.
 475
 476 If not given, headers are taken from the first n lines of data, where n is the
 477 number of different class types.
 478
 479 In case of multiplexed data there must be a column named 'datatype'. This
 480 column must be given in each header and must be at the same position in each
 481 header.
 482
 483 Examples:
 484
 485   classic data of one type:
 486   [ 'name', 'street', 'zipcode', 'city' ]
 487
 488   multiplexed data with two different types:
 489   [ [ 'datatype', 'ordernumber', 'customer', 'transdate' ],
 490     [ 'datatype', 'partnumber', 'qty', 'sellprice' ] ]
 491
 492 =item C<profile> PROFILE_DATA
 493
 494 The profile mapping csv to the objects.
 495
 496 See section L</PROFILE> for information on this topic.
 497
 498 =item C<ignore_unknown_columns>
 499
 500 If set, the import will ignore unkown header columns. Useful for lazy imports,
 501 but deactivated by default.
 502
 503 =item C<case_insensitive_header>
 504
 505 If set, header columns will be matched against profile entries case
 506 insensitive, and on match the profile name will be taken.
 507
 508 Only works if a profile is given, will die otherwise.
 509
 510 If both C<case_insensitive_header> and C<strict_profile> is set, matched header
 511 columns will be accepted.
 512
 513 =item C<strict_profile>
 514
 515 If set, all columns to be parsed must be specified in C<profile>. Every header
 516 field not listed there will be treated like an unknown column.
 517
 518 If both C<case_insensitive_header> and C<strict_profile> is set, matched header
 519 columns will be accepted.
 520
 521 =back
 522
 523 =head1 PROFILE
 524
 525 The profile is needed for mapping csv data to the accessors in the data object.
 526
 527 The basic structure is:
 528
 529   PROFILE       := [ CLASS_PROFILE, CLASS_PROFILE* ]
 530   CLASS_PROFILE := {
 531                       profile   => { ACCESSORS+ },
 532                       class     => $classname,
 533                       row_ident => $row_ident,
 534                       mapping   => { MAPPINGS* },
 535                    }
 536   ACCESSORS     := $field => $accessor
 537   MAPPINGS      := $alias => $field
 538
 539 The C<ACCESSORS> may be used to map header fields to custom
 540 accessors. Example:
 541
 542   profile => {
 543     listprice => 'listprice_as_number',
 544   }
 545
 546 In this case C<listprice_as_number> will be used to store the values from the
 547 C<listprice> column.
 548
 549 In case of a One-To-One relationship these can also be set over
 550 relationships by separating the steps with a dot (C<.>). This will work:
 551
 552   customer => 'customer.name',
 553
 554 And will result in something like this:
 555
 556   $obj->customer($obj->meta->relationship('customer')->class->new);
 557   $obj->customer->name($csv_line->{customer})
 558
 559 Beware, this will not try to look up anything in the database! You will
 560 simply receive objects that represent what the profile defined. If some of
 561 these information are unique, or should be connected to preexisting data, you
 562 will have to do that for yourself. Since you provided the profile, it is
 563 assumed you know what to do in this case.
 564
 565 If no profile is given, any header field found will be taken as is.
 566
 567 If the path in a profile entry is empty, the field will be subjected to
 568 C<strict_profile> and C<case_insensitive_header> checking and will be parsed
 569 into C<get_data>, but will not be attempted to be dispatched into objects.
 570
 571 C<class> must be present. A new instance will be created for each line before
 572 dispatching into it.
 573
 574 C<row_ident> is used to determine the correct profile in multiplexed data and
 575 must be given there. It's not used in non-multiplexed data.
 576
 577 If C<mappings> is present, it must contain a hashref that maps strings to known
 578 fields. This can be used to add custom profiles for known sources, that don't
 579 comply with the expected header identities.
 580
 581 Without strict profiles, mappings can also directly map header fields that
 582 should end up in the same accessor.
 583
 584 With case insensitive headings, mappings will also modify the headers, to fit
 585 the expected profile.
 586
 587 Mappings can be identical to known fields and will be prefered during lookup,
 588 but will not replace the field, meaning that:
 589
 590   profile => {
 591     name        => 'name',
 592     description => 'description',
 593   }
 594   mapping => {
 595     name        => 'description',
 596     shortname   => 'name',
 597   }
 598
 599 will work as expected, and shortname will not end up in description. This also
 600 works with the case insensitive option. Note however that the case insensitive
 601 option will not enable true unicode collating.
 602
 603
 604 Here's a full example:
 605
 606   [
 607     {
 608       class     => 'SL::DB::Order',
 609       row_ident => 'O'
 610     },
 611     {
 612       class     => 'SL::DB::OrderItem',
 613       row_ident => 'I',
 614       profile   => { sellprice => 'sellprice_as_number' },
 615       mapping   => { 'Verkaufspreis' => 'sellprice' }
 616     },
 617   ]
 618
 619 =head1 ERROR HANDLING
 620
 621 After parsing a file all errors will be accumulated into C<errors>.
 622 Each entry is an object with the following attributes:
 623
 624  raw_input:  offending raw input,
 625  code:   Text::CSV error code if Text:CSV signalled an error, 0 else,
 626  diag:   error diagnostics,
 627  line:   position in line,
 628  col:    estimated line in file,
 629
 630 Note that the last entry can be off, but will give an estimate.
 631
 632 Error handling is also known to break on new Perl versions and need to be
 633 adjusted from time to time due to changes in Text::CSV_XS.
 634
 635 =head1 CAVEATS
 636
 637 =over 4
 638
 639 =item *
 640
 641 sep_char, quote_char, and escape_char are passed to Text::CSV on creation.
 642 Changing them later has no effect currently.
 643
 644 =item *
 645
 646 Encoding errors are not dealt with properly.
 647
 648 =back
 649
 650 =head1 TODO
 651
 652 Dispatch to child objects, like this:
 653
 654  $csv = SL::Helper::Csv->new(
 655    file    => ...
 656    profile => [ {
 657      profile => [
 658        makemodel => {
 659          make_1  => make,
 660          model_1 => model,
 661        },
 662        makemodel => {
 663          make_2  => make,
 664          model_2 => model,
 665        },
 666      ],
 667      class   => SL::DB::Part,
 668    } ]
 669  );
 670
 671 =head1 AUTHOR
 672
 673 Sven Schöling E<lt>s.schoeling@linet-services.deE<gt>
 674
 675 =cut