Anpassungen nach merge/rebase
[kivitendo-erp.git] / t / helper / csv.t
index 434626f..b978500 100644 (file)
@@ -1,14 +1,19 @@
-use Test::More tests => 39;
-use SL::Dispatcher;
-use Data::Dumper;
+use Test::More tests => 64;
+
+use lib 't';
 use utf8;
 
+use Data::Dumper;
+use Support::TestSetup;
+
 use_ok 'SL::Helper::Csv';
-my $csv;
 
-$csv = SL::Helper::Csv->new(
-  file   => \"Kaffee\n",
-  header => [ 'description' ],
+Support::TestSetup::login();
+
+my $csv = SL::Helper::Csv->new(
+  file    => \"Kaffee\n",       # " # make emacs happy
+  header  => [[ 'description' ]],
+  profile => [{ class  => 'SL::DB::Part', }],
 );
 
 isa_ok $csv->_csv, 'Text::CSV_XS';
@@ -16,23 +21,17 @@ isa_ok $csv->_io, 'IO::File';
 isa_ok $csv->parse, 'SL::Helper::Csv', 'parsing returns self';
 is_deeply $csv->get_data, [ { description => 'Kaffee' } ], 'simple case works';
 
-$csv->class('SL::DB::Part');
-
 is $csv->get_objects->[0]->description, 'Kaffee', 'get_object works';
 ####
 
-SL::Dispatcher::pre_startup_setup();
-
-$::form = Form->new;
 $::myconfig{numberformat} = '1.000,00';
 $::myconfig{dateformat} = 'dd.mm.yyyy';
-$::locale = Locale->new('de');
 
 $csv = SL::Helper::Csv->new(
-  file   => \"Kaffee;0.12;12,2;1,5234\n",
-  header => [ 'description', 'sellprice', 'lastcost_as_number', 'listprice' ],
-  dispatch => { listprice => 'listprice_as_number' },
-  class  => 'SL::DB::Part',
+  file    => \"Kaffee;0.12;12,2;1,5234\n",            # " # make emacs happy
+  header  => [[ 'description', 'sellprice', 'lastcost_as_number', 'listprice' ]],
+  profile => [{profile => { listprice => 'listprice_as_number' },
+               class   => 'SL::DB::Part',}],
 );
 $csv->parse;
 
@@ -50,8 +49,8 @@ Kaffee,0.12,'12,2','1,5234'
 EOL
   sep_char => ',',
   quote_char => "'",
-  dispatch => { listprice => 'listprice_as_number' },
-  class  => 'SL::DB::Part',
+  profile => [{profile => { listprice => 'listprice_as_number' },
+               class   => 'SL::DB::Part',}]
 );
 $csv->parse;
 is scalar @{ $csv->get_objects }, 1, 'auto header works';
@@ -65,7 +64,7 @@ $csv = SL::Helper::Csv->new(
 ;;description;sellprice;lastcost_as_number;
 #####;Puppy;Kaffee;0.12;12,2;1,5234
 EOL
-  class  => 'SL::DB::Part',
+  profile => [{class  => 'SL::DB::Part'}],
 );
 $csv->parse;
 is scalar @{ $csv->get_objects }, 1, 'bozo header doesn\'t blow things up';
@@ -78,7 +77,7 @@ description;partnumber;sellprice;lastcost_as_number;
 Kaffee;;0.12;12,2;1,5234
 Beer;1123245;0.12;12,2;1,5234
 EOL
-  class  => 'SL::DB::Part',
+  profile => [{class  => 'SL::DB::Part'}],
 );
 $csv->parse;
 is scalar @{ $csv->get_objects }, 2, 'multiple objects work';
@@ -94,7 +93,7 @@ Kaffee;;0.12;1,221.52
 Beer;1123245;0.12;1.5234
 EOL
   numberformat => '1,000.00',
-  class  => 'SL::DB::Part',
+  profile => [{class  => 'SL::DB::Part'}],
 );
 $csv->parse;
 is $csv->get_objects->[0]->lastcost, '1221.52', 'formatnumber';
@@ -107,8 +106,9 @@ $csv = SL::Helper::Csv->new(
 Kaffee;;0.12;1,221.52
 Beer;1123245;0.12;1.5234
 EOL
+# " # make emacs happy
   numberformat => '1,000.00',
-  class  => 'SL::DB::Part',
+  profile => [{class  => 'SL::DB::Part'}],
 );
 is $csv->parse, undef, 'broken csv header won\'t get parsed';
 
@@ -120,8 +120,9 @@ description;partnumber;sellprice;lastcost_as_number;
 "Kaf"fee";;0.12;1,221.52
 Beer;1123245;0.12;1.5234
 EOL
+# " # make emacs happy
   numberformat => '1,000.00',
-  class  => 'SL::DB::Part',
+  profile => [{class  => 'SL::DB::Part'}],
 );
 is $csv->parse, undef, 'broken csv content won\'t get parsed';
 is_deeply $csv->errors, [ '"Kaf"fee";;0.12;1,221.52'."\n", 2023, 'EIQ - QUO character not allowed', 5, 2 ], 'error';
@@ -137,7 +138,7 @@ Beer;1123245;0.12;1.5234;nein kein wieder
 EOL
   numberformat => '1,000.00',
   ignore_unknown_columns => 1,
-  class  => 'SL::DB::Part',
+  profile => [{class  => 'SL::DB::Part'}],
 );
 $csv->parse;
 is $csv->get_objects->[0]->lastcost, '1221.52', 'ignore_unkown_columns works';
@@ -151,10 +152,10 @@ Kaffee;;0.12;1,221.52;Standard 7%
 Beer;1123245;0.12;1.5234;16 %
 EOL
   numberformat => '1,000.00',
-  class  => 'SL::DB::Part',
-  profile => {
-    buchungsgruppe => "buchungsgruppen.description",
-  }
+  profile => [{
+    profile => {buchungsgruppe => "buchungsgruppen.description"},
+    class  => 'SL::DB::Part',
+  }]
 );
 $csv->parse;
 isa_ok $csv->get_objects->[0]->buchungsgruppe, 'SL::DB::Buchungsgruppe', 'deep dispatch auto vivify works';
@@ -170,11 +171,13 @@ description;partnumber;sellprice;lastcost_as_number;make_1;model_1;
 Beer;1123245;0.12;1.5234;
 EOL
   numberformat => '1,000.00',
-  class  => 'SL::DB::Part',
-  profile => {
-    make_1 => "makemodels.0.make",
-    model_1 => "makemodels.0.model",
-  }
+  profile => [{
+    profile => {
+      make_1 => "makemodels.0.make",
+      model_1 => "makemodels.0.model",
+    },
+    class  => 'SL::DB::Part',
+  }],
 );
 $csv->parse;
 my @mm = $csv->get_objects->[0]->makemodel;
@@ -190,19 +193,21 @@ description;partnumber;sellprice;lastcost_as_number;make_1;model_1;make_2;model_
  Kaffee;;0.12;1,221.52;213;Chair 0815;523;Table 15
 EOL
   numberformat => '1,000.00',
-  class  => 'SL::DB::Part',
-  profile => {
-    make_1 => "makemodels.0.make",
-    model_1 => "makemodels.0.model",
-    make_2 => "makemodels.1.make",
-    model_2 => "makemodels.1.model",
-  }
+  profile => [{
+    profile => {
+      make_1 => "makemodels.0.make",
+      model_1 => "makemodels.0.model",
+      make_2 => "makemodels.1.make",
+      model_2 => "makemodels.1.model",
+    },
+    class  => 'SL::DB::Part',
+  }]
 );
 $csv->parse;
 
 print Dumper($csv->errors);
 
-my @mm = $csv->get_objects->[0]->makemodel;
+@mm = $csv->get_objects->[0]->makemodel;
 is scalar @mm,  1, 'multiple one-to-many dispatch';
 is $csv->get_objects->[0]->makemodels->[0]->model, 'Chair 0815', '...check 1';
 is $csv->get_objects->[0]->makemodels->[0]->make, '213', '...check 2';
@@ -216,10 +221,10 @@ $csv = SL::Helper::Csv->new(
 description;partnumber;sellprice;lastcost_as_number;buchungsgruppe;
 EOL
   numberformat => '1,000.00',
-  class  => 'SL::DB::Part',
-  profile => {
-    buchungsgruppe => "buchungsgruppen.1.description",
-  }
+  profile => [{
+    profile => {buchungsgruppe => "buchungsgruppen.1.description"},
+    class  => 'SL::DB::Part',
+  }]
 );
 is $csv->parse, undef, 'wrong profile gets rejected';
 is_deeply $csv->errors, [ 'buchungsgruppen.1.description', undef, "Profile path error. Indexed relationship is not OneToMany around here: 'buchungsgruppen.1'", undef ,0 ], 'error indicates wrong header';
@@ -236,10 +241,10 @@ EOL
   numberformat => '1,000.00',
   ignore_unknown_columns => 1,
   strict_profile => 1,
-  class  => 'SL::DB::Part',
-  profile => {
-    lastcost => 'lastcost_as_number',
-  }
+  profile => [{
+    profile => {lastcost => 'lastcost_as_number'},
+    class  => 'SL::DB::Part',
+  }]
 );
 $csv->parse;
 is $csv->get_objects->[0]->lastcost, '1221.52', 'strict_profile with ignore';
@@ -255,10 +260,10 @@ Beer;1123245;0.12;1.5234;nein kein wieder
 EOL
   numberformat => '1,000.00',
   strict_profile => 1,
-  class  => 'SL::DB::Part',
-  profile => {
-    lastcost => 'lastcost_as_number',
-  }
+  profile => [{
+    profile => {lastcost => 'lastcost_as_number'},
+    class  => 'SL::DB::Part',
+  }]
 );
 $csv->parse;
 
@@ -267,9 +272,9 @@ is_deeply( ($csv->errors)[0], [ 'description', undef, 'header field \'descriptio
 #####
 
 $csv = SL::Helper::Csv->new(
-  file   => \"Kaffee",
-  header => [ 'description' ],
-  class  => 'SL::DB::Part',
+  file   => \"Kaffee",       # " # make emacs happy
+  header =>  [[ 'description' ]],
+  profile => [{class  => 'SL::DB::Part'}],
 );
 $csv->parse;
 is_deeply $csv->get_data, [ { description => 'Kaffee' } ], 'eol bug at the end of files';
@@ -277,8 +282,12 @@ is_deeply $csv->get_data, [ { description => 'Kaffee' } ], 'eol bug at the end o
 #####
 
 $csv = SL::Helper::Csv->new(
-  file   => \"Description\nKaffee",
-  class  => 'SL::DB::Part',
+  file   => \"Description\nKaffee",        # " # make emacs happy
+  case_insensitive_header => 1,
+  profile => [{
+    profile => { description => 'description' },
+    class  => 'SL::DB::Part'
+  }],
 );
 $csv->parse;
 is_deeply $csv->get_data, [ { description => 'Kaffee' } ], 'case insensitive header from csv works';
@@ -286,11 +295,264 @@ is_deeply $csv->get_data, [ { description => 'Kaffee' } ], 'case insensitive hea
 #####
 
 $csv = SL::Helper::Csv->new(
-  file   => \"Kaffee",
-  header => [ 'Description' ],
-  class  => 'SL::DB::Part',
+  file   => \"Kaffee",          # " # make emacs happy
+  header =>  [[ 'Description' ]],
+  case_insensitive_header => 1,
+  profile => [{
+    profile => { description => 'description' },
+    class  => 'SL::DB::Part'
+  }],
 );
 $csv->parse;
 is_deeply $csv->get_data, [ { description => 'Kaffee' } ], 'case insensitive header as param works';
 
+#####
+
+$csv = SL::Helper::Csv->new(
+  file   => \"\x{EF}\x{BB}\x{BF}description\nKaffee",           # " # make emacs happy
+  profile => [{class  => 'SL::DB::Part'}],
+  encoding => 'utf8',
+);
+$csv->parse;
+is_deeply $csv->get_data, [ { description => 'Kaffee' } ], 'utf8 BOM works (bug 1872)';
+
+#####
+
+$csv = SL::Helper::Csv->new(
+  file   => \"Kaffee",            # " # make emacs happy
+  header => [[ 'Description' ]],
+  profile => [{class  => 'SL::DB::Part'}],
+);
+$csv->parse;
+is_deeply $csv->get_data, undef, 'case insensitive header without flag ignores';
+
+#####
+
+$csv = SL::Helper::Csv->new(
+  file   => \"Kaffee",            # " # make emacs happy
+  header => [[ 'foo' ]],
+  profile => [{
+    profile => { foo => '' },
+    class  => 'SL::DB::Part',
+  }],
+);
+$csv->parse;
+
+is_deeply $csv->get_data, [ { foo => 'Kaffee' } ], 'empty path still gets parsed into data';
+ok $csv->get_objects->[0], 'empty path gets ignored in object creation';
+
+#####
+
+$csv = SL::Helper::Csv->new(
+  file   => \"Kaffee",            # " # make emacs happy
+  header => [[ 'foo' ]],
+  strict_profile => 1,
+  profile => [{
+    profile => { foo => '' },
+    class  => 'SL::DB::Part',
+  }],
+);
+$csv->parse;
+
+is_deeply $csv->get_data, [ { foo => 'Kaffee' } ], 'empty path still gets parsed into data (strict profile)';
+ok $csv->get_objects->[0], 'empty path gets ignored in object creation (strict profile)';
+
+$csv = SL::Helper::Csv->new(
+  file   => \"Phil",            # " # make emacs happy
+  header => [[ 'CVAR_grOUnDHog' ]],
+  strict_profile => 1,
+  case_insensitive_header => 1,
+  profile => [{
+    profile => { cvar_Groundhog => '' },
+    class  => 'SL::DB::Part',
+  }],
+
+);
+$csv->parse;
+
+is_deeply $csv->get_data, [ { cvar_Groundhog => 'Phil' } ], 'using empty path to get cvars working';
+ok $csv->get_objects->[0], '...and not destorying the objects';
+
+#####
+
+$csv = SL::Helper::Csv->new(
+  file   => \"description\nKaffee",            # " # make emacs happy
+);
+$csv->parse;
+is_deeply $csv->get_data, [ { description => 'Kaffee' } ], 'without profile and class works';
+
+#####
+$csv = SL::Helper::Csv->new(
+  file    => \"Kaffee;1,50\nSchoke;0,89\n",
+  header  => [
+    [ 'datatype', 'description', 'sellprice' ],
+  ],
+  profile => [
+    { profile   => { sellprice => 'sellprice_as_number' },
+      class     => 'SL::DB::Part',}
+  ],
+);
+
+ok $csv->_check_multiplexed, 'multiplex check works on not-multiplexed data';
+ok !$csv->is_multiplexed, 'not-multiplexed data is recognized';
+
+#####
+$csv = SL::Helper::Csv->new(
+  file    => \"P;Kaffee;1,50\nC;Meier\n",
+  header  => [
+    [ 'datatype', 'description', 'listprice' ],
+    [ 'datatype', 'name' ],
+  ],
+  profile => [
+    { profile   => { listprice => 'listprice_as_number' },
+      class     => 'SL::DB::Part',
+      row_ident => 'P' },
+    { class  => 'SL::DB::Customer',
+      row_ident => 'C' }
+  ],
+);
+
+ok $csv->_check_multiplexed, 'multiplex check works on multiplexed data';
+ok $csv->is_multiplexed, 'multiplexed data is recognized';
+
+#####
+$csv = SL::Helper::Csv->new(
+  file    => \"P;Kaffee;1,50\nC;Meier\n",
+  header  => [
+    [ 'datatype', 'description', 'listprice' ],
+    [ 'datatype', 'name' ],
+  ],
+  profile => [
+    { profile   => { listprice => 'listprice_as_number' },
+      class     => 'SL::DB::Part', },
+    { class  => 'SL::DB::Customer',
+      row_ident => 'C' }
+  ],
+);
+
+ok !$csv->_check_multiplexed, 'multiplex check works on multiplexed data and detects missing row_ident';
+
+#####
+$csv = SL::Helper::Csv->new(
+  file    => \"P;Kaffee;1,50\nC;Meier\n",
+  header  => [
+    [ 'datatype', 'description', 'listprice' ],
+    [ 'datatype', 'name' ],
+  ],
+  profile => [
+    { profile   => { listprice => 'listprice_as_number' },
+      row_ident => 'P' },
+    { class  => 'SL::DB::Customer',
+      row_ident => 'C' }
+  ],
+);
+
+ok !$csv->_check_multiplexed, 'multiplex check works on multiplexed data and detects missing class';
+
+#####
+$csv = SL::Helper::Csv->new(
+  file    => \"P;Kaffee;1,50\nC;Meier\n",  # " # make emacs happy
+  header  => [
+    [ 'datatype', 'description', 'listprice' ],
+  ],
+  profile => [
+    { profile   => { listprice => 'listprice_as_number' },
+      class     => 'SL::DB::Part',
+      row_ident => 'P' },
+    { class  => 'SL::DB::Customer',
+      row_ident => 'C' }
+  ],
+);
+
+ok !$csv->_check_multiplexed, 'multiplex check works on multiplexed data and detects missing header';
+
+#####
+
+$csv = SL::Helper::Csv->new(
+  file    => \"P;Kaffee;1,50\nC;Meier\n",  # " # make emacs happy
+  header  => [
+    [ 'datatype', 'description', 'listprice' ],
+    [ 'datatype', 'name' ],
+  ],
+  profile => [
+    { profile   => { listprice => 'listprice_as_number' },
+      class     => 'SL::DB::Part',
+      row_ident => 'P' },
+    { class  => 'SL::DB::Customer',
+      row_ident => 'C' }
+  ],
+  ignore_unknown_columns => 1,
+);
+
+$csv->parse;
+is_deeply $csv->get_data,
+    [ { datatype => 'P', description => 'Kaffee', listprice => '1,50' }, { datatype => 'C', name => 'Meier' } ],
+    'multiplex: simple case works';
+is scalar @{ $csv->get_objects }, 2, 'multiplex: multiple objects work';
+is $csv->get_objects->[0]->description, 'Kaffee', 'multiplex: first object';
+is $csv->get_objects->[1]->name,        'Meier',  'multiplex: second object';
+
+#####
+
+$csv = SL::Helper::Csv->new(
+  file    => \"datatype;description;listprice\ndatatype;name\nP;Kaffee;1,50\nC;Meier\n",  # " # make emacs happy
+  profile => [
+    { profile   => { listprice => 'listprice_as_number' },
+      class     => 'SL::DB::Part',
+      row_ident => 'P' },
+    { class  => 'SL::DB::Customer',
+      row_ident => 'C' }
+  ],
+  ignore_unknown_columns => 1,
+);
+
+$csv->parse;
+is scalar @{ $csv->get_objects }, 2, 'multiplex: auto header works';
+is $csv->get_objects->[0]->description, 'Kaffee', 'multiplex: auto header first object';
+is $csv->get_objects->[1]->name,        'Meier',  'multiplex: auto header second object';
+
+######
+
+$csv = SL::Helper::Csv->new(
+  file   => \<<EOL,
+datatype;description
+"datatype;name
+P;Kaffee
+C;Meier
+P;Beer
+EOL
+# " # make emacs happy
+  profile => [
+              {class  => 'SL::DB::Part',     row_ident => 'P'},
+              {class  => 'SL::DB::Customer', row_ident => 'C'},
+             ],
+  ignore_unknown_columns => 1,
+);
+is $csv->parse, undef, 'multiplex: broken csv header won\'t get parsed';
+
+######
+
+$csv = SL::Helper::Csv->new(
+  file   => \<<EOL,
+datatype;description
+P;Kaffee
+C;Meier
+P;Beer
+EOL
+# " # make emacs happy
+  profile => [
+              {class  => 'SL::DB::Part',     row_ident => 'P'},
+              {class  => 'SL::DB::Customer', row_ident => 'C'},
+             ],
+  header  => [ [], ['name'] ],
+  ignore_unknown_columns => 1,
+);
+ok !$csv->_check_multiplexed, 'multiplex check detects empty header';
+
+
 # vim: ft=perl
+# set emacs to perl mode
+# Local Variables:
+# mode: perl
+# End:
+