epic-s6ts
[kivitendo-erp.git] / SL / ReportGenerator.pm
index 2034fef..275e2e3 100644 (file)
@@ -1,15 +1,18 @@
 package SL::ReportGenerator;
 
-use IO::Wrap;
+use Data::Dumper;
 use List::Util qw(max);
+use Scalar::Util qw(blessed);
 use Text::CSV_XS;
-use Text::Iconv;
+#use PDF::API2;    # these two eat up to .75s on startup. only load them if we actually need them
+#use PDF::Table;
 
-use SL::Form;
+use strict;
+use SL::Helper::GlAttachments qw(append_gl_pdf_attachments);
+use SL::Helper::CreatePDF     qw(merge_pdfs);
 
 # Cause locales.pl to parse these files:
 # parse_html_template('report_generator/html_report')
-# parse_html_template('report_generator/pdf_report')
 
 sub new {
   my $type = shift;
@@ -23,10 +26,10 @@ sub new {
   $self->{options}  = {
     'std_column_visibility' => 0,
     'output_format'         => 'HTML',
+    'controller_class   '   => '',
     'allow_pdf_export'      => 1,
     'allow_csv_export'      => 1,
     'html_template'         => 'report_generator/html_report',
-    'pdf_template'          => 'report_generator/pdf_report',
     'pdf_export'            => {
       'paper_size'          => 'a4',
       'orientation'         => 'landscape',
@@ -47,6 +50,7 @@ sub new {
       'escape_char'         => '"',
       'eol_style'           => 'Unix',
       'headers'             => 1,
+      'encoding'            => 'UTF-8',
     },
   };
   $self->{export}   = {
@@ -60,34 +64,9 @@ sub new {
 
   $self->set_options(@_) if (@_);
 
-  $self->_init_escaped_strings_map();
-
   return $self;
 }
 
-sub _init_escaped_strings_map {
-  my $self = shift;
-
-  $self->{escaped_strings_map} = {
-    'ä'  => 'ä',
-    'ö'  => 'ö',
-    'ü'  => 'ü',
-    'Ä'  => 'Ä',
-    'Ö'  => 'Ö',
-    'Ü'  => 'Ü',
-    'ß' => 'ß',
-    '>'    => '>',
-     '&lt;'    => '<',
-    '&quot;'  => '"',
-  };
-
-  my $iconv = $main::locale->{iconv_iso8859};
-
-  if ($iconv) {
-    map { $self->{escaped_strings_map}->{$_} = $iconv->convert($self->{escaped_strings_map}->{$_}) } keys %{ $self->{escaped_strings_map} };
-  }
-}
-
 sub set_columns {
   my $self    = shift;
   my %columns = @_;
@@ -98,23 +77,19 @@ sub set_columns {
     $column->{visible} = $self->{options}->{std_column_visibility} unless defined $column->{visible};
   }
 
+  if( $::form->{report_generator_csv_options_for_import} ) {
+    foreach my $key (keys %{ $self->{columns} }) {
+      $self->{columns}{$key}{text} = $key;
+    }
+  }
+
   $self->set_column_order(sort keys %{ $self->{columns} });
 }
 
 sub set_column_order {
   my $self    = shift;
-
-  my $order   = 0;
-  my %columns = map { $order++; ($_, $order) } @_;
-
-  foreach my $column (sort keys %{ $self->{columns} }) {
-    next if $columns{$column};
-
-    $order++;
-    $columns{$column} = $order;
-  }
-
-  $self->{column_order} = [ sort { $columns{$a} <=> $columns{$b} } keys %columns ];
+  my %seen;
+  $self->{column_order} = [ grep { !$seen{$_}++ } @_, sort keys %{ $self->{columns} } ];
 }
 
 sub set_sort_indicator {
@@ -150,7 +125,7 @@ sub add_data {
         $row->{$column}->{align}   = $self->{columns}->{$column}->{align} unless (defined $row->{$column}->{align});
       }
 
-      foreach my $field (qw(data link)) {
+      foreach my $field (qw(data link link_class)) {
         map { $row->{$_}->{$field} = [ $row->{$_}->{$field} ] if (ref $row->{$_}->{$field} ne 'ARRAY') } keys %{ $row };
       }
     }
@@ -190,7 +165,9 @@ sub set_options {
 
   while (my ($key, $value) = each %options) {
     if ($key eq 'pdf_export') {
-      map { $self->{options}->{pdf_export}->{$_} = $value->{$_} } keys %{ $value };
+      $self->{options}->{pdf_export}->{$_} = $value->{$_} for keys %{ $value };
+    } elsif ($key eq 'csv_export') {
+      $self->{options}->{csv_export}->{$_} = $value->{$_} for keys %{ $value };
     } else {
       $self->{options}->{$key} = $value;
     }
@@ -226,17 +203,30 @@ sub set_export_options {
   };
 }
 
+sub set_custom_headers {
+  my $self = shift;
+
+  if (@_) {
+    $self->{custom_headers} = [ @_ ];
+  } else {
+    delete $self->{custom_headers};
+  }
+}
+
 sub get_attachment_basename {
   my $self     = shift;
   my $filename =  $self->{options}->{attachment_basename} || 'report';
+
+  # FIXME: this is bonkers. add a real sluggify method somewhere or import one.
   $filename    =~ s|.*\\||;
   $filename    =~ s|.*/||;
+  $filename    =~ s| |_|g;
 
   return $filename;
 }
 
 sub generate_with_headers {
-  my $self   = shift;
+  my ($self, %params) = @_;
   my $format = lc $self->{options}->{output_format};
   my $form   = $self->{form};
 
@@ -245,18 +235,22 @@ sub generate_with_headers {
   }
 
   if ($format eq 'html') {
+    my $content    = $self->generate_html_content(%params);
     my $title      = $form->{title};
     $form->{title} = $self->{title} if ($self->{title});
-    $form->header();
+    $form->header(no_layout => $params{no_layout});
     $form->{title} = $title;
 
-    print $self->generate_html_content();
+    print $content;
 
   } elsif ($format eq 'csv') {
+    # FIXME: don't do mini http in here
     my $filename = $self->get_attachment_basename();
     print qq|content-type: text/csv\n|;
     print qq|content-disposition: attachment; filename=${filename}.csv\n\n|;
-    $self->generate_csv_content();
+    $::locale->with_raw_io(\*STDOUT, sub {
+      $self->generate_csv_content();
+    });
 
   } elsif ($format eq 'pdf') {
     $self->generate_pdf_content();
@@ -277,7 +271,7 @@ sub html_format {
   my $self  = shift;
   my $value = shift;
 
-  $value =  $self->{form}->quote_html($value);
+  $value =  $main::locale->quote_special_chars('HTML', $value);
   $value =~ s/\r//g;
   $value =~ s/\n/<br>/g;
 
@@ -285,7 +279,7 @@ sub html_format {
 }
 
 sub prepare_html_content {
-  my $self = shift;
+  my ($self, %params) = @_;
 
   my ($column, $name, @column_headers);
 
@@ -297,8 +291,10 @@ sub prepare_html_content {
 
     my $header = {
       'name'                     => $name,
+      'align'                    => $column->{align},
       'link'                     => $column->{link},
       'text'                     => $column->{text},
+      'raw_header_data'          => $column->{raw_header_data},
       'show_sort_indicator'      => $name eq $opts->{sort_indicator_column},
       'sort_indicator_direction' => $opts->{sort_indicator_direction},
     };
@@ -306,6 +302,13 @@ sub prepare_html_content {
     push @column_headers, $header;
   }
 
+  my $header_rows;
+  if ($self->{custom_headers}) {
+    $header_rows = $self->{custom_headers};
+  } else {
+    $header_rows = [ \@column_headers ];
+  }
+
   my ($outer_idx, $inner_idx) = (0, 0);
   my $next_border_top;
   my @rows;
@@ -342,13 +345,21 @@ sub prepare_html_content {
     foreach my $row (@{ $row_set }) {
       $inner_idx++;
 
+      my $output_columns = [ ];
+      my $skip_next      = 0;
       foreach my $col_name (@visible_columns) {
-        my $col = $row->{$col_name};
+        if ($skip_next) {
+          $skip_next--;
+          next;
+        }
+
+        my $col = $row->{$col_name} || { data => [] };
         $col->{CELL_ROWS} = [ ];
         foreach my $i (0 .. scalar(@{ $col->{data} }) - 1) {
           push @{ $col->{CELL_ROWS} }, {
-            'data' => $self->html_format($col->{data}->[$i]),
+            'data' => '' . $self->html_format($col->{data}->[$i]),
             'link' => $col->{link}->[$i],
+            link_class => $col->{link_class}->[$i],
           };
         }
 
@@ -359,10 +370,13 @@ sub prepare_html_content {
         } elsif ((1 == scalar @{ $col->{CELL_ROWS} }) && (!defined $col->{CELL_ROWS}->[0]->{data} || ($col->{CELL_ROWS}->[0]->{data} eq ''))) {
           $col->{CELL_ROWS}->[0]->{data} = '&nbsp;';
         }
+
+        push @{ $output_columns }, $col;
+        $skip_next = $col->{colspan} ? $col->{colspan} - 1 : 0;
       }
 
       my $row_data = {
-        'COLUMNS'       => [ map { $row->{$_} } @visible_columns ],
+        'COLUMNS'       => $output_columns,
         'outer_idx'     => $outer_idx,
         'outer_idx_odd' => $outer_idx % 2,
         'inner_idx'     => $inner_idx,
@@ -377,10 +391,7 @@ sub prepare_html_content {
 
   my @export_variables = $self->{form}->flatten_variables(@{ $self->{export}->{variable_list} });
 
-  my $allow_pdf_export = $opts->{allow_pdf_export} && (-x $main::html2ps_bin) && (-x $main::ghostscript_bin);
-
-  eval { require PDF::API2; require PDF::Table; };
-  $allow_pdf_export |= 1 if (! $@);
+  my $allow_pdf_export = $opts->{allow_pdf_export};
 
   my $variables = {
     'TITLE'                => $opts->{title},
@@ -391,23 +402,75 @@ sub prepare_html_content {
     'ALLOW_PDF_EXPORT'     => $allow_pdf_export,
     'ALLOW_CSV_EXPORT'     => $opts->{allow_csv_export},
     'SHOW_EXPORT_BUTTONS'  => ($allow_pdf_export || $opts->{allow_csv_export}) && $self->{data_present},
-    'COLUMN_HEADERS'       => \@column_headers,
+    'HEADER_ROWS'          => $header_rows,
     'NUM_COLUMNS'          => scalar @column_headers,
     'ROWS'                 => \@rows,
     'EXPORT_VARIABLES'     => \@export_variables,
     'EXPORT_VARIABLE_LIST' => join(' ', @{ $self->{export}->{variable_list} }),
     'EXPORT_NEXTSUB'       => $self->{export}->{nextsub},
     'DATA_PRESENT'         => $self->{data_present},
+    'CONTROLLER_DISPATCH'  => $opts->{controller_class},
+    'TABLE_CLASS'          => $opts->{table_class},
+    'SKIP_BUTTONS'         => !!$params{action_bar},
   };
 
   return $variables;
 }
 
+sub create_action_bar_actions {
+  my ($self, $variables) = @_;
+
+  my @actions;
+  foreach my $type (qw(pdf csv)) {
+    next unless $variables->{"ALLOW_" . uc($type) . "_EXPORT"};
+
+    my $key   = $variables->{CONTROLLER_DISPATCH} ? 'action' : 'report_generator_dispatch_to';
+    my $value = "report_generator_export_as_${type}";
+    $value    = $variables->{CONTROLLER_DISPATCH} . "/${value}" if $variables->{CONTROLLER_DISPATCH};
+
+    push @actions, action => [
+      $type eq 'pdf' ? $::locale->text('PDF export') : $::locale->text('CSV export'),
+      submit => [ '#report_generator_form', { $key => $value } ],
+    ];
+  }
+
+  if (scalar(@actions) > 1) {
+    @actions = (
+      combobox => [
+        action => [ $::locale->text('Export') ],
+        @actions,
+      ],
+    );
+  }
+
+  return @actions;
+}
+
+sub setup_action_bar {
+  my ($self, $variables, %params) = @_;
+
+  my @actions = $self->create_action_bar_actions($variables);
+
+  if ($params{action_bar_setup_hook}) {
+    $params{action_bar_setup_hook}->(@actions);
+
+  } elsif (@actions) {
+    my $action_bar = blessed($params{action_bar}) ? $params{action_bar} : ($::request->layout->get('actionbar'))[0];
+    $action_bar->add(@actions);
+  }
+}
+
 sub generate_html_content {
-  my $self      = shift;
-  my $variables = $self->prepare_html_content();
+  my ($self, %params) = @_;
 
-  return $self->{form}->parse_html_template($self->{options}->{html_template}, $variables);
+  $params{action_bar} //= 1;
+
+  my $variables = $self->prepare_html_content(%params);
+
+  $self->setup_action_bar($variables, %params) if $params{action_bar};
+
+  my $stuff  = $self->{form}->parse_html_template($self->{options}->{html_template}, $variables);
+  return $stuff;
 }
 
 sub _cm2bp {
@@ -416,8 +479,14 @@ sub _cm2bp {
   return $_[0] * 72 / 2.54;
 }
 
-sub render_pdf_with_pdf_api2 {
+sub generate_pdf_content {
+  eval {
+    require PDF::API2;
+    require PDF::Table;
+  };
+
   my $self       = shift;
+  my %params     = @_;
   my $variables  = $self->prepare_html_content();
   my $form       = $self->{form};
   my $myconfig   = $self->{myconfig};
@@ -427,22 +496,54 @@ sub render_pdf_with_pdf_api2 {
 
   my (@data, @column_props, @cell_props);
 
-  my $data_row        = [];
-  my $cell_props_row  = [];
-  my @visible_columns = $self->get_visible_columns('HTML');
+  my ($data_row, $cell_props_row);
+  my @visible_columns = $self->get_visible_columns('PDF');
+  my $num_columns     = scalar @visible_columns;
+  my $num_header_rows = 1;
 
-  foreach $name (@visible_columns) {
-    $column = $self->{columns}->{$name};
+  my $font_encoding   = 'UTF-8';
 
-    push @{ $data_row },       $column->{text};
-    push @{ $cell_props_row }, {};
-    push @column_props,        { 'justify' => $column->{align} eq 'right' ? 'right' : 'left' };
+  foreach my $name (@visible_columns) {
+    push @column_props, { 'justify' => $self->{columns}->{$name}->{align} eq 'right' ? 'right' : 'left' };
   }
 
-  push @data,       $data_row;
-  push @cell_props, $cell_props_row;
+  if (!$self->{custom_headers}) {
+    $data_row       = [];
+    $cell_props_row = [];
+    push @data,       $data_row;
+    push @cell_props, $cell_props_row;
+
+    foreach my $name (@visible_columns) {
+      my $column = $self->{columns}->{$name};
+
+      push @{ $data_row },       $column->{text};
+      push @{ $cell_props_row }, {};
+    }
+
+  } else {
+    $num_header_rows = scalar @{ $self->{custom_headers} };
+
+    foreach my $custom_header_row (@{ $self->{custom_headers} }) {
+      $data_row       = [];
+      $cell_props_row = [];
+      push @data,       $data_row;
+      push @cell_props, $cell_props_row;
+
+      foreach my $custom_header_col (@{ $custom_header_row }) {
+        push @{ $data_row }, $custom_header_col->{text};
 
-  my $num_columns = scalar @column_props;
+        my $num_output  = ($custom_header_col->{colspan} * 1 > 1) ? $custom_header_col->{colspan} : 1;
+        if ($num_output > 1) {
+          push @{ $data_row },       ('') x ($num_output - 1);
+          push @{ $cell_props_row }, { 'colspan' => $num_output };
+          push @{ $cell_props_row }, ({ }) x ($num_output - 1);
+
+        } else {
+          push @{ $cell_props_row }, {};
+        }
+      }
+    }
+  }
 
   foreach my $row_set (@{ $self->{data} }) {
     if ('HASH' eq ref $row_set) {
@@ -454,7 +555,9 @@ sub render_pdf_with_pdf_api2 {
 
         foreach (0 .. $num_columns - 1) {
           push @{ $cell_props_row }, { 'background_color' => '#666666',
-                                       'font_color'       => '#ffffff',
+               #  BUG PDF:Table  -> 0.9.12:
+               # font_color is used in next row, so dont set font_color
+               #                       'font_color'       => '#ffffff',
                                        'colspan'          => $_ == 0 ? -1 : undef, };
         }
       }
@@ -462,24 +565,27 @@ sub render_pdf_with_pdf_api2 {
     }
 
     foreach my $row (@{ $row_set }) {
-      $data_row = [];
-      push @data, $data_row;
+      $data_row       = [];
+      $cell_props_row = [];
+
+      push @data,       $data_row;
+      push @cell_props, $cell_props_row;
 
       my $col_idx = 0;
       foreach my $col_name (@visible_columns) {
         my $col = $row->{$col_name};
-        push @{ $data_row }, join("\n", @{ $col->{data} });
+        push @{ $data_row }, join("\n", @{ $col->{data} || [] });
 
         $column_props[$col_idx]->{justify} = 'right' if ($col->{align} eq 'right');
 
-        $col_idx++;
-      }
+        my $cell_props = { };
+        push @{ $cell_props_row }, $cell_props;
 
-      $cell_props_row = [];
-      push @cell_props, $cell_props_row;
+        if ($col->{colspan} && $col->{colspan} > 1) {
+          $cell_props->{colspan} = $col->{colspan};
+        }
 
-      foreach (0 .. $num_columns - 1) {
-        push @{ $cell_props_row }, { };
+        $col_idx++;
       }
     }
   }
@@ -526,15 +632,15 @@ sub render_pdf_with_pdf_api2 {
   $pdf->mediabox($paper_width, $paper_height);
 
   my $font              = $pdf->corefont(defined $pdfopts->{font_name} && $supported_fonts{lc $pdfopts->{font_name}} ? ucfirst $pdfopts->{font_name} : 'Verdana',
-                                         '-encoding' => $main::dbcharset || 'ISO-8859-15');
+                                         '-encoding' => $font_encoding);
   my $font_size         = $pdfopts->{font_size} || 7;
   my $title_font_size   = $font_size + 1;
   my $padding           = 1;
   my $font_height       = $font_size + 2 * $padding;
   my $title_font_height = $font_size + 2 * $padding;
 
-  my $header_height     = 2 * $title_font_height if ($opts->{title});
-  my $footer_height     = 2 * $font_height       if ($pdfopts->{number});
+  my $header_height     = $opts->{title}     ? 2 * $title_font_height : undef;
+  my $footer_height     = $pdfopts->{number} ? 2 * $font_height       : undef;
 
   my $top_text_height   = 0;
 
@@ -571,6 +677,7 @@ sub render_pdf_with_pdf_api2 {
                 'font'                  => $font,
                 'font_size'             => $font_size,
                 'font_color'            => '#000000',
+                'num_header_rows'       => $num_header_rows,
                 'header_props'          => {
                   'bg_color'            => '#ffffff',
                   'repeat'              => 1,
@@ -578,6 +685,8 @@ sub render_pdf_with_pdf_api2 {
                 },
                 'column_props'          => \@column_props,
                 'cell_props'            => \@cell_props,
+                'max_word_length'       => 60,
+                'border'                => 0.5,
     );
 
   foreach my $page_num (1..$pdf->pages()) {
@@ -593,24 +702,34 @@ sub render_pdf_with_pdf_api2 {
     }
 
     if ($opts->{title}) {
+      my $title    = $opts->{title};
       my $text_obj = $curpage->text();
 
       $text_obj->font($font, $title_font_size);
-      $text_obj->translate(($paper_width - $margin_left - $margin_right) / 2 + $margin_left - $text_obj->advancewidth($opts->{title}) / 2,
+      $text_obj->translate(($paper_width - $margin_left - $margin_right) / 2 + $margin_left - $text_obj->advancewidth($title) / 2,
                            $paper_height - $margin_top);
-      $text_obj->text($opts->{title}, '-underline' => 1);
+      $text_obj->text($title, '-underline' => 1);
     }
   }
 
   my $content = $pdf->stringify();
 
+  $main::lxdebug->message(LXDebug->DEBUG2(),"addattachments ?? =".$form->{report_generator_addattachments}." GL=".$form->{GL});
+  if ($form->{report_generator_addattachments} && $form->{GL}) {
+    $content = $self->append_gl_pdf_attachments($form,$content);
+  }
+
+  # 1. check if we return the report as binary pdf
+  if ($params{want_binary_pdf}) {
+    return $content;
+  }
+  # 2. check if we want and can directly print the report
   my $printer_command;
   if ($pdfopts->{print} && $pdfopts->{printer_id}) {
     $form->{printer_id} = $pdfopts->{printer_id};
     $form->get_printer_code($myconfig);
     $printer_command = $form->{printer_command};
   }
-
   if ($printer_command) {
     $self->_print_content('printer_command' => $printer_command,
                           'content'         => $content,
@@ -618,12 +737,15 @@ sub render_pdf_with_pdf_api2 {
     $form->{report_generator_printed} = 1;
 
   } else {
+  # 3. default: redirect http with file attached
     my $filename = $self->get_attachment_basename();
 
     print qq|content-type: application/pdf\n|;
     print qq|content-disposition: attachment; filename=${filename}.pdf\n\n|;
 
-    print $content;
+    $::locale->with_raw_io(\*STDOUT, sub {
+      print $content;
+    });
   }
 }
 
@@ -637,111 +759,6 @@ sub verify_paper_size {
   return $allowed_paper_sizes{$requested_paper_size} ? $requested_paper_size : $default_paper_size;
 }
 
-sub render_pdf_with_html2ps {
-  my $self      = shift;
-  my $variables = $self->prepare_html_content();
-  my $form      = $self->{form};
-  my $myconfig  = $self->{myconfig};
-  my $opt       = $self->{options}->{pdf_export};
-
-  my $opt_number     = $opt->{number}                     ? 'number : 1'    : '';
-  my $opt_landscape  = $opt->{orientation} eq 'landscape' ? 'landscape : 1' : '';
-
-  my $opt_paper_size = $self->verify_paper_size($opt->{paper_size}, 'a4');
-
-  my $html2ps_config = <<"END"
-\@html2ps {
-  option {
-    titlepage: 0;
-    hyphenate: 0;
-    colour: 1;
-    ${opt_landscape};
-    ${opt_number};
-  }
-  paper {
-    type: ${opt_paper_size};
-  }
-  break-table: 1;
-}
-
-\@page {
-  margin-top:    $opt->{margin_top}cm;
-  margin-left:   $opt->{margin_left}cm;
-  margin-bottom: $opt->{margin_bottom}cm;
-  margin-right:  $opt->{margin_right}cm;
-}
-
-BODY {
-  font-family: Helvetica;
-  font-size:   $opt->{font_size}pt;
-}
-
-END
-  ;
-
-  my $printer_command;
-  if ($opt->{print} && $opt->{printer_id}) {
-    $form->{printer_id} = $opt->{printer_id};
-    $form->get_printer_code($myconfig);
-    $printer_command = $form->{printer_command};
-  }
-
-  my $cfg_file_name = Common::tmpname() . '-html2ps-config';
-  my $cfg_file      = IO::File->new($cfg_file_name, 'w') || $form->error($locale->text('Could not write the html2ps config file.'));
-
-  $cfg_file->print($html2ps_config);
-  $cfg_file->close();
-
-  my $html_file_name = Common::tmpname() . '.html';
-  my $html_file      = IO::File->new($html_file_name, 'w');
-
-  if (!$html_file) {
-    unlink $cfg_file_name;
-    $form->error($locale->text('Could not write the temporary HTML file.'));
-  }
-
-  $html_file->print($form->parse_html_template($self->{options}->{pdf_template}, $variables));
-  $html_file->close();
-
-  my $cmdline =
-    "\"${main::html2ps_bin}\" -f \"${cfg_file_name}\" \"${html_file_name}\" | " .
-    "\"${main::ghostscript_bin}\" -q -dSAFER -dNOPAUSE -dBATCH -sDEVICE=pdfwrite -sPAPERSIZE=${opt_paper_size} -sOutputFile=- -c .setpdfwrite -";
-
-  my $gs = IO::File->new("${cmdline} |");
-  if ($gs) {
-    my $content;
-
-    if (!$printer_command) {
-      my $filename = $self->get_attachment_basename();
-      print qq|content-type: application/pdf\n|;
-      print qq|content-disposition: attachment; filename=${filename}.pdf\n\n|;
-
-      while (my $line = <$gs>) {
-        print $line;
-      }
-
-    } else {
-      while (my $line = <$gs>) {
-        $content .= $line;
-      }
-    }
-
-    $gs->close();
-    unlink $cfg_file_name, $html_file_name;
-
-    if ($printer_command && $content) {
-      $self->_print_content('printer_command' => $printer_command,
-                            'content'         => $content,
-                            'copies'          => $opt->{copies});
-      $form->{report_generator_printed} = 1;
-    }
-
-  } else {
-    unlink $cfg_file_name, $html_file_name;
-    $form->error($locale->text('Could not spawn html2ps or GhostScript.'));
-  }
-}
-
 sub _print_content {
   my $self   = shift;
   my %params = @_;
@@ -754,33 +771,26 @@ sub _print_content {
   }
 }
 
-sub generate_pdf_content {
-  my $self = shift;
+sub _handle_quoting_and_encoding {
+  my ($self, $text, $do_unquote, $encoding) = @_;
 
-  eval { require PDF::API2; require PDF::Table; };
+  $text = $main::locale->unquote_special_chars('HTML', $text) if $do_unquote;
+  $text = Encode::encode($encoding || 'UTF-8', $text);
 
-  if ($@) {
-    return $self->render_pdf_with_html2ps(@_);
-  } else {
-    return $self->render_pdf_with_pdf_api2(@_);
-  }
+  return $text;
 }
 
-sub unescape_string {
-  my $self = shift;
-  my $text = shift;
-
-  foreach my $key (keys %{ $self->{escaped_strings_map} }) {
-    $text =~ s/\Q$key\E/$self->{escaped_strings_map}->{$key}/g;
-  }
-
-  $text =~ s/\Q&amp;\E/&/g;
+sub generate_csv_content {
+  my $self   = shift;
+  my $stdout = ($::dispatcher->get_standard_filehandles)[1];
 
-  return $text;
+  # Text::CSV_XS seems to downgrade to bytes already (see
+  # SL/FCGIFixes.pm). Therefore don't let FCGI do that again.
+  $::locale->with_raw_io($stdout, sub { $self->_generate_csv_content($stdout) });
 }
 
-sub generate_csv_content {
-  my $self = shift;
+sub _generate_csv_content {
+  my ($self, $stdout) = @_;
 
   my %valid_sep_chars    = (';' => ';', ',' => ',', ':' => ':', 'TAB' => "\t");
   my %valid_escape_chars = ('"' => 1, "'" => 1);
@@ -800,23 +810,308 @@ sub generate_csv_content {
                                 'quote_char'  => $quote_char,
                                 'eol'         => $eol, });
 
-  my $stdout          = wraphandle(\*STDOUT);
   my @visible_columns = $self->get_visible_columns('CSV');
 
   if ($opts->{headers}) {
-    $csv->print($stdout, [ map { $self->unescape_string($self->{columns}->{$_}->{text}) } @visible_columns ]);
+    if (!$self->{custom_headers}) {
+      $csv->print($stdout, [ map { $self->_handle_quoting_and_encoding($self->{columns}->{$_}->{text}, 1, $opts->{encoding}) } @visible_columns ]);
+
+    } else {
+      foreach my $row (@{ $self->{custom_headers} }) {
+        my $fields = [ ];
+
+        foreach my $col (@{ $row }) {
+          my $num_output = ($col->{colspan} && ($col->{colspan} > 1)) ? $col->{colspan} : 1;
+          push @{ $fields }, ($self->_handle_quoting_and_encoding($col->{text}, 1, $opts->{encoding})) x $num_output;
+        }
+
+        $csv->print($stdout, $fields);
+      }
+    }
   }
 
   foreach my $row_set (@{ $self->{data} }) {
     next if ('ARRAY' ne ref $row_set);
     foreach my $row (@{ $row_set }) {
       my @data;
+      my $skip_next = 0;
       foreach my $col (@visible_columns) {
-        push @data, join($eol, map { s/\r?\n/$eol/g; $_ } @{ $row->{$col}->{data} });
+        if ($skip_next) {
+          $skip_next--;
+          next;
+        }
+
+        my $num_output = ($row->{$col}{colspan} && ($row->{$col}->{colspan} > 1)) ? $row->{$col}->{colspan} : 1;
+        $skip_next     = $num_output - 1;
+
+        push @data, join($eol, map { s/\r?\n/$eol/g; $self->_handle_quoting_and_encoding($_, 0, $opts->{encoding}) } @{ $row->{$col}->{data} });
+        push @data, ('') x $skip_next if ($skip_next);
       }
+
       $csv->print($stdout, \@data);
     }
   }
 }
 
+sub check_for_pdf_api {
+  return eval { require PDF::API2; 1; } ? 1 : 0;
+}
+
 1;
+
+__END__
+
+=head1 NAME
+
+SL::ReportGenerator.pm: the kivitendo way of getting data in shape
+
+=head1 SYNOPSIS
+
+  my $report = SL::ReportGenerator->new(\%myconfig, $form);
+     $report->set_options(%options);                         # optional
+     $report->set_columns(%column_defs);
+     $report->set_sort_indicator($column, $direction);       # optional
+     $report->add_data($row1, $row2, @more_rows);
+     $report->generate_with_headers();
+
+This creates a report object, sets a few columns, adds some data and generates a standard report.
+Sorting of columns will be alphabetic, and options will be set to their defaults.
+The report will be printed including table headers, html headers and http headers.
+
+=head1 DESCRIPTION
+
+Imagine the following scenario:
+There's a simple form, which loads some data from the database, and needs to print it out. You write a template for it.
+Then there may be more than one line. You add a loop in the template.
+Then there are some options made by the user, such as hidden columns. You add more to the template.
+Then it lacks usability. You want it to be able to sort the data. You add code for that.
+Then there are too many results, you need pagination, you want to print or export that data..... and so on.
+
+The ReportGenerator class was designed because this exact scenario happened about half a dozen times in kivitendo.
+It's purpose is to manage all those formating, culling, sorting, and templating.
+Which makes it almost as complicated to use as doing the work by yourself.
+
+=head1 FUNCTIONS
+
+=over 4
+
+=item new \%myconfig,$form,%options
+
+Creates a new ReportGenerator object, sets all given options, and returns it.
+
+=item set_columns %columns
+
+Sets the columns available to this report.
+
+=item set_column_order @columns
+
+Sets the order of columns. Any columns not present here are appended in alphabetic order.
+
+=item set_sort_indicator $column,$direction
+
+Sets sorting of the table by specifying a column and a direction, where the direction will be evaluated to ascending if true.
+Note that this is only for displaying. The data has to have already been sorted when it was added.
+
+=item add_data \@data
+
+=item add_data \%data
+
+Adds data to the report. A given hash_ref is interpreted as a single line of
+data, every array_ref as a collection of lines.  Every line will be expected to
+be in a key => value format. Note that the rows have to already have been
+sorted.
+
+The ReportGenerator is only able to display pre-sorted data and to indicate by
+which column and in which direction the data has been sorted via visual clues
+in the column headers. It also provides links to invert the sort direction.
+
+=item add_separator
+
+Adds a separator line to the report.
+
+=item add_control \%data
+
+Adds a control element to the data. Control elements are an experimental feature to add functionality to a report the regular data cannot.
+Every control element needs to set IS_CONTROL_DATA, in order to be recognized by the template.
+Currently the only control element is a colspan element, which can be used as a mini header further down the report.
+
+=item clear_data
+
+Deletes all data added to the report, but keeps options set.
+
+=item set_options %options
+
+Sets options. For an incomplete list of options, see section configuration.
+
+=item set_options_from_form
+
+Tries to import options from the $form object given at creation
+
+=item set_export_options $next_sub,@variable_list
+
+Sets next_sub and additional variables needed for export.
+
+=item get_attachment_basename
+
+Returns the set attachment_basename option, or 'report' if nothing was set. See configuration for the option.
+
+=item generate_with_headers
+
+Parses the report, adds headers and prints it out. Headers depend on the option 'output_format',
+for example 'HTML' will add proper table headers, html headers and http headers. See configuration for this option.
+
+=item get_visible_columns $format
+
+Returns a list of columns that will be visible in the report after considering all options or match the given format.
+
+=item html_format $value
+
+Escapes HTML characters in $value and substitutes newlines with '<br>'. Returns the escaped $value.
+
+=item prepare_html_content $column,$name,@column_headers
+
+Parses the data, and sets internal data needed for certain output format. Must be called once before the template is invoked.
+Should not be called externally, since all render and generate functions invoke it anyway.
+
+=item generate_html_content
+
+The html generation function. Is invoked by generate_with_headers.
+
+=item generate_pdf_content
+
+The PDF generation function. It is invoked by generate_with_headers and renders the PDF with the PDF::API2 library.
+
+If the param want_binary_pdf is set, the binary pdf stream will be returned.
+If $pdfopts->{print} && $pdfopts->{printer_id} are set, the pdf will be printed (output is directed to print command).
+
+Otherwise and the default a html form with a downloadable file is returned.
+
+=item generate_csv_content
+
+The CSV generation function. Uses XS_CSV to parse the information into csv.
+
+=back
+
+=head1 CONFIGURATION
+
+These are known options and their defaults. Options for pdf export and csv export need to be set as a hashref inside the export option.
+
+=head2 General Options
+
+=over 4
+
+=item std_column_visibility
+
+Standard column visibility. Used if no visibility is set. Use this to save the trouble of enabling every column. Default is no.
+
+=item output_format
+
+Output format. Used by generate_with_headers to determine the format. Supported options are HTML, CSV, and PDF. Default is HTML.
+
+=item allow_pdf_export
+
+Used to determine if a button for PDF export should be displayed. Default is yes.
+
+=item allow_csv_export
+
+Used to determine if a button for CSV export should be displayed. Default is yes.
+
+=item html_template
+
+The template to be used for HTML reports. Default is 'report_generator/html_report'.
+
+=item controller_class
+
+If this is used from a C<SL::Controller::Base> based controller class, pass the
+class name here and make sure C<SL::Controller::Helper::ReportGenerator> is
+used in the controller. That way the exports stay functional.
+
+=back
+
+=head2 PDF Options
+
+=over 4
+
+=item paper_size
+
+Paper size. Default is a4. Supported paper sizes are a3, a4, a5, letter and legal.
+
+=item orientation (landscape)
+
+Landscape or portrait. Default is landscape.
+
+=item font_name
+
+Default is Verdana. Supported font names are Courier, Georgia, Helvetica, Times and Verdana. This option only affects the rendering with PDF::API2.
+
+=item font_size
+
+Default is 7. This option only affects the rendering with PDF::API2.
+
+=item margin_top
+
+=item margin_left
+
+=item margin_bottom
+
+=item margin_right
+
+The paper margins in cm. They all default to 1.5.
+
+=item number
+
+Set to a true value if the pages should be numbered. Default is 1.
+
+=item print
+
+If set then the resulting PDF will be output to a printer. If not it will be downloaded by the user. Default is no.
+
+=item printer_id
+
+Default 0.
+
+=item copies
+
+Default 1.
+
+=back
+
+=head2 CSV Options
+
+=over 4
+
+=item quote_char
+
+Character to enclose entries. Default is double quote (").
+
+=item sep_char
+
+Character to separate entries. Default is semicolon (;).
+
+=item escape_char
+
+Character to escape the quote_char. Default is double quote (").
+
+=item eol_style
+
+End of line style. Default is Unix.
+
+=item headers
+
+Include headers? Default is yes.
+
+=item encoding
+
+Character encoding. Default is UTF-8.
+
+=back
+
+=head1 SEE ALO
+
+C<Template.pm>
+
+=head1 MODULE AUTHORS
+
+Moritz Bunkus E<lt>mbunkus@linet-services.deE<gt>
+
+L<http://linet-services.de>