epic-ts
[kivitendo-erp.git] / SL / ReportGenerator.pm
index 701dca3..275e2e3 100644 (file)
@@ -1,15 +1,18 @@
 package SL::ReportGenerator;
 
-use IO::Wrap;
+use Data::Dumper;
 use List::Util qw(max);
+use Scalar::Util qw(blessed);
 use Text::CSV_XS;
-use Text::Iconv;
+#use PDF::API2;    # these two eat up to .75s on startup. only load them if we actually need them
+#use PDF::Table;
 
-use SL::Form;
+use strict;
+use SL::Helper::GlAttachments qw(append_gl_pdf_attachments);
+use SL::Helper::CreatePDF     qw(merge_pdfs);
 
 # Cause locales.pl to parse these files:
 # parse_html_template('report_generator/html_report')
-# parse_html_template('report_generator/pdf_report')
 
 sub new {
   my $type = shift;
@@ -23,10 +26,10 @@ sub new {
   $self->{options}  = {
     'std_column_visibility' => 0,
     'output_format'         => 'HTML',
+    'controller_class   '   => '',
     'allow_pdf_export'      => 1,
     'allow_csv_export'      => 1,
     'html_template'         => 'report_generator/html_report',
-    'pdf_template'          => 'report_generator/pdf_report',
     'pdf_export'            => {
       'paper_size'          => 'a4',
       'orientation'         => 'landscape',
@@ -47,6 +50,7 @@ sub new {
       'escape_char'         => '"',
       'eol_style'           => 'Unix',
       'headers'             => 1,
+      'encoding'            => 'UTF-8',
     },
   };
   $self->{export}   = {
@@ -73,6 +77,12 @@ sub set_columns {
     $column->{visible} = $self->{options}->{std_column_visibility} unless defined $column->{visible};
   }
 
+  if( $::form->{report_generator_csv_options_for_import} ) {
+    foreach my $key (keys %{ $self->{columns} }) {
+      $self->{columns}{$key}{text} = $key;
+    }
+  }
+
   $self->set_column_order(sort keys %{ $self->{columns} });
 }
 
@@ -115,7 +125,7 @@ sub add_data {
         $row->{$column}->{align}   = $self->{columns}->{$column}->{align} unless (defined $row->{$column}->{align});
       }
 
-      foreach my $field (qw(data link)) {
+      foreach my $field (qw(data link link_class)) {
         map { $row->{$_}->{$field} = [ $row->{$_}->{$field} ] if (ref $row->{$_}->{$field} ne 'ARRAY') } keys %{ $row };
       }
     }
@@ -155,7 +165,9 @@ sub set_options {
 
   while (my ($key, $value) = each %options) {
     if ($key eq 'pdf_export') {
-      map { $self->{options}->{pdf_export}->{$_} = $value->{$_} } keys %{ $value };
+      $self->{options}->{pdf_export}->{$_} = $value->{$_} for keys %{ $value };
+    } elsif ($key eq 'csv_export') {
+      $self->{options}->{csv_export}->{$_} = $value->{$_} for keys %{ $value };
     } else {
       $self->{options}->{$key} = $value;
     }
@@ -191,17 +203,30 @@ sub set_export_options {
   };
 }
 
+sub set_custom_headers {
+  my $self = shift;
+
+  if (@_) {
+    $self->{custom_headers} = [ @_ ];
+  } else {
+    delete $self->{custom_headers};
+  }
+}
+
 sub get_attachment_basename {
   my $self     = shift;
   my $filename =  $self->{options}->{attachment_basename} || 'report';
+
+  # FIXME: this is bonkers. add a real sluggify method somewhere or import one.
   $filename    =~ s|.*\\||;
   $filename    =~ s|.*/||;
+  $filename    =~ s| |_|g;
 
   return $filename;
 }
 
 sub generate_with_headers {
-  my $self   = shift;
+  my ($self, %params) = @_;
   my $format = lc $self->{options}->{output_format};
   my $form   = $self->{form};
 
@@ -210,18 +235,22 @@ sub generate_with_headers {
   }
 
   if ($format eq 'html') {
+    my $content    = $self->generate_html_content(%params);
     my $title      = $form->{title};
     $form->{title} = $self->{title} if ($self->{title});
-    $form->header();
+    $form->header(no_layout => $params{no_layout});
     $form->{title} = $title;
 
-    print $self->generate_html_content();
+    print $content;
 
   } elsif ($format eq 'csv') {
+    # FIXME: don't do mini http in here
     my $filename = $self->get_attachment_basename();
     print qq|content-type: text/csv\n|;
     print qq|content-disposition: attachment; filename=${filename}.csv\n\n|;
-    $self->generate_csv_content();
+    $::locale->with_raw_io(\*STDOUT, sub {
+      $self->generate_csv_content();
+    });
 
   } elsif ($format eq 'pdf') {
     $self->generate_pdf_content();
@@ -250,7 +279,7 @@ sub html_format {
 }
 
 sub prepare_html_content {
-  my $self = shift;
+  my ($self, %params) = @_;
 
   my ($column, $name, @column_headers);
 
@@ -262,8 +291,10 @@ sub prepare_html_content {
 
     my $header = {
       'name'                     => $name,
+      'align'                    => $column->{align},
       'link'                     => $column->{link},
       'text'                     => $column->{text},
+      'raw_header_data'          => $column->{raw_header_data},
       'show_sort_indicator'      => $name eq $opts->{sort_indicator_column},
       'sort_indicator_direction' => $opts->{sort_indicator_direction},
     };
@@ -271,6 +302,13 @@ sub prepare_html_content {
     push @column_headers, $header;
   }
 
+  my $header_rows;
+  if ($self->{custom_headers}) {
+    $header_rows = $self->{custom_headers};
+  } else {
+    $header_rows = [ \@column_headers ];
+  }
+
   my ($outer_idx, $inner_idx) = (0, 0);
   my $next_border_top;
   my @rows;
@@ -307,13 +345,21 @@ sub prepare_html_content {
     foreach my $row (@{ $row_set }) {
       $inner_idx++;
 
+      my $output_columns = [ ];
+      my $skip_next      = 0;
       foreach my $col_name (@visible_columns) {
-        my $col = $row->{$col_name};
+        if ($skip_next) {
+          $skip_next--;
+          next;
+        }
+
+        my $col = $row->{$col_name} || { data => [] };
         $col->{CELL_ROWS} = [ ];
         foreach my $i (0 .. scalar(@{ $col->{data} }) - 1) {
           push @{ $col->{CELL_ROWS} }, {
-            'data' => $self->html_format($col->{data}->[$i]),
+            'data' => '' . $self->html_format($col->{data}->[$i]),
             'link' => $col->{link}->[$i],
+            link_class => $col->{link_class}->[$i],
           };
         }
 
@@ -324,10 +370,13 @@ sub prepare_html_content {
         } elsif ((1 == scalar @{ $col->{CELL_ROWS} }) && (!defined $col->{CELL_ROWS}->[0]->{data} || ($col->{CELL_ROWS}->[0]->{data} eq ''))) {
           $col->{CELL_ROWS}->[0]->{data} = ' ';
         }
+
+        push @{ $output_columns }, $col;
+        $skip_next = $col->{colspan} ? $col->{colspan} - 1 : 0;
       }
 
       my $row_data = {
-        'COLUMNS'       => [ map { $row->{$_} } @visible_columns ],
+        'COLUMNS'       => $output_columns,
         'outer_idx'     => $outer_idx,
         'outer_idx_odd' => $outer_idx % 2,
         'inner_idx'     => $inner_idx,
@@ -342,10 +391,7 @@ sub prepare_html_content {
 
   my @export_variables = $self->{form}->flatten_variables(@{ $self->{export}->{variable_list} });
 
-  my $allow_pdf_export = $opts->{allow_pdf_export} && (-x $main::html2ps_bin) && (-x $main::ghostscript_bin);
-
-  eval { require PDF::API2; require PDF::Table; };
-  $allow_pdf_export |= 1 if (! $@);
+  my $allow_pdf_export = $opts->{allow_pdf_export};
 
   my $variables = {
     'TITLE'                => $opts->{title},
@@ -356,23 +402,75 @@ sub prepare_html_content {
     'ALLOW_PDF_EXPORT'     => $allow_pdf_export,
     'ALLOW_CSV_EXPORT'     => $opts->{allow_csv_export},
     'SHOW_EXPORT_BUTTONS'  => ($allow_pdf_export || $opts->{allow_csv_export}) && $self->{data_present},
-    'COLUMN_HEADERS'       => \@column_headers,
+    'HEADER_ROWS'          => $header_rows,
     'NUM_COLUMNS'          => scalar @column_headers,
     'ROWS'                 => \@rows,
     'EXPORT_VARIABLES'     => \@export_variables,
     'EXPORT_VARIABLE_LIST' => join(' ', @{ $self->{export}->{variable_list} }),
     'EXPORT_NEXTSUB'       => $self->{export}->{nextsub},
     'DATA_PRESENT'         => $self->{data_present},
+    'CONTROLLER_DISPATCH'  => $opts->{controller_class},
+    'TABLE_CLASS'          => $opts->{table_class},
+    'SKIP_BUTTONS'         => !!$params{action_bar},
   };
 
   return $variables;
 }
 
+sub create_action_bar_actions {
+  my ($self, $variables) = @_;
+
+  my @actions;
+  foreach my $type (qw(pdf csv)) {
+    next unless $variables->{"ALLOW_" . uc($type) . "_EXPORT"};
+
+    my $key   = $variables->{CONTROLLER_DISPATCH} ? 'action' : 'report_generator_dispatch_to';
+    my $value = "report_generator_export_as_${type}";
+    $value    = $variables->{CONTROLLER_DISPATCH} . "/${value}" if $variables->{CONTROLLER_DISPATCH};
+
+    push @actions, action => [
+      $type eq 'pdf' ? $::locale->text('PDF export') : $::locale->text('CSV export'),
+      submit => [ '#report_generator_form', { $key => $value } ],
+    ];
+  }
+
+  if (scalar(@actions) > 1) {
+    @actions = (
+      combobox => [
+        action => [ $::locale->text('Export') ],
+        @actions,
+      ],
+    );
+  }
+
+  return @actions;
+}
+
+sub setup_action_bar {
+  my ($self, $variables, %params) = @_;
+
+  my @actions = $self->create_action_bar_actions($variables);
+
+  if ($params{action_bar_setup_hook}) {
+    $params{action_bar_setup_hook}->(@actions);
+
+  } elsif (@actions) {
+    my $action_bar = blessed($params{action_bar}) ? $params{action_bar} : ($::request->layout->get('actionbar'))[0];
+    $action_bar->add(@actions);
+  }
+}
+
 sub generate_html_content {
-  my $self      = shift;
-  my $variables = $self->prepare_html_content();
+  my ($self, %params) = @_;
 
-  return $self->{form}->parse_html_template($self->{options}->{html_template}, $variables);
+  $params{action_bar} //= 1;
+
+  my $variables = $self->prepare_html_content(%params);
+
+  $self->setup_action_bar($variables, %params) if $params{action_bar};
+
+  my $stuff  = $self->{form}->parse_html_template($self->{options}->{html_template}, $variables);
+  return $stuff;
 }
 
 sub _cm2bp {
@@ -381,8 +479,14 @@ sub _cm2bp {
   return $_[0] * 72 / 2.54;
 }
 
-sub render_pdf_with_pdf_api2 {
+sub generate_pdf_content {
+  eval {
+    require PDF::API2;
+    require PDF::Table;
+  };
+
   my $self       = shift;
+  my %params     = @_;
   my $variables  = $self->prepare_html_content();
   my $form       = $self->{form};
   my $myconfig   = $self->{myconfig};
@@ -392,22 +496,54 @@ sub render_pdf_with_pdf_api2 {
 
   my (@data, @column_props, @cell_props);
 
-  my $data_row        = [];
-  my $cell_props_row  = [];
-  my @visible_columns = $self->get_visible_columns('HTML');
+  my ($data_row, $cell_props_row);
+  my @visible_columns = $self->get_visible_columns('PDF');
+  my $num_columns     = scalar @visible_columns;
+  my $num_header_rows = 1;
 
-  foreach $name (@visible_columns) {
-    $column = $self->{columns}->{$name};
+  my $font_encoding   = 'UTF-8';
 
-    push @{ $data_row },       $column->{text};
-    push @{ $cell_props_row }, {};
-    push @column_props,        { 'justify' => $column->{align} eq 'right' ? 'right' : 'left' };
+  foreach my $name (@visible_columns) {
+    push @column_props, { 'justify' => $self->{columns}->{$name}->{align} eq 'right' ? 'right' : 'left' };
   }
 
-  push @data,       $data_row;
-  push @cell_props, $cell_props_row;
+  if (!$self->{custom_headers}) {
+    $data_row       = [];
+    $cell_props_row = [];
+    push @data,       $data_row;
+    push @cell_props, $cell_props_row;
+
+    foreach my $name (@visible_columns) {
+      my $column = $self->{columns}->{$name};
+
+      push @{ $data_row },       $column->{text};
+      push @{ $cell_props_row }, {};
+    }
+
+  } else {
+    $num_header_rows = scalar @{ $self->{custom_headers} };
+
+    foreach my $custom_header_row (@{ $self->{custom_headers} }) {
+      $data_row       = [];
+      $cell_props_row = [];
+      push @data,       $data_row;
+      push @cell_props, $cell_props_row;
+
+      foreach my $custom_header_col (@{ $custom_header_row }) {
+        push @{ $data_row }, $custom_header_col->{text};
 
-  my $num_columns = scalar @column_props;
+        my $num_output  = ($custom_header_col->{colspan} * 1 > 1) ? $custom_header_col->{colspan} : 1;
+        if ($num_output > 1) {
+          push @{ $data_row },       ('') x ($num_output - 1);
+          push @{ $cell_props_row }, { 'colspan' => $num_output };
+          push @{ $cell_props_row }, ({ }) x ($num_output - 1);
+
+        } else {
+          push @{ $cell_props_row }, {};
+        }
+      }
+    }
+  }
 
   foreach my $row_set (@{ $self->{data} }) {
     if ('HASH' eq ref $row_set) {
@@ -419,7 +555,9 @@ sub render_pdf_with_pdf_api2 {
 
         foreach (0 .. $num_columns - 1) {
           push @{ $cell_props_row }, { 'background_color' => '#666666',
-                                       'font_color'       => '#ffffff',
+               #  BUG PDF:Table  -> 0.9.12:
+               # font_color is used in next row, so dont set font_color
+               #                       'font_color'       => '#ffffff',
                                        'colspan'          => $_ == 0 ? -1 : undef, };
         }
       }
@@ -427,24 +565,27 @@ sub render_pdf_with_pdf_api2 {
     }
 
     foreach my $row (@{ $row_set }) {
-      $data_row = [];
-      push @data, $data_row;
+      $data_row       = [];
+      $cell_props_row = [];
+
+      push @data,       $data_row;
+      push @cell_props, $cell_props_row;
 
       my $col_idx = 0;
       foreach my $col_name (@visible_columns) {
         my $col = $row->{$col_name};
-        push @{ $data_row }, join("\n", @{ $col->{data} });
+        push @{ $data_row }, join("\n", @{ $col->{data} || [] });
 
         $column_props[$col_idx]->{justify} = 'right' if ($col->{align} eq 'right');
 
-        $col_idx++;
-      }
+        my $cell_props = { };
+        push @{ $cell_props_row }, $cell_props;
 
-      $cell_props_row = [];
-      push @cell_props, $cell_props_row;
+        if ($col->{colspan} && $col->{colspan} > 1) {
+          $cell_props->{colspan} = $col->{colspan};
+        }
 
-      foreach (0 .. $num_columns - 1) {
-        push @{ $cell_props_row }, { };
+        $col_idx++;
       }
     }
   }
@@ -491,15 +632,15 @@ sub render_pdf_with_pdf_api2 {
   $pdf->mediabox($paper_width, $paper_height);
 
   my $font              = $pdf->corefont(defined $pdfopts->{font_name} && $supported_fonts{lc $pdfopts->{font_name}} ? ucfirst $pdfopts->{font_name} : 'Verdana',
-                                         '-encoding' => $main::dbcharset || 'ISO-8859-15');
+                                         '-encoding' => $font_encoding);
   my $font_size         = $pdfopts->{font_size} || 7;
   my $title_font_size   = $font_size + 1;
   my $padding           = 1;
   my $font_height       = $font_size + 2 * $padding;
   my $title_font_height = $font_size + 2 * $padding;
 
-  my $header_height     = 2 * $title_font_height if ($opts->{title});
-  my $footer_height     = 2 * $font_height       if ($pdfopts->{number});
+  my $header_height     = $opts->{title}     ? 2 * $title_font_height : undef;
+  my $footer_height     = $pdfopts->{number} ? 2 * $font_height       : undef;
 
   my $top_text_height   = 0;
 
@@ -536,6 +677,7 @@ sub render_pdf_with_pdf_api2 {
                 'font'                  => $font,
                 'font_size'             => $font_size,
                 'font_color'            => '#000000',
+                'num_header_rows'       => $num_header_rows,
                 'header_props'          => {
                   'bg_color'            => '#ffffff',
                   'repeat'              => 1,
@@ -543,6 +685,8 @@ sub render_pdf_with_pdf_api2 {
                 },
                 'column_props'          => \@column_props,
                 'cell_props'            => \@cell_props,
+                'max_word_length'       => 60,
+                'border'                => 0.5,
     );
 
   foreach my $page_num (1..$pdf->pages()) {
@@ -558,24 +702,34 @@ sub render_pdf_with_pdf_api2 {
     }
 
     if ($opts->{title}) {
+      my $title    = $opts->{title};
       my $text_obj = $curpage->text();
 
       $text_obj->font($font, $title_font_size);
-      $text_obj->translate(($paper_width - $margin_left - $margin_right) / 2 + $margin_left - $text_obj->advancewidth($opts->{title}) / 2,
+      $text_obj->translate(($paper_width - $margin_left - $margin_right) / 2 + $margin_left - $text_obj->advancewidth($title) / 2,
                            $paper_height - $margin_top);
-      $text_obj->text($opts->{title}, '-underline' => 1);
+      $text_obj->text($title, '-underline' => 1);
     }
   }
 
   my $content = $pdf->stringify();
 
+  $main::lxdebug->message(LXDebug->DEBUG2(),"addattachments ?? =".$form->{report_generator_addattachments}." GL=".$form->{GL});
+  if ($form->{report_generator_addattachments} && $form->{GL}) {
+    $content = $self->append_gl_pdf_attachments($form,$content);
+  }
+
+  # 1. check if we return the report as binary pdf
+  if ($params{want_binary_pdf}) {
+    return $content;
+  }
+  # 2. check if we want and can directly print the report
   my $printer_command;
   if ($pdfopts->{print} && $pdfopts->{printer_id}) {
     $form->{printer_id} = $pdfopts->{printer_id};
     $form->get_printer_code($myconfig);
     $printer_command = $form->{printer_command};
   }
-
   if ($printer_command) {
     $self->_print_content('printer_command' => $printer_command,
                           'content'         => $content,
@@ -583,12 +737,15 @@ sub render_pdf_with_pdf_api2 {
     $form->{report_generator_printed} = 1;
 
   } else {
+  # 3. default: redirect http with file attached
     my $filename = $self->get_attachment_basename();
 
     print qq|content-type: application/pdf\n|;
     print qq|content-disposition: attachment; filename=${filename}.pdf\n\n|;
 
-    print $content;
+    $::locale->with_raw_io(\*STDOUT, sub {
+      print $content;
+    });
   }
 }
 
@@ -602,111 +759,6 @@ sub verify_paper_size {
   return $allowed_paper_sizes{$requested_paper_size} ? $requested_paper_size : $default_paper_size;
 }
 
-sub render_pdf_with_html2ps {
-  my $self      = shift;
-  my $variables = $self->prepare_html_content();
-  my $form      = $self->{form};
-  my $myconfig  = $self->{myconfig};
-  my $opt       = $self->{options}->{pdf_export};
-
-  my $opt_number     = $opt->{number}                     ? 'number : 1'    : '';
-  my $opt_landscape  = $opt->{orientation} eq 'landscape' ? 'landscape : 1' : '';
-
-  my $opt_paper_size = $self->verify_paper_size($opt->{paper_size}, 'a4');
-
-  my $html2ps_config = <<"END"
-\@html2ps {
-  option {
-    titlepage: 0;
-    hyphenate: 0;
-    colour: 1;
-    ${opt_landscape};
-    ${opt_number};
-  }
-  paper {
-    type: ${opt_paper_size};
-  }
-  break-table: 1;
-}
-
-\@page {
-  margin-top:    $opt->{margin_top}cm;
-  margin-left:   $opt->{margin_left}cm;
-  margin-bottom: $opt->{margin_bottom}cm;
-  margin-right:  $opt->{margin_right}cm;
-}
-
-BODY {
-  font-family: Helvetica;
-  font-size:   $opt->{font_size}pt;
-}
-
-END
-  ;
-
-  my $printer_command;
-  if ($opt->{print} && $opt->{printer_id}) {
-    $form->{printer_id} = $opt->{printer_id};
-    $form->get_printer_code($myconfig);
-    $printer_command = $form->{printer_command};
-  }
-
-  my $cfg_file_name = Common::tmpname() . '-html2ps-config';
-  my $cfg_file      = IO::File->new($cfg_file_name, 'w') || $form->error($locale->text('Could not write the html2ps config file.'));
-
-  $cfg_file->print($html2ps_config);
-  $cfg_file->close();
-
-  my $html_file_name = Common::tmpname() . '.html';
-  my $html_file      = IO::File->new($html_file_name, 'w');
-
-  if (!$html_file) {
-    unlink $cfg_file_name;
-    $form->error($locale->text('Could not write the temporary HTML file.'));
-  }
-
-  $html_file->print($form->parse_html_template($self->{options}->{pdf_template}, $variables));
-  $html_file->close();
-
-  my $cmdline =
-    "\"${main::html2ps_bin}\" -f \"${cfg_file_name}\" \"${html_file_name}\" | " .
-    "\"${main::ghostscript_bin}\" -q -dSAFER -dNOPAUSE -dBATCH -sDEVICE=pdfwrite -sPAPERSIZE=${opt_paper_size} -sOutputFile=- -c .setpdfwrite -";
-
-  my $gs = IO::File->new("${cmdline} |");
-  if ($gs) {
-    my $content;
-
-    if (!$printer_command) {
-      my $filename = $self->get_attachment_basename();
-      print qq|content-type: application/pdf\n|;
-      print qq|content-disposition: attachment; filename=${filename}.pdf\n\n|;
-
-      while (my $line = <$gs>) {
-        print $line;
-      }
-
-    } else {
-      while (my $line = <$gs>) {
-        $content .= $line;
-      }
-    }
-
-    $gs->close();
-    unlink $cfg_file_name, $html_file_name;
-
-    if ($printer_command && $content) {
-      $self->_print_content('printer_command' => $printer_command,
-                            'content'         => $content,
-                            'copies'          => $opt->{copies});
-      $form->{report_generator_printed} = 1;
-    }
-
-  } else {
-    unlink $cfg_file_name, $html_file_name;
-    $form->error($locale->text('Could not spawn html2ps or GhostScript.'));
-  }
-}
-
 sub _print_content {
   my $self   = shift;
   my %params = @_;
@@ -719,31 +771,26 @@ sub _print_content {
   }
 }
 
-sub generate_pdf_content {
-  my $self = shift;
+sub _handle_quoting_and_encoding {
+  my ($self, $text, $do_unquote, $encoding) = @_;
 
-  eval { require PDF::API2; require PDF::Table; };
+  $text = $main::locale->unquote_special_chars('HTML', $text) if $do_unquote;
+  $text = Encode::encode($encoding || 'UTF-8', $text);
 
-  if ($@) {
-    return $self->render_pdf_with_html2ps(@_);
-  } else {
-    return $self->render_pdf_with_pdf_api2(@_);
-  }
+  return $text;
 }
 
-sub unescape_string {
-  my $self  = shift;
-  my $text  = shift;
-  my $iconv = $main::locale->{iconv};
-
-  $text     = $main::locale->unquote_special_chars('HTML', $text);
-  $text     = $main::locale->{iconv}->convert($text) if ($main::locale->{iconv});
+sub generate_csv_content {
+  my $self   = shift;
+  my $stdout = ($::dispatcher->get_standard_filehandles)[1];
 
-  return $text;
+  # Text::CSV_XS seems to downgrade to bytes already (see
+  # SL/FCGIFixes.pm). Therefore don't let FCGI do that again.
+  $::locale->with_raw_io($stdout, sub { $self->_generate_csv_content($stdout) });
 }
 
-sub generate_csv_content {
-  my $self = shift;
+sub _generate_csv_content {
+  my ($self, $stdout) = @_;
 
   my %valid_sep_chars    = (';' => ';', ',' => ',', ':' => ':', 'TAB' => "\t");
   my %valid_escape_chars = ('"' => 1, "'" => 1);
@@ -763,32 +810,60 @@ sub generate_csv_content {
                                 'quote_char'  => $quote_char,
                                 'eol'         => $eol, });
 
-  my $stdout          = wraphandle(\*STDOUT);
   my @visible_columns = $self->get_visible_columns('CSV');
 
   if ($opts->{headers}) {
-    $csv->print($stdout, [ map { $self->unescape_string($self->{columns}->{$_}->{text}) } @visible_columns ]);
+    if (!$self->{custom_headers}) {
+      $csv->print($stdout, [ map { $self->_handle_quoting_and_encoding($self->{columns}->{$_}->{text}, 1, $opts->{encoding}) } @visible_columns ]);
+
+    } else {
+      foreach my $row (@{ $self->{custom_headers} }) {
+        my $fields = [ ];
+
+        foreach my $col (@{ $row }) {
+          my $num_output = ($col->{colspan} && ($col->{colspan} > 1)) ? $col->{colspan} : 1;
+          push @{ $fields }, ($self->_handle_quoting_and_encoding($col->{text}, 1, $opts->{encoding})) x $num_output;
+        }
+
+        $csv->print($stdout, $fields);
+      }
+    }
   }
 
   foreach my $row_set (@{ $self->{data} }) {
     next if ('ARRAY' ne ref $row_set);
     foreach my $row (@{ $row_set }) {
       my @data;
+      my $skip_next = 0;
       foreach my $col (@visible_columns) {
-        push @data, join($eol, map { s/\r?\n/$eol/g; $_ } @{ $row->{$col}->{data} });
+        if ($skip_next) {
+          $skip_next--;
+          next;
+        }
+
+        my $num_output = ($row->{$col}{colspan} && ($row->{$col}->{colspan} > 1)) ? $row->{$col}->{colspan} : 1;
+        $skip_next     = $num_output - 1;
+
+        push @data, join($eol, map { s/\r?\n/$eol/g; $self->_handle_quoting_and_encoding($_, 0, $opts->{encoding}) } @{ $row->{$col}->{data} });
+        push @data, ('') x $skip_next if ($skip_next);
       }
+
       $csv->print($stdout, \@data);
     }
   }
 }
 
+sub check_for_pdf_api {
+  return eval { require PDF::API2; 1; } ? 1 : 0;
+}
+
 1;
 
 __END__
 
 =head1 NAME
 
-SL::ReportGenerator.pm: the Lx-Office way of getting data in shape
+SL::ReportGenerator.pm: the kivitendo way of getting data in shape
 
 =head1 SYNOPSIS
 
@@ -799,7 +874,7 @@ SL::ReportGenerator.pm: the Lx-Office way of getting data in shape
      $report->add_data($row1, $row2, @more_rows);
      $report->generate_with_headers();
 
-This creates a report object, sets a few columns, adds some data and generates a standard report. 
+This creates a report object, sets a few columns, adds some data and generates a standard report.
 Sorting of columns will be alphabetic, and options will be set to their defaults.
 The report will be printed including table headers, html headers and http headers.
 
@@ -812,9 +887,9 @@ Then there are some options made by the user, such as hidden columns. You add mo
 Then it lacks usability. You want it to be able to sort the data. You add code for that.
 Then there are too many results, you need pagination, you want to print or export that data..... and so on.
 
-The ReportGenerator class was designed because this exact scenario happened about half a dozen times in Lx-Office. 
-It's purpose is to manage all those formating, culling, sorting, and templating. 
-Which makes it almost as complicated to use as doing the work for yourself.
+The ReportGenerator class was designed because this exact scenario happened about half a dozen times in kivitendo.
+It's purpose is to manage all those formating, culling, sorting, and templating.
+Which makes it almost as complicated to use as doing the work by yourself.
 
 =head1 FUNCTIONS
 
@@ -824,7 +899,7 @@ Which makes it almost as complicated to use as doing the work for yourself.
 
 Creates a new ReportGenerator object, sets all given options, and returns it.
 
-=item set_columns @columns
+=item set_columns %columns
 
 Sets the columns available to this report.
 
@@ -834,16 +909,21 @@ Sets the order of columns. Any columns not present here are appended in alphabet
 
 =item set_sort_indicator $column,$direction
 
-Sets sorting ot the table by specifying a column and a direction, where the direction will be evaluated to ascending if true.
-Note that this is only for displaying. The data has to be presented already sorted.
+Sets sorting of the table by specifying a column and a direction, where the direction will be evaluated to ascending if true.
+Note that this is only for displaying. The data has to have already been sorted when it was added.
 
 =item add_data \@data
 
 =item add_data \%data
 
-Adds data to the report. A given hash_ref is interpreted as a single line of data, every array_ref as a collection of lines. 
-Every line will be expected to be in a kay => value format. Note that this data has to be already sorted. 
-ReportGenerator does no sorting on its own, only provides links to sorting and visual cue as to which column was sorted by.
+Adds data to the report. A given hash_ref is interpreted as a single line of
+data, every array_ref as a collection of lines.  Every line will be expected to
+be in a key => value format. Note that the rows have to already have been
+sorted.
+
+The ReportGenerator is only able to display pre-sorted data and to indicate by
+which column and in which direction the data has been sorted via visual clues
+in the column headers. It also provides links to invert the sort direction.
 
 =item add_separator
 
@@ -852,12 +932,12 @@ Adds a separator line to the report.
 =item add_control \%data
 
 Adds a control element to the data. Control elements are an experimental feature to add functionality to a report the regular data cannot.
-Every control element needs to set IS_CONTROL_DATA, in order to be recongnized by the template. 
+Every control element needs to set IS_CONTROL_DATA, in order to be recognized by the template.
 Currently the only control element is a colspan element, which can be used as a mini header further down the report.
 
 =item clear_data
 
-Deletes all data filled into the report, but keeps options set.
+Deletes all data added to the report, but keeps options set.
 
 =item set_options %options
 
@@ -877,7 +957,7 @@ Returns the set attachment_basename option, or 'report' if nothing was set. See
 
 =item generate_with_headers
 
-Parses the report, adds headers and prints it out. Headers depend on the option 'output_format', 
+Parses the report, adds headers and prints it out. Headers depend on the option 'output_format',
 for example 'HTML' will add proper table headers, html headers and http headers. See configuration for this option.
 
 =item get_visible_columns $format
@@ -890,28 +970,25 @@ Escapes HTML characters in $value and substitutes newlines with '<br>'. Returns
 
 =item prepare_html_content $column,$name,@column_headers
 
-Parses the data, and sets internal data needed for certain output format. Must be called once before the template is invoked. 
-Should not be called extrenally, since all render and generate functions invoke it anyway.
+Parses the data, and sets internal data needed for certain output format. Must be called once before the template is invoked.
+Should not be called externally, since all render and generate functions invoke it anyway.
+
 =item generate_html_content
 
 The html generation function. Is invoked by generate_with_headers.
 
 =item generate_pdf_content
 
-The PDF generation function. Is invoked by the pdf render functions.
-
-=item generate_csv_content
-
-The CSV generation function. Uses XS_CSV to parse the information into csv.
+The PDF generation function. It is invoked by generate_with_headers and renders the PDF with the PDF::API2 library.
 
-=item render_pdf_with_pdf_api2
+If the param want_binary_pdf is set, the binary pdf stream will be returned.
+If $pdfopts->{print} && $pdfopts->{printer_id} are set, the pdf will be printed (output is directed to print command).
 
-PDF render function. Uses PDF module.
+Otherwise and the default a html form with a downloadable file is returned.
 
-=item render_pdf_with_html2ps
+=item generate_csv_content
 
-PDF render function. Uses html2ps to render.
+The CSV generation function. Uses XS_CSV to parse the information into csv.
 
 =back
 
@@ -943,9 +1020,11 @@ Used to determine if a button for CSV export should be displayed. Default is yes
 
 The template to be used for HTML reports. Default is 'report_generator/html_report'.
 
-=item pdf_template
+=item controller_class
 
-The template to be used for PDF reports. Default is 'report_generator/pdf_report'.
+If this is used from a C<SL::Controller::Base> based controller class, pass the
+class name here and make sure C<SL::Controller::Helper::ReportGenerator> is
+used in the controller. That way the exports stay functional.
 
 =back
 
@@ -955,19 +1034,19 @@ The template to be used for PDF reports. Default is 'report_generator/pdf_report
 
 =item paper_size
 
-Paper size. Default is a4.
+Paper size. Default is a4. Supported paper sizes are a3, a4, a5, letter and legal.
 
 =item orientation (landscape)
 
 Landscape or portrait. Default is landscape.
 
-=item font_name 
+=item font_name
 
-Default is Verdana.
+Default is Verdana. Supported font names are Courier, Georgia, Helvetica, Times and Verdana. This option only affects the rendering with PDF::API2.
 
 =item font_size
 
-Default is 7.
+Default is 7. This option only affects the rendering with PDF::API2.
 
 =item margin_top
 
@@ -977,15 +1056,15 @@ Default is 7.
 
 =item margin_right
 
-Default all to 1.5.
+The paper margins in cm. They all default to 1.5.
 
 =item number
 
-Default is 1.
+Set to a true value if the pages should be numbered. Default is 1.
 
 =item print
 
-Print or not? Default is no.
+If set then the resulting PDF will be output to a printer. If not it will be downloaded by the user. Default is no.
 
 =item printer_id
 
@@ -1011,7 +1090,7 @@ Character to separate entries. Default is semicolon (;).
 
 =item escape_char
 
-Character to escape the quote_char. Default is souble quote (").
+Character to escape the quote_char. Default is double quote (").
 
 =item eol_style
 
@@ -1021,6 +1100,10 @@ End of line style. Default is Unix.
 
 Include headers? Default is yes.
 
+=item encoding
+
+Character encoding. Default is UTF-8.
+
 =back
 
 =head1 SEE ALO