epic-s6ts
[kivitendo-erp.git] / scripts / dbupgrade2_tool.pl
index 74d6326..c3ef1e7 100755 (executable)
@@ -1,28 +1,28 @@
 #!/usr/bin/perl
 
 BEGIN {
-  if (! -d "bin" || ! -d "SL") {
-    print("This tool must be run from the Lx-Office ERP base directory.\n");
-    exit(1);
-  }
+  use FindBin;
 
-  unshift @INC, "modules/override"; # Use our own versions of various modules (e.g. YAML).
-  push    @INC, "modules/fallback"; # Only use our own versions of modules if there's no system version.
+  unshift(@INC, $FindBin::Bin . '/../modules/override'); # Use our own versions of various modules (e.g. YAML).
+  push   (@INC, $FindBin::Bin . '/..');
 }
 
-
 use strict;
+use warnings;
 
 use utf8;
 use English '-no_match_vars';
 
+use Config::Std;
 use DBI;
 use Data::Dumper;
 use Getopt::Long;
 use Text::Iconv;
 
 use SL::LXDebug;
+use SL::LxOfficeConf;
 
+SL::LxOfficeConf->read;
 our $lxdebug = LXDebug->new();
 
 use SL::Auth;
@@ -38,10 +38,22 @@ use SL::Dispatcher;
 #######
 
 my ($opt_list, $opt_tree, $opt_rtree, $opt_nodeps, $opt_graphviz, $opt_help);
-my ($opt_user, $opt_apply, $opt_applied, $opt_format, $opt_test_utf8);
-my ($opt_dbhost, $opt_dbport, $opt_dbname, $opt_dbuser, $opt_dbpassword);
+my ($opt_user, $opt_client, $opt_apply, $opt_applied, $opt_unapplied, $opt_format, $opt_test_utf8);
+my ($opt_dbhost, $opt_dbport, $opt_dbname, $opt_dbuser, $opt_dbpassword, $opt_create, $opt_type);
+my ($opt_description, @opt_depends, $opt_auth_db);
+
+our (%myconfig, $form, $user, $auth, $locale, $controls, $dbupgrader);
+
+sub connect_auth {
+  return $auth if $auth;
+
+  $auth = SL::Auth->new;
+  if (!$auth->session_tables_present) {
+    $form->error("The session and user management tables are not present in the authentication database. Please use the administration web interface to create them.");
+  }
 
-our (%myconfig, $form, $user, $auth, $locale, $controls);
+  return $auth;
+}
 
 sub show_help {
   my $help_text = <<"END_HELP"
@@ -68,26 +80,47 @@ dbupgrade2_tool.pl [options]
                          for it\'s option \'-T\' are acceptable.
     --nodeps             List all database upgrades that no other upgrade
                          depends on
+    --create=tag         Creates a new upgrade with the supplied tag. This
+                         action accepts several optional other options. See
+                         the option section for those. After creating the
+                         upgrade file your \$EDITOR will be called with it.
     --apply=tag          Applies the database upgrades \'tag\' and all
                          upgrades it depends on. If \'--apply\' is used
-                         then the option \'--user\' must be used as well.
+                         then the option \'--user\' and \'--client\' must be
+                         used as well. Use \'--apply=ALL\' to apply all.
     --applied            List the applied database upgrades for the
                          database that the user given with \'--user\' uses.
+    --unapplied          List the database upgrades that haven\'t been applied
+                         yet to the database that the user given with
+                         \'--user\' uses.
     --test-utf8          Tests a PostgreSQL cluster for proper UTF-8 support.
                          You have to specify the database to test with the
                          parameters --dbname, --dbhost, --dbport, --dbuser
                          and --dbpassword.
     --help               Show this help and exit.
 
-  Options:
+  General Options:
+    --client=id-or-name  The name (or database ID) of the client to use for
+                         database connectivity. You must provide both a client
+                         and a user.
     --user=name          The name of the user configuration to use for
-                         database connectivity.
+                         database connectivity. You must provide both a client
+                         and a user.
+    --auth-db            Work on the authentication database instead of a
+                         user database.
     --dbname=name        Database connection options for the UTF-8
     --dbhost=host        handling test.
     --dbport=port
     --dbuser=user
     --dbpassword=pw
 
+  Options for --create:
+    --type               \'sql\' or \'pl\'. Defaults to sql.
+    --description        The description field of the generated upgrade.
+    --depends            Tags of upgrades which this upgrade depends upon.
+                         Defaults to the latest stable release upgrade.
+                         Multiple values possible.
+
 END_HELP
 ;
 
@@ -108,7 +141,7 @@ sub calc_rev_depends {
 }
 
 sub dump_list {
-  my @sorted_controls = sort_dbupdate_controls($controls);
+  my @sorted_controls = $dbupgrader->sort_dbupdate_controls;
 
   print "LIST VIEW\n\n" .
     "number tag depth priority\n";
@@ -137,7 +170,7 @@ sub dump_tree {
 
   calc_rev_depends();
 
-  my @sorted_controls = sort_dbupdate_controls($controls);
+  my @sorted_controls = $dbupgrader->sort_dbupdate_controls;
 
   foreach my $control (@sorted_controls) {
     dump_node($control->{tag}, "") unless (@{ $control->{rev_depends} });
@@ -161,7 +194,7 @@ sub dump_tree_reverse {
 
   calc_rev_depends();
 
-  my @sorted_controls = sort_dbupdate_controls($controls);
+  my @sorted_controls = $dbupgrader->sort_dbupdate_controls;
 
   foreach my $control (@sorted_controls) {
     last if ($control->{depth} > 1);
@@ -194,7 +227,8 @@ sub dump_graphviz {
   foreach my $c (values %{ $controls }) {
     $ranks{$c->{depth}} ||= [];
 
-    my ($pre, $post) = ('node [fillcolor=lightgray] ', 'node [fillcolor=white] ') if (!scalar @{ $c->{rev_depends} });
+    my ($pre, $post) = @{ $c->{rev_depends} } ? ('')x2 :
+      (map "node [fillcolor=$_] ", qw(lightgray white));
 
     push @{ $ranks{$c->{"depth"}} }, qq|${pre}"$c->{tag}"; ${post}|;
   }
@@ -204,10 +238,10 @@ sub dump_graphviz {
   }
 
   foreach my $c (values %{ $controls }) {
-    print OUT "$c->{tag};\n";
+    print OUT qq|"$c->{tag}";\n|;
 
     foreach my $d (@{ $c->{depends} }) {
-      print OUT "$c->{tag} -> $d;\n";
+      print OUT qq|"$c->{tag}" -> "$d";\n|;
     }
   }
 
@@ -223,6 +257,67 @@ sub dump_nodeps {
     "\n\n";
 }
 
+sub create_upgrade {
+  my (%params) = @_;
+
+  my $filename    = $params{filename};
+  my $dbupgrader  = $params{dbupgrader};
+  my $type        = $params{type}        || 'sql';
+  my $description = $params{description} || '';
+  my @depends     = @{ $params{depends} };
+
+  my $encoding    = 'utf-8';
+
+  if (!@depends) {
+    my @releases = grep { /^release_/ } keys %$controls;
+    @depends = ((sort @releases)[-1]);
+  }
+
+  my $comment;
+  if ($type eq 'sql') {
+    $comment = '--';
+  } elsif ($type eq 'pl') {
+    $comment = '#';
+  } elsif (!$type) {
+    die 'Error: No --type was given but is required for --create.';
+  } else {
+    die 'Error: Unknown --type. Try "sql" or "pl".';
+  }
+
+  my $full_filename = $dbupgrader->path . '/' . $filename . '.' . $type;
+
+  die "file '$full_filename' already exists, aborting" if -f $full_filename;
+
+
+  open my $fh, ">:encoding($encoding)", $full_filename or die "can't open $full_filename";
+  print $fh "$comment \@tag: $filename\n";
+  print $fh "$comment \@description: $description\n";
+  print $fh "$comment \@depends: @depends\n";
+
+  if ($type eq 'pl') {
+    print $fh "package SL::DBUpgrade2::$filename;\n";
+    print $fh "\n";
+    print $fh "use strict;\n";
+    print $fh "use utf8;\n" if $encoding =~ /utf.?8/i;
+    print $fh "\n";
+    print $fh "use parent qw(SL::DBUpgrade2::Base);\n";
+    print $fh "\n";
+    print $fh "sub run {\n";
+    print $fh "  my (\$self) = \@_;\n";
+    print $fh "\n";
+    print $fh "}\n";
+    print $fh "\n";
+    print $fh "1;\n";
+  }
+
+  close $fh;
+
+  print "File $full_filename created.\n";
+
+  system("\$EDITOR $full_filename");
+  exit 0;
+}
+
 sub apply_upgrade {
   my $name = shift;
 
@@ -243,7 +338,7 @@ sub apply_upgrade {
 
   my @upgradescripts = map { $controls->{$_}->{applied} = 0; $controls->{$_} } @order;
 
-  my $dbh = $form->dbconnect_noauto(\%myconfig);
+  my $dbh            = $opt_auth_db ? connect_auth()->dbconnect : SL::DB->client->dbh;
 
   $dbh->{PrintWarn}  = 0;
   $dbh->{PrintError} = 0;
@@ -270,15 +365,10 @@ sub apply_upgrade {
 
     # apply upgrade
     print "Applying upgrade $control->{file}\n";
-
-    if ($file_type eq "sql") {
-      $user->process_query($form, $dbh, "sql/$form->{dbdriver}-upgrade2/$control->{file}", $control);
-    } else {
-      $user->process_perl_script($form, $dbh, "sql/$form->{dbdriver}-upgrade2/$control->{file}", $control);
-    }
+    $dbupgrader->process_file($dbh, "sql/Pg-upgrade2/$control->{file}", $control);
   }
 
-  $dbh->disconnect();
+  $dbh->disconnect unless $opt_auth_db;
 }
 
 sub dump_sql_result {
@@ -311,7 +401,8 @@ sub dump_sql_result {
 sub dump_applied {
   my @results;
 
-  my $dbh = $form->dbconnect_noauto(\%myconfig);
+  my $dbh            = $opt_auth_db ? connect_auth()->dbconnect : SL::DB->client->dbh;
+  $dbh->{AutoCommit} = 0;
 
   $dbh->{PrintWarn}  = 0;
   $dbh->{PrintError} = 0;
@@ -326,7 +417,7 @@ sub dump_applied {
   }
   $sth->finish();
 
-  $dbh->disconnect();
+  $dbh->disconnect unless $opt_auth_db;
 
   if (!scalar @results) {
     print "No database upgrades have been applied yet.\n";
@@ -335,6 +426,25 @@ sub dump_applied {
   }
 }
 
+sub dump_unapplied {
+  my @results;
+
+  my $dbh = $opt_auth_db ? connect_auth()->dbconnect : SL::DB->client->dbh;
+
+  $dbh->{PrintWarn}  = 0;
+  $dbh->{PrintError} = 0;
+
+  my @unapplied = $dbupgrader->unapplied_upgrade_scripts($dbh);
+
+  $dbh->disconnect unless $opt_auth_db;
+
+  if (!scalar @unapplied) {
+    print "All database upgrades have been applied.\n";
+  } else {
+    print map { $_->{tag} . "\n" } @unapplied;
+  }
+}
+
 sub build_upgrade_order {
   my $name  = shift;
   my $order = shift;
@@ -356,11 +466,12 @@ sub build_upgrade_order {
 #######
 #######
 
-eval { require "config/lx-erp.conf"; };
-eval { require "config/lx-erp-local.conf"; } if (-f "config/lx-erp-local.conf");
-
-$form = Form->new();
-$locale = Locale->new("de");
+$locale    = Locale->new;
+$form      = Form->new;
+$::request = SL::Request->new(
+  cgi    => CGI->new({}),
+  layout => SL::Layout::None->new,
+);
 
 #######
 #######
@@ -373,20 +484,28 @@ GetOptions("list"         => \$opt_list,
            "graphviz:s"   => \$opt_graphviz,
            "format:s"     => \$opt_format,
            "user=s"       => \$opt_user,
+           "client=s"     => \$opt_client,
            "apply=s"      => \$opt_apply,
            "applied"      => \$opt_applied,
+           "create=s"     => \$opt_create,
+           "type=s"       => \$opt_type,
+           "description=s" => \$opt_description,
+           "depends=s"    => \@opt_depends,
+           "unapplied"    => \$opt_unapplied,
            "test-utf8"    => \$opt_test_utf8,
            "dbhost:s"     => \$opt_dbhost,
            "dbport:s"     => \$opt_dbport,
            "dbname:s"     => \$opt_dbname,
            "dbuser:s"     => \$opt_dbuser,
            "dbpassword:s" => \$opt_dbpassword,
+           "auth-db"      => \$opt_auth_db,
            "help"         => \$opt_help,
   );
 
 show_help() if ($opt_help);
 
-$controls = parse_dbupdate_controls($form, "Pg");
+$dbupgrader = SL::DBUpgrade2->new(form => $form, auth => $opt_auth_db);
+$controls   = $dbupgrader->parse_dbupdate_controls->{all_controls};
 
 dump_list()                                 if ($opt_list);
 dump_tree()                                 if ($opt_tree);
@@ -394,37 +513,47 @@ dump_tree_reverse()                         if ($opt_rtree);
 dump_graphviz('file_name' => $opt_graphviz,
               'format'    => $opt_format)   if (defined $opt_graphviz);
 dump_nodeps()                               if ($opt_nodeps);
+create_upgrade(filename   => $opt_create,
+               dbupgrader  => $dbupgrader,
+               type        => $opt_type,
+               description => $opt_description,
+               depends     => \@opt_depends) if ($opt_create);
+
+if ($opt_client && !connect_auth()->set_client($opt_client)) {
+  $form->error($form->format_string("The client '#1' does not exist.", $opt_client));
+}
 
 if ($opt_user) {
-  $auth = SL::Auth->new();
-  if (!$auth->session_tables_present()) {
-    $form->error("The session and user management tables are not present in the " .
-                 "authentication database. Please use the administration web interface " .
-                 "and to create them.");
-  }
+  $form->error("Need a client, too.") if !$auth || !$auth->client;
 
-  %myconfig = $auth->read_user($opt_user);
+  %myconfig = connect_auth()->read_user(login => $opt_user);
 
   if (!$myconfig{login}) {
     $form->error($form->format_string("The user '#1' does not exist.", $opt_user));
   }
 
   $locale = new Locale($myconfig{countrycode}, "all");
-  $user   = new User($opt_user);
+  $user   = new User(login => $opt_user);
 
   map { $form->{$_} = $myconfig{$_} } keys %myconfig;
 }
 
 if ($opt_apply) {
-  $form->error("--apply used but no user name given with --user.") if (!$user);
+  $form->error("--apply used but no user name given with --user.") if !$user && !$opt_auth_db;
   apply_upgrade($opt_apply);
 }
 
 if ($opt_applied) {
-  $form->error("--applied used but no user name given with --user.") if (!$user);
+  $form->error("--applied used but no user name given with --user.") if !$user && !$opt_auth_db;
   dump_applied();
 }
 
+if ($opt_unapplied) {
+  $form->error("--unapplied used but no user name given with --user.") if !$user && !$opt_auth_db;
+  dump_unapplied();
+}
+
+
 if ($opt_test_utf8) {
   $form->error("--test-utf8 used but no database name given with --dbname.") if (!$opt_dbname);