Adjusted export-import to work with entity type in custom fields.
[timetracker.git] / WEB-INF / lib / ttOrgImportHelper.class.php
index dda7f75..20dd417 100644 (file)
 // | https://www.anuko.com/time_tracker/credits.htm
 // +----------------------------------------------------------------------+
 
-import('ttUserHelper');
-import('ttRoleHelper');
-import('ttTaskHelper');
-import('ttClientHelper');
-import('ttInvoiceHelper');
-import('ttTimeHelper');
-import('ttCustomFieldHelper');
-import('ttExpenseHelper');
-import('ttFavReportHelper');
-
 // ttOrgImportHelper class is used to import organization data from an XML file
 // prepared by ttOrgExportHelper and consisting of nested groups with their info.
 class ttOrgImportHelper {
   var $errors               = null; // Errors go here. Set in constructor by reference.
   var $schema_version       = null; // Database schema version from XML file we import from.
+  var $num_users            = 0;    // A number of active and inactive users we are importing.
   var $conflicting_logins   = null; // A comma-separated list of logins we cannot import.
   var $canImport      = true;    // False if we cannot import data due to a conflict such as login collision.
   var $firstPass      = true;    // True during first pass through the file.
   var $org_id         = null;    // Organization id (same as top group_id).
-  var $current_group_id        = null; // Current group id during parsing.
-  var $current_parent_group_id = null; // Current parent group id during parsing.
+  var $current_group_id     = null; // Current group id during parsing.
+  var $parents        = array(); // A stack of parent group ids for current group all the way to the root including self.
   var $top_role_id    = 0;       // Top role id.
 
   // Entity maps for current group. They map XML ids with database ids.
@@ -55,6 +46,7 @@ class ttOrgImportHelper {
   var $currentGroupProjectMap = array();
   var $currentGroupClientMap  = array();
   var $currentGroupUserMap    = array();
+  var $currentGroupTimesheetMap = array();
   var $currentGroupInvoiceMap = array();
   var $currentGroupLogMap     = array();
   var $currentGroupCustomFieldMap = array();
@@ -64,7 +56,7 @@ class ttOrgImportHelper {
   // Constructor.
   function __construct(&$errors) {
     $this->errors = &$errors;
-    $this->top_role_id = ttRoleHelper::getRoleByRank(512, 0);
+    $this->top_role_id = $this->getTopRole();
   }
 
   // startElement - callback handler for opening tags in XML.
@@ -91,7 +83,8 @@ class ttOrgImportHelper {
       // In first pass we check user logins for potential collisions with existing.
       if ($name == 'USER' && $this->canImport) {
         $login = $attrs['LOGIN'];
-        if ('' != $attrs['STATUS'] && ttUserHelper::getUserByLogin($login)) {
+        if ('' != $attrs['STATUS']) $this->num_users++;
+        if ('' != $attrs['STATUS'] && $this->loginExists($login)) {
           // We have a login collision. Append colliding login to a list of things we cannot import.
           $this->conflicting_logins .= ($this->conflicting_logins ? ", $login" : $login);
           // The above is printed in error message with all found colliding logins.
@@ -107,9 +100,11 @@ class ttOrgImportHelper {
       if ($name == 'GROUP') {
         // Create a new group.
         $this->current_group_id = $this->createGroup(array(
-          'parent_id' => $this->current_parent_group_id,
+          'parent_id' => $this->current_group_id, // Note: after insert current_group_id changes.
           'org_id' => $this->org_id,
+          'group_key' => $attrs['GROUP_KEY'],
           'name' => $attrs['NAME'],
+          'description' => $attrs['DESCRIPTION'],
           'currency' => $attrs['CURRENCY'],
           'decimal_mark' => $attrs['DECIMAL_MARK'],
           'lang' => $attrs['LANG'],
@@ -135,22 +130,28 @@ class ttOrgImportHelper {
           $sql = "update tt_groups set org_id = $this->current_group_id where org_id is NULL and id = $this->current_group_id";
           $affected = $mdb2->exec($sql);
         }
-        // Set parent group to create subgroups with this group as parent at next entry here.
-        $this->current_parent_group_id = $this->current_group_id;
-        return;
-      }
-
-      if ($name == 'ROLES') {
-        // If we get here, we have to recycle $currentGroupRoleMap.
-        unset($this->currentGroupRoleMap);
-        $this->currentGroupRoleMap = array();
-        // Role map is reconstructed after processing <role> elements in XML. See below.
+        // Add self to parent stack.
+        array_push($this->parents, $this->current_group_id);
+
+        // Recycle all maps as we are starting to work on new group.
+        // Note that for this to work properly all nested groups must be last entries in xml for each group.
+        unset($this->currentGroupRoleMap); $this->currentGroupRoleMap = array();
+        unset($this->currentGroupTaskMap); $this->currentGroupTaskMap = array();
+        unset($this->currentGroupProjectMap); $this->currentGroupProjectMap = array();
+        unset($this->currentGroupClientMap); $this->currentGroupClientMap = array();
+        unset($this->currentGroupUserMap); $this->currentGroupUserMap = array();
+        unset($this->currentGroupTimesheetMap); $this->currentGroupTimesheetMap = array();
+        unset($this->currentGroupInvoiceMap); $this->currentGroupInvoiceMap = array();
+        unset($this->currentGroupLogMap); $this->currentGroupLogMap = array();
+        unset($this->currentGroupCustomFieldMap); $this->currentGroupCustomFieldMap = array();
+        unset($this->currentGroupCustomFieldOptionMap); $this->currentGroupCustomFieldOptionMap = array();
+        unset($this->currentGroupFavReportMap); $this->currentGroupCustomFavReportMap = array();
         return;
       }
 
       if ($name == 'ROLE') {
         // We get here when processing <role> tags for the current group.
-        $role_id = ttRoleHelper::insert(array(
+        $role_id = $this->insertRole(array(
           'group_id' => $this->current_group_id,
           'org_id' => $this->org_id,
           'name' => $attrs['NAME'],
@@ -161,21 +162,15 @@ class ttOrgImportHelper {
         if ($role_id) {
           // Add a mapping.
           $this->currentGroupRoleMap[$attrs['ID']] = $role_id;
-        } else $this->errors->add($i18n->get('error.db'));
-        return;
-      }
-
-      if ($name == 'TASKS') {
-        // If we get here, we have to recycle $currentGroupTaskMap.
-        unset($this->currentGroupTaskMap);
-        $this->currentGroupTaskMap = array();
-        // Task map is reconstructed after processing <task> elements in XML. See below.
+        } else {
+          $this->errors->add($i18n->get('error.db'));
+        }
         return;
       }
 
       if ($name == 'TASK') {
         // We get here when processing <task> tags for the current group.
-        $task_id = ttTaskHelper::insert(array(
+        $task_id = $this->insertTask(array(
           'group_id' => $this->current_group_id,
           'org_id' => $this->org_id,
           'name' => $attrs['NAME'],
@@ -184,15 +179,9 @@ class ttOrgImportHelper {
         if ($task_id) {
           // Add a mapping.
           $this->currentGroupTaskMap[$attrs['ID']] = $task_id;
-        } else $this->errors->add($i18n->get('error.db'));
-        return;
-      }
-
-      if ($name == 'PROJECTS') {
-        // If we get here, we have to recycle $currentGroupProjectMap.
-        unset($this->currentGroupProjectMap);
-        $this->currentGroupProjectMap = array();
-        // Project map is reconstructed after processing <project> elements in XML. See below.
+        } else {
+          $this->errors->add($i18n->get('error.db'));
+        }
         return;
       }
 
@@ -216,15 +205,9 @@ class ttOrgImportHelper {
         if ($project_id) {
           // Add a mapping.
           $this->currentGroupProjectMap[$attrs['ID']] = $project_id;
-        } else $this->errors->add($i18n->get('error.db'));
-        return;
-      }
-
-      if ($name == 'CLIENTS') {
-        // If we get here, we have to recycle $currentGroupClientMap.
-        unset($this->currentGroupClientMap);
-        $this->currentGroupClientMap = array();
-        // Client map is reconstructed after processing <client> elements in XML. See below.
+        } else {
+          $this->errors->add($i18n->get('error.db'));
+        }
         return;
       }
 
@@ -249,15 +232,9 @@ class ttOrgImportHelper {
         if ($client_id) {
           // Add a mapping.
           $this->currentGroupClientMap[$attrs['ID']] = $client_id;
-        } else $this->errors->add($i18n->get('error.db'));
-        return;
-      }
-
-      if ($name == 'USERS') {
-        // If we get here, we have to recycle $currentGroupUserMap.
-        unset($this->currentGroupUserMap);
-        $this->currentGroupUserMap = array();
-        // User map is reconstructed after processing <user> elements in XML. See below.
+        } else {
+          $this->errors->add($i18n->get('error.db'));
+        }
         return;
       }
 
@@ -266,7 +243,7 @@ class ttOrgImportHelper {
 
         $role_id = $attrs['ROLE_ID'] === '0' ? $this->top_role_id :  $this->currentGroupRoleMap[$attrs['ROLE_ID']]; // 0 (not null) means top manager role.
 
-        $user_id = ttUserHelper::insert(array(
+        $user_id = $this->insertUser(array(
           'group_id' => $this->current_group_id,
           'org_id' => $this->org_id,
           'role_id' => $role_id,
@@ -275,17 +252,20 @@ class ttOrgImportHelper {
           'login' => $attrs['LOGIN'],
           'password' => $attrs['PASSWORD'],
           'rate' => $attrs['RATE'],
+          'quota_percent' => $attrs['QUOTA_PERCENT'],
           'email' => $attrs['EMAIL'],
           'status' => $attrs['STATUS']), false);
         if ($user_id) {
           // Add a mapping.
           $this->currentGroupUserMap[$attrs['ID']] = $user_id;
-        } else $this->errors->add($i18n->get('error.db'));
+        } else {
+          $this->errors->add($i18n->get('error.db'));
+        }
         return;
       }
 
       if ($name == 'USER_PROJECT_BIND') {
-        if (!ttUserHelper::insertBind(array(
+        if (!$this->insertUserProjectBind(array(
           'user_id' => $this->currentGroupUserMap[$attrs['USER_ID']],
           'project_id' => $this->currentGroupProjectMap[$attrs['PROJECT_ID']],
           'group_id' => $this->current_group_id,
@@ -297,17 +277,34 @@ class ttOrgImportHelper {
         return;
       }
 
-      if ($name == 'INVOICES') {
-        // If we get here, we have to recycle $currentGroupInvoiceMap.
-        unset($this->currentGroupInvoiceMap);
-        $this->currentGroupInvoiceMap = array();
-        // Invoice map is reconstructed after processing <invoice> elements in XML. See below.
+      if ($name == 'TIMESHEET') {
+        // We get here when processing <timesheet> tags for the current group.
+        $timesheet_id = $this->insertTimesheet(array(
+          'user_id' => $this->currentGroupUserMap[$attrs['USER_ID']],
+          'group_id' => $this->current_group_id,
+          'org_id' => $this->org_id,
+          'client_id' => $this->currentGroupClientMap[$attrs['CLIENT_ID']],
+          'project_id' => $this->currentGroupProjectMap[$attrs['PROJECT_ID']],
+          'name' => $attrs['NAME'],
+          'comment' => $attrs['COMMENT'],
+          'start_date' => $attrs['START_DATE'],
+          'end_date' => $attrs['END_DATE'],
+          'submit_status' => $attrs['SUBMIT_STATUS'],
+          'approve_status' => $attrs['APPROVE_STATUS'],
+          'approve_comment' => $attrs['APPROVE_COMMENT'],
+          'status' => $attrs['STATUS']));
+        if ($timesheet_id) {
+          // Add a mapping.
+          $this->currentGroupTimesheetMap[$attrs['ID']] = $timesheet_id;
+        } else {
+          $this->errors->add($i18n->get('error.db'));
+        }
         return;
       }
 
       if ($name == 'INVOICE') {
         // We get here when processing <invoice> tags for the current group.
-        $invoice_id = ttInvoiceHelper::insert(array(
+        $invoice_id = $this->insertInvoice(array(
           'group_id' => $this->current_group_id,
           'org_id' => $this->org_id,
           'name' => $attrs['NAME'],
@@ -317,21 +314,15 @@ class ttOrgImportHelper {
         if ($invoice_id) {
           // Add a mapping.
           $this->currentGroupInvoiceMap[$attrs['ID']] = $invoice_id;
-        } else $this->errors->add($i18n->get('error.db'));
-        return;
-      }
-
-      if ($name == 'LOG') {
-        // If we get here, we have to recycle $currentGroupLogMap.
-        unset($this->currentGroupLogMap);
-        $this->currentGroupLogMap = array();
-        // Log map is reconstructed after processing <log_item> elements in XML. See below.
+        } else {
+          $this->errors->add($i18n->get('error.db'));
+        }
         return;
       }
 
       if ($name == 'LOG_ITEM') {
         // We get here when processing <log_item> tags for the current group.
-        $log_item_id = ttTimeHelper::insert(array(
+        $log_item_id = $this->insertLogEntry(array(
           'user_id' => $this->currentGroupUserMap[$attrs['USER_ID']],
           'group_id' => $this->current_group_id,
           'org_id' => $this->org_id,
@@ -339,12 +330,14 @@ class ttOrgImportHelper {
           'start' => $attrs['START'],
           'finish' => $attrs['FINISH'],
           'duration' => $attrs['DURATION'],
-          'client' => $this->currentGroupClientMap[$attrs['CLIENT_ID']],
-          'project' => $this->currentGroupProjectMap[$attrs['PROJECT_ID']],
-          'task' => $this->currentGroupTaskMap[$attrs['TASK_ID']],
-          'invoice' => $this->currentGroupInvoiceMap[$attrs['INVOICE_ID']],
-          'note' => (isset($attrs['COMMENT']) ? $attrs['COMMENT'] : ''),
+          'client_id' => $this->currentGroupClientMap[$attrs['CLIENT_ID']],
+          'project_id' => $this->currentGroupProjectMap[$attrs['PROJECT_ID']],
+          'task_id' => $this->currentGroupTaskMap[$attrs['TASK_ID']],
+          'timesheet_id' => $this->currentGroupTimesheetMap[$attrs['TIMESHEET_ID']],
+          'invoice_id' => $this->currentGroupInvoiceMap[$attrs['INVOICE_ID']],
+          'comment' => (isset($attrs['COMMENT']) ? $attrs['COMMENT'] : ''),
           'billable' => $attrs['BILLABLE'],
+          'approved' => $attrs['APPROVED'],
           'paid' => $attrs['PAID'],
           'status' => $attrs['STATUS']));
         if ($log_item_id) {
@@ -354,19 +347,12 @@ class ttOrgImportHelper {
         return;
       }
 
-      if ($name == 'CUSTOM_FIELDS') {
-        // If we get here, we have to recycle $currentGroupCustomFieldMap.
-        unset($this->currentGroupCustomFieldMap);
-        $this->currentGroupCustomFieldMap = array();
-        // Custom field map is reconstructed after processing <custom_field> elements in XML. See below.
-        return;
-      }
-
       if ($name == 'CUSTOM_FIELD') {
         // We get here when processing <custom_field> tags for the current group.
-        $custom_field_id = ttCustomFieldHelper::insertField(array(
+        $custom_field_id = $this->insertCustomField(array(
           'group_id' => $this->current_group_id,
-          // 'org_id' => $this->org_id, TODO: add this when org_id field is added to the table.
+          'org_id' => $this->org_id,
+          'entity_type' => $attrs['ENTITY_TYPE'],
           'type' => $attrs['TYPE'],
           'label' => $attrs['LABEL'],
           'required' => $attrs['REQUIRED'],
@@ -378,19 +364,11 @@ class ttOrgImportHelper {
         return;
       }
 
-      if ($name == 'CUSTOM_FIELD_OPTIONS') {
-        // If we get here, we have to recycle $currentGroupCustomFieldOptionMap.
-        unset($this->currentGroupCustomFieldOptionMap);
-        $this->currentGroupCustomFieldOptionMap = array();
-        // Custom field option map is reconstructed after processing <custom_field_option> elements in XML. See below.
-        return;
-      }
-
       if ($name == 'CUSTOM_FIELD_OPTION') {
         // We get here when processing <custom_field_option> tags for the current group.
-        $custom_field_option_id = ttCustomFieldHelper::insertOption(array(
-          // 'group_id' => $this->current_group_id, TODO: add this when group_id field is added to the table.
-          // 'org_id' => $this->org_id, TODO: add this when org_id field is added to the table.
+        $custom_field_option_id = $this->insertCustomFieldOption(array(
+          'group_id' => $this->current_group_id,
+          'org_id' => $this->org_id,
           'field_id' => $this->currentGroupCustomFieldMap[$attrs['FIELD_ID']],
           'value' => $attrs['VALUE']));
         if ($custom_field_option_id) {
@@ -402,9 +380,9 @@ class ttOrgImportHelper {
 
       if ($name == 'CUSTOM_FIELD_LOG_ENTRY') {
         // We get here when processing <custom_field_log_entry> tags for the current group.
-        if (!ttCustomFieldHelper::insertLogEntry(array(
-          // 'group_id' => $this->current_group_id, TODO: add this when group_id field is added to the table.
-          // 'org_id' => $this->org_id, TODO: add this when org_id field is added to the table.
+        if (!$this->insertCustomFieldLogEntry(array(
+          'group_id' => $this->current_group_id,
+          'org_id' => $this->org_id,
           'log_id' => $this->currentGroupLogMap[$attrs['LOG_ID']],
           'field_id' => $this->currentGroupCustomFieldMap[$attrs['FIELD_ID']],
           'option_id' => $this->currentGroupCustomFieldOptionMap[$attrs['OPTION_ID']],
@@ -424,9 +402,11 @@ class ttOrgImportHelper {
           'org_id' => $this->org_id,
           'client_id' => $this->currentGroupClientMap[$attrs['CLIENT_ID']],
           'project_id' => $this->currentGroupProjectMap[$attrs['PROJECT_ID']],
+          'timesheet_id' => $this->currentGroupTimesheetMap[$attrs['TIMESHEET_ID']],
           'name' => $attrs['NAME'],
           'cost' => $attrs['COST'],
           'invoice_id' => $this->currentGroupInvoiceMap[$attrs['INVOICE_ID']],
+          'approved' => $attrs['APPROVED'],
           'paid' => $attrs['PAID'],
           'status' => $attrs['STATUS']));
         if (!$expense_item_id) $this->errors->add($i18n->get('error.db'));
@@ -444,6 +424,19 @@ class ttOrgImportHelper {
         return;
       }
 
+      if ($name == 'TEMPLATE') {
+        if (!$this->insertTemplate(array(
+          'group_id' => $this->current_group_id,
+          'org_id' => $this->org_id,
+          'name' => $attrs['NAME'],
+          'description' => $attrs['DESCRIPTION'],
+          'content' => $attrs['CONTENT'],
+          'status' => $attrs['STATUS']))) {
+          $this->errors->add($i18n->get('error.db'));
+        }
+        return;
+      }
+
       if ($name == 'MONTHLY_QUOTA') {
         if (!$this->insertMonthlyQuota(array(
           'group_id' => $this->current_group_id,
@@ -456,14 +449,6 @@ class ttOrgImportHelper {
         return;
       }
 
-      if ($name == 'FAV_REPORTS') {
-        // If we get here, we have to recycle $currentGroupFavReportMap.
-        unset($this->currentGroupFavReportMap);
-        $this->currentGroupFavReportMap = array();
-        // Favorite report map is reconstructed after processing <fav_report> elements in XML. See below.
-        return;
-      }
-
       if ($name == 'FAV_REPORT') {
         $user_list = '';
         if (strlen($attrs['USERS']) > 0) {
@@ -481,6 +466,10 @@ class ttOrgImportHelper {
           'project' => $this->currentGroupProjectMap[$attrs['PROJECT_ID']],
           'task' => $this->currentGroupTaskMap[$attrs['TASK_ID']],
           'billable' => $attrs['BILLABLE'],
+          'approved' => $attrs['APPROVED'],
+          'invoice' => $attrs['INVOICE'],
+          'timesheet' => $attrs['TIMESHEET'],
+          'paid_status' => $attrs['PAID_STATUS'],
           'users' => $user_list,
           'period' => $attrs['PERIOD'],
           'from' => $attrs['PERIOD_START'],
@@ -490,12 +479,14 @@ class ttOrgImportHelper {
           'chpaid' => (int) $attrs['SHOW_PAID'],
           'chip' => (int) $attrs['SHOW_IP'],
           'chproject' => (int) $attrs['SHOW_PROJECT'],
+          'chtimesheet' => (int) $attrs['SHOW_TIMESHEET'],
           'chstart' => (int) $attrs['SHOW_START'],
           'chduration' => (int) $attrs['SHOW_DURATION'],
           'chcost' => (int) $attrs['SHOW_COST'],
           'chtask' => (int) $attrs['SHOW_TASK'],
           'chfinish' => (int) $attrs['SHOW_END'],
           'chnote' => (int) $attrs['SHOW_NOTE'],
+          'chapproved' => (int) $attrs['SHOW_APPROVED'],
           'chcf_1' => (int) $attrs['SHOW_CUSTOM_FIELD_1'],
           'chunits' => (int) $attrs['SHOW_WORK_UNITS'],
           'group_by1' => $attrs['GROUP_BY1'],
@@ -541,12 +532,49 @@ class ttOrgImportHelper {
     }
   }
 
-  // importXml - uncompresses the file, reads and parses its content. During parsing,
-  // startElement, endElement, and dataElement functions are called as many times as necessary.
-  // Actual import occurs in the endElement handler.
+  // endElement - callback handler for ending tags in XML.
+  // We use this only for process </group> element endings and
+  // set current_group_id to an immediate parent.
+  // This is required to import group hierarchy correctly.
+  function endElement($parser, $name) {
+    // No need to care about first or second pass, as this is used only in second pass.
+    // See 2nd xml_set_element_handler, where this handler is set.
+    if ($name == 'GROUP') {
+      // Remove self from the parent stack.
+      $self = array_pop($this->parents);
+      // Set current group id to an immediate parent.
+      $len = count($this->parents);
+      $this->current_group_id = $len ? $this->parents[$len-1] : null;
+    }
+  }
+
+  // importXml - uncompresses the file, reads and parses its content.
+  // It goes through the file 2 times.
+  //
+  // During 1st pass, it determines whether we can import data.
+  // In 1st pass, startElement function is called as many times as necessary.
+  //
+  // Actual import occurs during 2nd pass.
+  // In 2nd pass, startElement and endElement are called many times.
+  // We only use endElement to finish current group processing.
+  //
+  // The above allows us to export/import complex orgs with nested groups,
+  // while by design all data are in attributes of the elements (no CDATA).
+  //
+  // There is currently at least one problem with keeping all data in attributes:
+  // a vertical tab character 0xB anywhere breaks parsing, making import impossible.
+  // See https://github.com/sparklemotion/nokogiri/issues/1581 - looks like
+  // an XML standard thing. Apparently, other invalid characters break parsing too.
+  // This problem needs to be addressed at some point but how exactly without
+  // complicating export-import too much with CDATA and dataElement processing?
   function importXml() {
     global $i18n;
 
+    if (!$_FILES['xmlfile']['name']) {
+      $this->errors->add($i18n->get('error.upload'));
+      return; // There is nothing to do if we don't have a file.
+    }
+
     // Do we have a compressed file?
     $compressed = false;
     $file_ext = substr($_FILES['xmlfile']['name'], strrpos($_FILES['xmlfile']['name'], '.') + 1);
@@ -575,7 +603,7 @@ class ttOrgImportHelper {
     // Initialize XML parser.
     $parser = xml_parser_create();
     xml_set_object($parser, $this);
-    xml_set_element_handler($parser, 'startElement', false);
+    xml_set_element_handler($parser, 'startElement', false); // No need to process end tags in 1st pass.
 
     // We need to parse the file 2 times:
     //   1) First pass: determine if import is possible.
@@ -595,22 +623,26 @@ class ttOrgImportHelper {
       $this->errors->add($i18n->get('error.user_exists'));
       $this->errors->add(sprintf($i18n->get('error.cannot_import'), $this->conflicting_logins));
     }
+    if (!ttUserHelper::canAdd($this->num_users)) {
+      $this->canImport = false;
+      $this->errors->add($i18n->get('error.user_count'));
+    }
 
     $this->firstPass = false; // We are done with 1st pass.
     xml_parser_free($parser);
     if ($file) fclose($file);
-    if (!$this->canImport) {
+    if ($this->errors->yes()) {
+      // Remove the file and exit if we have errors.
       unlink($filename);
       return;
     }
-    if ($this->errors->yes()) return; // Exit if we have errors.
 
     // Now we can do a second pass, where real work is done.
     $parser = xml_parser_create();
     xml_set_object($parser, $this);
-    xml_set_element_handler($parser, 'startElement', false);
+    xml_set_element_handler($parser, 'startElement', 'endElement'); // Need to process ending tags too.
 
-    // Read and parse the content of the file. During parsing, startElement is called back for each tag.
+    // Read and parse the content of the file. During parsing, startElement and endElement are called back for each tag.
     $file = fopen($filename, 'r');
     while (($data = fread($file, 4096)) && $this->errors->no()) {
       if (!xml_parse($parser, $data, feof($file))) {
@@ -656,15 +688,17 @@ class ttOrgImportHelper {
     global $i18n;
     $mdb2 = getConnection();
 
-    $columns = '(parent_id, org_id, name, currency, decimal_mark, lang, date_format, time_format'.
-      ', week_start, tracking_mode, project_required, task_required, record_type, bcc_email'.
-      ', allow_ip, password_complexity, plugins, lock_spec'.
-      ', workday_minutes, config, created, created_ip, created_by)';
+    $columns = '(parent_id, org_id, group_key, name, description, currency, decimal_mark, lang, date_format, time_format,'.
+      ' week_start, tracking_mode, project_required, task_required, record_type, bcc_email,'.
+      ' allow_ip, password_complexity, plugins, lock_spec,'.
+      ' workday_minutes, config, created, created_ip, created_by)';
 
     $values = ' values (';
     $values .= $mdb2->quote($fields['parent_id']);
     $values .= ', '.$mdb2->quote($fields['org_id']);
+    $values .= ', '.$mdb2->quote(trim($fields['group_key']));
     $values .= ', '.$mdb2->quote(trim($fields['name']));
+    $values .= ', '.$mdb2->quote(trim($fields['description']));
     $values .= ', '.$mdb2->quote(trim($fields['currency']));
     $values .= ', '.$mdb2->quote($fields['decimal_mark']);
     $values .= ', '.$mdb2->quote($fields['lang']);
@@ -682,7 +716,7 @@ class ttOrgImportHelper {
     $values .= ', '.$mdb2->quote($fields['lock_spec']);
     $values .= ', '.(int)$fields['workday_minutes'];
     $values .= ', '.$mdb2->quote($fields['config']);
-    $values .= ', now(), '.$mdb2->quote($_SERVER['REMOTE_ADDR']).', '.$mdb2->quote($user->id);
+    $values .= ', now(), '.$mdb2->quote($_SERVER['REMOTE_ADDR']).', '.$user->id;
     $values .= ')';
 
     $sql = 'insert into tt_groups '.$columns.$values;
@@ -699,6 +733,7 @@ class ttOrgImportHelper {
   // insertMonthlyQuota - a helper function to insert a monthly quota.
   private function insertMonthlyQuota($fields) {
     $mdb2 = getConnection();
+
     $group_id = (int) $fields['group_id'];
     $org_id = (int) $fields['org_id'];
     $year = (int) $fields['year'];
@@ -714,6 +749,7 @@ class ttOrgImportHelper {
   // insertPredefinedExpense - a helper function to insert a predefined expense.
   private function insertPredefinedExpense($fields) {
     $mdb2 = getConnection();
+
     $group_id = (int) $fields['group_id'];
     $org_id = (int) $fields['org_id'];
     $name = $mdb2->quote($fields['name']);
@@ -725,6 +761,23 @@ class ttOrgImportHelper {
     return (!is_a($affected, 'PEAR_Error'));
   }
 
+  // insertTemplate - a helper function to insert a template.
+  private function insertTemplate($fields) {
+    $mdb2 = getConnection();
+
+    $group_id = (int) $fields['group_id'];
+    $org_id = (int) $fields['org_id'];
+    $name = $mdb2->quote($fields['name']);
+    $description = $mdb2->quote($fields['description']);
+    $content = $mdb2->quote($fields['content']);
+    $status = $mdb2->quote($fields['status']);
+
+    $sql = "INSERT INTO tt_templates (group_id, org_id, name, description, content, status)".
+      " values ($group_id, $org_id, $name, $description, $content, $status)";
+    $affected = $mdb2->exec($sql);
+    return (!is_a($affected, 'PEAR_Error'));
+  }
+
   // insertExpense - a helper function to insert an expense item.
   private function insertExpense($fields) {
     global $user;
@@ -740,17 +793,93 @@ class ttOrgImportHelper {
     $cost = str_replace(',', '.', $fields['cost']);
     $invoice_id = $fields['invoice_id'];
     $status = $fields['status'];
+    $approved = (int) $fields['approved'];
     $paid = (int) $fields['paid'];
-    $created = ', now(), '.$mdb2->quote($_SERVER['REMOTE_ADDR']).', '.$mdb2->quote($user->id);
+    $created = ', now(), '.$mdb2->quote($_SERVER['REMOTE_ADDR']).', '.$user->id;
 
     $sql = "insert into tt_expense_items".
-      " (date, user_id, group_id, org_id, client_id, project_id, name, cost, invoice_id, paid, created, created_ip, created_by, status)".
+      " (date, user_id, group_id, org_id, client_id, project_id, name,".
+      " cost, invoice_id, approved, paid, created, created_ip, created_by, status)".
       " values (".$mdb2->quote($date).", $user_id, $group_id, $org_id, ".$mdb2->quote($client_id).", ".$mdb2->quote($project_id).
-      ", ".$mdb2->quote($name).", ".$mdb2->quote($cost).", ".$mdb2->quote($invoice_id).", $paid $created, ".$mdb2->quote($status).")";
+      ", ".$mdb2->quote($name).", ".$mdb2->quote($cost).", ".$mdb2->quote($invoice_id).
+      ", $approved, $paid $created, ".$mdb2->quote($status).")";
+    $affected = $mdb2->exec($sql);
+    return (!is_a($affected, 'PEAR_Error'));
+  }
+
+  // insertTask function inserts a new task into database.
+  private function insertTask($fields)
+  {
+    $mdb2 = getConnection();
+
+    $group_id = (int) $fields['group_id'];
+    $org_id = (int) $fields['org_id'];
+    $name = $fields['name'];
+    $description = $fields['description'];
+    $projects = $fields['projects'];
+    $status = $fields['status'];
+
+    $sql = "insert into tt_tasks (group_id, org_id, name, description, status)
+      values ($group_id, $org_id, ".$mdb2->quote($name).", ".$mdb2->quote($description).", ".$mdb2->quote($status).")";
+    $affected = $mdb2->exec($sql);
+    $last_id = 0;
+    if (is_a($affected, 'PEAR_Error'))
+      return false;
+
+    $last_id = $mdb2->lastInsertID('tt_tasks', 'id');
+    return $last_id;
+  }
+
+  // insertUserProjectBind - inserts a user to project bind into tt_user_project_binds table.
+  private function insertUserProjectBind($fields) {
+    $mdb2 = getConnection();
+
+    $group_id = (int) $fields['group_id'];
+    $org_id = (int) $fields['org_id'];
+    $user_id = (int) $fields['user_id'];
+    $project_id = (int) $fields['project_id'];
+    $rate = $mdb2->quote($fields['rate']);
+    $status = $mdb2->quote($fields['status']);
+
+    $sql = "insert into tt_user_project_binds (user_id, project_id, group_id, org_id, rate, status)".
+      " values($user_id, $project_id, $group_id, $org_id, $rate, $status)";
     $affected = $mdb2->exec($sql);
     return (!is_a($affected, 'PEAR_Error'));
   }
 
+  // insertUser - inserts a user into database.
+  private function insertUser($fields) {
+    global $user;
+    $mdb2 = getConnection();
+
+    $group_id = (int) $fields['group_id'];
+    $org_id = (int) $fields['org_id'];
+
+    $columns = '(login, password, name, group_id, org_id, role_id, client_id, rate, quota_percent, email, created, created_ip, created_by, status)';
+
+    $values = 'values (';
+    $values .= $mdb2->quote($fields['login']);
+    $values .= ', '.$mdb2->quote($fields['password']);
+    $values .= ', '.$mdb2->quote($fields['name']);
+    $values .= ', '.$group_id;
+    $values .= ', '.$org_id;
+    $values .= ', '.(int)$fields['role_id'];
+    $values .= ', '.$mdb2->quote($fields['client_id']);
+    $values .= ', '.$mdb2->quote($fields['rate']);
+    $values .= ', '.$mdb2->quote($fields['quota_percent']);
+    $values .= ', '.$mdb2->quote($fields['email']);
+    $values .= ', now(), '.$mdb2->quote($_SERVER['REMOTE_ADDR']).', '.$user->id;
+    $values .= ', '.$mdb2->quote($fields['status']);
+    $values .= ')';
+
+    $sql = "insert into tt_users $columns $values";
+    $affected = $mdb2->exec($sql);
+    if (is_a($affected, 'PEAR_Error')) return false;
+
+    $last_id = $mdb2->lastInsertID('tt_users', 'id');
+    return $last_id;
+  }
+
   // insertProject - a helper function to insert a project as well as project to task binds.
   private function insertProject($fields)
   {
@@ -758,7 +887,6 @@ class ttOrgImportHelper {
 
     $group_id = (int) $fields['group_id'];
     $org_id = (int) $fields['org_id'];
-
     $name = $fields['name'];
     $description = $fields['description'];
     $tasks = $fields['tasks'];
@@ -771,11 +899,7 @@ class ttOrgImportHelper {
     if (is_a($affected, 'PEAR_Error'))
       return false;
 
-    $last_id = 0;
-    $sql = "select last_insert_id() as last_insert_id";
-    $res = $mdb2->query($sql);
-    $val = $res->fetchRow();
-    $last_id = $val['last_insert_id'];
+    $last_id = $mdb2->lastInsertID('tt_projects', 'id');
 
     // Insert binds into tt_project_task_binds table.
     if (is_array($tasks)) {
@@ -791,6 +915,84 @@ class ttOrgImportHelper {
     return $last_id;
   }
 
+  // insertRole - inserts a role into tt_roles table.
+  private function insertRole($fields)
+  {
+    $mdb2 = getConnection();
+
+    $group_id = (int) $fields['group_id'];
+    $org_id = (int) $fields['org_id'];
+    $name = $fields['name'];
+    $rank = (int) $fields['rank'];
+    $description = $fields['description'];
+    $rights = $fields['rights'];
+    $status = $fields['status'];
+
+    $sql = "insert into tt_roles (group_id, org_id, name, rank, description, rights, status)
+      values ($group_id, $org_id, ".$mdb2->quote($name).", $rank, ".$mdb2->quote($description).", ".$mdb2->quote($rights).", ".$mdb2->quote($status).")";
+    $affected = $mdb2->exec($sql);
+    if (is_a($affected, 'PEAR_Error'))
+      return false;
+
+    $last_id = $mdb2->lastInsertID('tt_roles', 'id');
+    return $last_id;
+  }
+
+  // insertTimesheet - inserts a timesheet in database.
+  private function insertTimesheet($fields)
+  {
+    $mdb2 = getConnection();
+
+    $user_id = (int) $fields['user_id'];
+    $group_id = (int) $fields['group_id'];
+    $org_id = (int) $fields['org_id'];
+    $client_id = $fields['client_id'];
+    $project_id = $fields['project_id'];
+    $name = $fields['name'];
+    $comment = $fields['comment'];
+    $start_date = $fields['start_date'];
+    $end_date = $fields['end_date'];
+    $submit_status = $fields['submit_status'];
+    $approve_status = $fields['approve_status'];
+    $approve_comment = $fields['approve_comment'];
+    $status = $fields['status'];
+
+    // Insert a new timesheet record.
+    $sql = "insert into tt_timesheets (user_id, group_id, org_id, client_id, project_id, name,".
+      " comment, start_date, end_date, submit_status, approve_status, approve_comment, status)".
+      " values($user_id, $group_id, $org_id, ".$mdb2->quote($client_id).", ".$mdb2->quote($project_id).", ".$mdb2->quote($name).", ".
+      $mdb2->quote($comment).", ".$mdb2->quote($start_date).", ".$mdb2->quote($end_date).", ".
+      $mdb2->quote($submit_status).", ".$mdb2->quote($approve_status).", ".
+      $mdb2->quote($approve_comment).", ".$mdb2->quote($status).")";
+    $affected = $mdb2->exec($sql);
+    if (is_a($affected, 'PEAR_Error')) return false;
+
+    $last_id = $mdb2->lastInsertID('tt_timesheets', 'id');
+    return $last_id;
+  }
+
+  // insertInvoice - inserts an invoice in database.
+  private function insertInvoice($fields)
+  {
+    $mdb2 = getConnection();
+
+    $group_id = (int) $fields['group_id'];
+    $org_id = (int) $fields['org_id'];
+    $name = $fields['name'];
+    $client_id = (int) $fields['client_id'];
+    $date = $fields['date'];
+    $status = $fields['status'];
+
+    // Insert a new invoice record.
+    $sql = "insert into tt_invoices (group_id, org_id, name, date, client_id, status)".
+      " values($group_id, $org_id, ".$mdb2->quote($name).", ".$mdb2->quote($date).", $client_id, ".$mdb2->quote($fields['status']).")";
+    $affected = $mdb2->exec($sql);
+    if (is_a($affected, 'PEAR_Error')) return false;
+
+    $last_id = $mdb2->lastInsertID('tt_invoices', 'id');
+    return $last_id;
+  }
+
   // The insertClient function inserts a new client as well as client to project binds.
   private function insertClient($fields)
   {
@@ -816,11 +1018,7 @@ class ttOrgImportHelper {
     if (is_a($affected, 'PEAR_Error'))
       return false;
 
-    $last_id = 0;
-    $sql = "select last_insert_id() as last_insert_id";
-    $res = $mdb2->query($sql);
-    $val = $res->fetchRow();
-    $last_id = $val['last_insert_id'];
+    $last_id = $mdb2->lastInsertID('tt_clients', 'id');
 
     if (count($projects) > 0)
       foreach ($projects as $p_id) {
@@ -842,35 +1040,32 @@ class ttOrgImportHelper {
 
     $sql = "insert into tt_fav_reports".
       " (name, user_id, group_id, org_id, client_id, cf_1_option_id, project_id, task_id,".
-      " billable, invoice, paid_status, users, period, period_start, period_end,".
+      " billable, approved, invoice, timesheet, paid_status, users, period, period_start, period_end,".
       " show_client, show_invoice, show_paid, show_ip,".
-      " show_project, show_start, show_duration, show_cost,".
-      " show_task, show_end, show_note, show_custom_field_1, show_work_units,".
+      " show_project, show_timesheet, show_start, show_duration, show_cost,".
+      " show_task, show_end, show_note, show_approved, show_custom_field_1, show_work_units,".
       " group_by1, group_by2, group_by3, show_totals_only)".
       " values(".
       $mdb2->quote($fields['name']).", ".$fields['user_id'].", $group_id, $org_id, ".
       $mdb2->quote($fields['client']).", ".$mdb2->quote($fields['option']).", ".
       $mdb2->quote($fields['project']).", ".$mdb2->quote($fields['task']).", ".
-      $mdb2->quote($fields['billable']).", ".$mdb2->quote($fields['invoice']).", ".
+      $mdb2->quote($fields['billable']).", ".$mdb2->quote($fields['approved']).", ".
+      $mdb2->quote($fields['invoice']).", ".$mdb2->quote($fields['timesheet']).", ".
       $mdb2->quote($fields['paid_status']).", ".
       $mdb2->quote($fields['users']).", ".$mdb2->quote($fields['period']).", ".
       $mdb2->quote($fields['from']).", ".$mdb2->quote($fields['to']).", ".
       $fields['chclient'].", ".$fields['chinvoice'].", ".$fields['chpaid'].", ".$fields['chip'].", ".
-      $fields['chproject'].", ".$fields['chstart'].", ".$fields['chduration'].", ".$fields['chcost'].", ".
-      $fields['chtask'].", ".$fields['chfinish'].", ".$fields['chnote'].", ".$fields['chcf_1'].", ".$fields['chunits'].", ".
+      $fields['chproject'].", ".$fields['chtimesheet'].", ".$fields['chstart'].", ".$fields['chduration'].", ".
+      $fields['chcost'].", ".$fields['chtask'].", ".$fields['chfinish'].", ".$fields['chnote'].", ".
+      $fields['chapproved'].", ".$fields['chcf_1'].", ".$fields['chunits'].", ".
       $mdb2->quote($fields['group_by1']).", ".$mdb2->quote($fields['group_by2']).", ".
       $mdb2->quote($fields['group_by3']).", ".$fields['chtotalsonly'].")";
     $affected = $mdb2->exec($sql);
     if (is_a($affected, 'PEAR_Error'))
       return false;
 
-    $sql = "select last_insert_id() as last_id";
-    $res = $mdb2->query($sql);
-    if (is_a($res, 'PEAR_Error'))
-      return false;
-
-    $val = $res->fetchRow();
-    return $val['last_id'];
+    $last_id = $mdb2->lastInsertID('tt_fav_reports', 'id');
+    return $last_id;
   }
 
   // insertNotification function inserts a new notification into database.
@@ -913,4 +1108,141 @@ class ttOrgImportHelper {
     $affected = $mdb2->exec($sql);
     return (!is_a($affected, 'PEAR_Error'));
   }
+
+  // insertCustomField - a helper function to insert a custom field.
+  private function insertCustomField($fields) {
+    $mdb2 = getConnection();
+
+    $group_id = (int) $fields['group_id'];
+    $org_id = (int) $fields['org_id'];
+    $entity_type = (int) $fields['entity_type'];
+    $type = (int) $fields['type'];
+    $label = $fields['label'];
+    $required = (int) $fields['required'];
+    $status = $fields['status'];
+
+    $sql = "insert into tt_custom_fields".
+      " (group_id, org_id, entity_type, type, label, required, status)".
+      " values($group_id, $org_id, $entity_type, $type, ".$mdb2->quote($label).", $required, ".$mdb2->quote($status).")";
+    $affected = $mdb2->exec($sql);
+    if (is_a($affected, 'PEAR_Error'))
+      return false;
+
+    $last_id = $mdb2->lastInsertID('tt_custom_fields', 'id');
+    return $last_id;
+  }
+
+  // insertCustomFieldOption - a helper function to insert a custom field option.
+  private function insertCustomFieldOption($fields) {
+    $mdb2 = getConnection();
+
+    $group_id = (int) $fields['group_id'];
+    $org_id = (int) $fields['org_id'];
+    $field_id = (int) $fields['field_id'];
+    $value = $fields['value'];
+
+    $sql = "insert into tt_custom_field_options (group_id, org_id, field_id, value)".
+      " values ($group_id, $org_id, $field_id, ".$mdb2->quote($value).")";
+    $affected = $mdb2->exec($sql);
+    if (is_a($affected, 'PEAR_Error'))
+      return false;
+
+    $last_id = $mdb2->lastInsertID('tt_custom_field_options', 'id');
+    return $last_id;
+  }
+
+  // insertLogEntry - a helper function to insert a time log entry.
+  private function insertLogEntry($fields) {
+    global $user;
+    $mdb2 = getConnection();
+
+    $group_id = (int) $fields['group_id'];
+    $org_id = (int) $fields['org_id'];
+    $user_id = (int) $fields['user_id'];
+    $date = $fields['date'];
+    $start = $fields['start'];
+    $duration = $fields['duration'];
+    $client_id = $fields['client_id'];
+    $project_id = $fields['project_id'];
+    $task_id = $fields['task_id'];
+    $timesheet_id = $fields['timesheet_id'];
+    $invoice_id = $fields['invoice_id'];
+    $comment = $fields['comment'];
+    $billable = (int) $fields['billable'];
+    $approved = (int) $fields['approved'];
+    $paid = (int) $fields['paid'];
+    $status = $fields['status'];
+
+    $sql = "insert into tt_log".
+      " (user_id, group_id, org_id, date, start, duration, client_id, project_id, task_id, timesheet_id, invoice_id, comment".
+      ", billable, approved, paid, created, created_ip, created_by, status)".
+      " values ($user_id, $group_id, $org_id".
+      ", ".$mdb2->quote($date).
+      ", ".$mdb2->quote($start).
+      ", ".$mdb2->quote($duration).
+      ", ".$mdb2->quote($client_id).
+      ", ".$mdb2->quote($project_id).
+      ", ".$mdb2->quote($task_id).
+      ", ".$mdb2->quote($timesheet_id).
+      ", ".$mdb2->quote($invoice_id).
+      ", ".$mdb2->quote($comment).
+      ", $billable, $approved, $paid".
+      ", now(), ".$mdb2->quote($_SERVER['REMOTE_ADDR']).", ".$user->id.
+      ", ". $mdb2->quote($status).")";
+    $affected = $mdb2->exec($sql);
+    if (is_a($affected, 'PEAR_Error')) {
+      $this->errors->add($i18n->get('error.db')); // TODO: review whether or not to add error here in all insert calls.
+      return false;
+    }
+
+    $log_id = $mdb2->lastInsertID('tt_log', 'id');
+    return $log_id;
+  }
+
+  // insertCustomFieldLogEntry - a helper function to insert a custom field log entry.
+  private function insertCustomFieldLogEntry($fields) {
+    $mdb2 = getConnection();
+
+    $group_id = (int) $fields['group_id'];
+    $org_id = (int) $fields['org_id'];
+    $log_id = (int) $fields['log_id'];
+    $field_id = (int) $fields['field_id'];
+    $option_id = $fields['option_id'];
+    $value = $fields['value'];
+    $status = $fields['status'];
+
+    $sql = "insert into tt_custom_field_log (group_id, org_id, log_id, field_id, option_id, value, status)".
+      " values ($group_id, $org_id, $log_id, $field_id, ".$mdb2->quote($option_id).", ".$mdb2->quote($value).", ".$mdb2->quote($status).")";
+    $affected = $mdb2->exec($sql);
+    return (!is_a($affected, 'PEAR_Error'));
+  }
+
+  // getTopRole returns top role id.
+  private function getTopRole() {
+    $mdb2 = getConnection();
+
+    $sql = "select id from tt_roles where group_id = 0 and rank = ".MAX_RANK." and status = 1";
+    $res = $mdb2->query($sql);
+
+    if (!is_a($res, 'PEAR_Error')) {
+      $val = $res->fetchRow();
+      if ($val['id'])
+        return $val['id'];
+    }
+    return false;
+  }
+
+  // The loginExists function detrmines if a login already exists.
+  private function loginExists($login) {
+    $mdb2 = getConnection();
+
+    $sql = "select id from tt_users where login = ".$mdb2->quote($login)." and (status = 1 or status = 0)";
+    $res = $mdb2->query($sql);
+    if (!is_a($res, 'PEAR_Error')) {
+      if ($val = $res->fetchRow()) {
+        return true;
+      }
+    }
+    return false;
+  }
 }