final
[SXSI/XMLTree.git] / XMLTree.cpp
index dbc4d83..2a1da84 100644 (file)
@@ -67,6 +67,16 @@ inline void * umalloc(size_t size){
   return dest;\r
 }\r
 \r
+void XMLTree::print_stats() {\r
+       uint total_space = Tags->size()+sizeof(static_sequence*);\r
+       total_space += sizeof(uint*)+sizeof(uint)*(2+uint_len(tags_blen,tags_len));\r
+       cout << "Space usage for XMLTree:" << endl\r
+               << " - tags static_sequence: " << Tags->size()+sizeof(static_sequence*) << endl\r
+               << " - tags access array:    " << sizeof(uint*)+sizeof(uint)*(2+uint_len(tags_blen,tags_len)) << endl\r
+               << " ... add Diego structures ... " << endl\r
+               << " *total* " << total_space << endl;\r
+}\r
+\r
 // Save: saves XML tree data structure to file. \r
 void XMLTree::Save(unsigned char *filename) \r
  {\r
@@ -101,11 +111,21 @@ void XMLTree::Save(unsigned char *filename)
     \r
     // stores the tags\r
     Tags->save(fp);\r
+               ufwrite(&tags_blen,sizeof(uint),1,fp);\r
+               ufwrite(&tags_len,sizeof(uint),1,fp);\r
+               ufwrite(tags_fix,sizeof(uint),uint_len(tags_blen,tags_len),fp);\r
 \r
     // stores the texts   \r
-    if (!disable_tc)\r
+    if (!disable_tc) {\r
       Text->Save(fp);\r
-\r
+      int st = CachedText.size();\r
+      ufwrite(&st, sizeof(int),1,fp);\r
+      for (int i = 0; i< CachedText.size(); i++){\r
+       st = CachedText.at(i).size();\r
+       ufwrite(&st, sizeof(int),1,fp);\r
+       ufwrite(CachedText.at(i).c_str(),sizeof(char),1+CachedText.at(i).size(),fp);\r
+      };\r
+    };\r
     fclose(fp);\r
 \r
  }\r
@@ -184,25 +204,57 @@ XMLTree *XMLTree::Load(unsigned char *filename, int sample_rate_text)
     \r
     // loads the tags\r
     XML_Tree->Tags = static_sequence::load(fp);\r
-\r
+               ufread(&XML_Tree->tags_blen,sizeof(uint),1,fp);\r
+               ufread(&XML_Tree->tags_len,sizeof(uint),1,fp);\r
+               XML_Tree->tags_fix = new uint[uint_len(XML_Tree->tags_blen,XML_Tree->tags_len)];\r
+               ufread(XML_Tree->tags_fix,sizeof(uint),uint_len(XML_Tree->tags_blen,XML_Tree->tags_len),fp);\r
+               s_tree+=2*sizeof(uint)+sizeof(uint)*uint_len(XML_Tree->tags_blen,XML_Tree->tags_len);\r
     s_tree+= XML_Tree->Tags->size();\r
 \r
+               /// FIXME:UGLY tests!\r
+               uint * seq = new uint[XML_Tree->tags_len];\r
+               for(uint i=0;i<XML_Tree->tags_len;i++)\r
+                       seq[i] = get_field(XML_Tree->tags_fix,XML_Tree->tags_blen,i);\r
+               cout << "Tags test: " << XML_Tree->Tags->test(seq,XML_Tree->tags_len) << endl;\r
+               delete [] seq;\r
+               /// End ugly tests\r
+\r
     s_text = ftell(fp);\r
 \r
     // loads the texts\r
     if (!XML_Tree->disable_tc){\r
-      XML_Tree->Text = TextCollection::InitTextCollection(sample_rate_text);\r
-      XML_Tree->Text->Load(fp,sample_rate_text);\r
+      XML_Tree->Text = TextCollection::Load(fp,sample_rate_text);\r
+      int sst;\r
+      int st;\r
+      ufread(&sst, sizeof(int),1,fp);\r
+      for (int i=0;i<sst;i++){\r
+       ufread(&st, sizeof(int),1,fp);\r
+       char* str = (char*) malloc(sizeof(char)*st+1);\r
+       ufread(str,sizeof(char),st+1,fp);\r
+       string cppstr = str;\r
+       XML_Tree->CachedText.push_back(cppstr);\r
+       free(str);\r
+      };\r
+\r
     }\r
-    else\r
+    else {\r
       XML_Tree->Text = NULL;\r
-\r
+    }\r
     s_text = ftell(fp) - s_text;\r
+\r
+    \r
+\r
+\r
     fclose(fp);\r
 \r
-    std::cerr << "Tree part is " << s_tree/1024 << " Kbytes,\n"\r
+    /*std::cerr << "Tree part is " << s_tree/1024 << " Kbytes,\n"\r
+             << "with node->tagid part " << XML_Tree->Tags->size()/1024+(uint_len(XML_Tree->tags_blen,XML_Tree->tags_len)*sizeof(uint))/1024  << "Kbytes \n"\r
+             << "size of Tag part : " << XML_Tree->Tags->length () << " elements\n"\r
+             << "sizof(unsigned int)* " <<  XML_Tree->Tags->length () << " = " << \r
+      sizeof(unsigned int) * XML_Tree->Tags->length () / 1024 << " Kbytes\n"\r
              << "Tag part is " << s_tags/1024 << " Kbytes,\n"\r
-             << "Text collection is " << s_text/1024 << " Kbytes \n";\r
+             << "Text collection is " << s_text/1024 << " Kbytes \n";*/\r
+               XML_Tree->print_stats();\r
     return XML_Tree;\r
  }\r
 \r
@@ -231,7 +283,9 @@ XMLTree::~XMLTree()
     Tags = NULL;\r
 \r
     //Text->~TextCollection();\r
-    delete Text;\r
+    delete TextBuilder; \r
+    TextBuilder = NULL;\r
+    delete Text; \r
     Text = NULL;\r
 \r
     initialized = false;\r
@@ -265,6 +319,9 @@ int XMLTree::SubtreeTags(treeNode x, TagType tag)
        fprintf(stderr, "Error: data structure has not been constructed properly\n");\r
        exit(1);\r
     }\r
+    if (x == Root())\r
+      x = first_child(Par,x);\r
+    \r
 \r
     int s = x + 2*subtree_size(Par, x) - 1;\r
  \r
@@ -300,7 +357,9 @@ bool XMLTree::IsChild(treeNode x, treeNode y)
     if (!is_ancestor(Par, x, y)) return false;\r
     return depth(Par, x) == (depth(Par, y) + 1);\r
  }\r
-\r
+bool XMLTree::IsFirstChild(treeNode x){\r
+  return ((x != NULLT)&&(x==Root() || prev_sibling(Par,x) == NULLT));\r
+}\r
 // NumChildren(x): number of children of node x. Constant time with the data structure\r
 // of Sadakane.\r
 int XMLTree::NumChildren(treeNode x) \r
@@ -365,8 +424,8 @@ TagType XMLTree::Tag(treeNode x)
        fprintf(stderr, "Error: data structure has not been constructed properly\n");\r
        exit(1);\r
     }\r
-\r
-    return Tags->access(node2tagpos(x));\r
+    \r
+    return get_field(tags_fix,tags_blen,node2tagpos(x)); //Tags->access(node2tagpos(x));\r
  }\r
 \r
 // DocIds(x): returns the range of text identifiers that descend from node x.\r
@@ -379,6 +438,14 @@ range XMLTree::DocIds(treeNode x)
     }\r
 \r
     range r;\r
+    if (x == NULLT)\r
+      {\r
+       r.min = NULLT;\r
+       r.max = NULLT;\r
+       return r;\r
+      };\r
+        \r
+      \r
     if (indexing_empty_texts) { // faster, no rank needed\r
        r.min = x;\r
        r.max = x+2*subtree_size(Par, x)-2;\r
@@ -434,6 +501,14 @@ treeNode XMLTree::FirstChild(treeNode x)
     return first_child(Par, x);\r
  }\r
 \r
+treeNode XMLTree::LastChild(treeNode x) \r
+{\r
+  if (x == Root() || isleaf(Par,x) || x == NULLT)\r
+    return x;\r
+  else\r
+  return find_open(Par,find_close(Par,parent(Par,x))-1);\r
+}\r
+\r
 // NextSibling(x): returns the next sibling of node x, assuming it exists.\r
 treeNode XMLTree::NextSibling(treeNode x) \r
  {\r
@@ -441,9 +516,9 @@ treeNode XMLTree::NextSibling(treeNode x)
        fprintf(stderr, "Error: data structure has not been constructed properly\n");\r
        exit(1);\r
     }\r
-    if (x == Root())\r
+    if (x == Root() || x==NULLT)\r
       return NULLT;\r
\r
+    \r
     return next_sibling(Par, x);\r
  }\r
 \r
@@ -473,7 +548,7 @@ treeNode XMLTree::TaggedChild(treeNode x, int i, TagType tag)
     child = first_child(Par, x); // starts at first child of node x\r
     if (child==(treeNode)-1) return NULLT; // node x is a leaf, there is no such child\r
     while (child!=(treeNode)-1) {\r
-       if (Tags->access(node2tagpos(child)) == tag) { // current child is labeled with tag of interest\r
+       if (get_field(tags_fix,tags_blen,node2tagpos(child)) /*Tags->access(node2tagpos(child))*/ == tag) { // current child is labeled with tag of interest\r
           i--;\r
           if (i==0) return child; // we have seen i children of x tagged tag, this is the one we are looking for\r
        }\r
@@ -491,16 +566,169 @@ treeNode XMLTree::TaggedDesc(treeNode x, TagType tag)
        exit(1);\r
     }\r
 \r
-    int r, s;\r
+    //int r, s;\r
     treeNode y;\r
-    r = (int) Tags->rank(tag, node2tagpos(x));\r
-    s = (int) Tags->select(tag, r+1);\r
+    if (isleaf(Par,x))\r
+      return NULLT;\r
+\r
+               int s = (int) Tags->select_next(tag,node2tagpos(x));\r
+    /*r = (int) Tags->rank(tag, node2tagpos(x));\r
+    s = (int) Tags->select(tag, r+1);*/\r
     if (s == -1) return NULLT; // there is no such node\r
     y = tagpos2node(s); // transforms the tag position into a node position\r
     if (!is_ancestor(Par, x, y)) return NULLT; // the next node tagged tag (in preorder) is not within the subtree of x.\r
     else return y;\r
  }\r
 \r
+treeNode XMLTree::TaggedDescOnly(treeNode x,TagType *desctags, unsigned int dtlen)\r
+{\r
+\r
+  treeNode res,y;\r
+  if (isleaf(Par,x))\r
+    return NULLT;\r
+  \r
+  res=NULLT;\r
+  for (unsigned int i = 0; i < dtlen; i ++ )\r
+    {\r
+      y = TaggedDesc(x,desctags[i]);\r
+      res = (res == NULLT) || (( res != NULLT) && (y =! NULLT) && y < res) ? y : res;\r
+      \r
+    };\r
+  \r
+  return res;\r
+  \r
+}\r
+\r
+\r
+treeNode XMLTree::TaggedBelow(treeNode x, TagType *childtags, unsigned int ctlen,\r
+                             TagType *desctags, unsigned int dtlen)\r
+{\r
+  treeNode fs,y,res;\r
+  TagType tag;\r
+\r
+  if (isleaf(Par,x))\r
+    return NULLT;\r
+  \r
+  res = NULLT;\r
+  fs = first_child(Par,x);\r
+  while (fs != NULLT) {\r
+    tag = get_field(tags_fix,tags_blen,node2tagpos(fs));\r
+        \r
+    /* Check for first_child */\r
+    for (unsigned int i = 0; i < ctlen; i++) {\r
+      if (childtags[i] == tag)\r
+       return fs;\r
+    };\r
+    \r
+    for (unsigned int i = 0; i < dtlen; i++)\r
+      if (desctags[i] == tag)\r
+       return fs;  \r
+    \r
+    /* check in the descendants */\r
+    res = NULLT;\r
+    for (unsigned int i = 0; i < dtlen; i ++ ){\r
+      /* maybe inline by hand */\r
+      y = TaggedDesc(fs,desctags[i]);\r
+      res = (res==NULLT || (y != NULLT) &&(y < res)) ? y : res;   \r
+    };\r
+    if (res != NULLT)\r
+      return res;\r
+    \r
+    fs = next_sibling(Par,fs);\r
+  };\r
+  return res;\r
+    \r
+}\r
+treeNode XMLTree::TaggedFollOnly(treeNode x,TagType *folltags, unsigned int ftlen,treeNode root)\r
+{\r
+\r
+  treeNode res,y,lim;\r
+  lim = find_close(Par,root);   \r
+  res=NULLT;\r
+  for (unsigned int i = 0; i < ftlen; i ++ )\r
+    {\r
+      y = TaggedFoll(x,folltags[i]);\r
+      res = (res == NULLT) || (( res != NULLT) && (y =! NULLT) && y < res) ? y : res;\r
+      \r
+    };\r
+  \r
+  return res < lim ? res : NULLT;\r
+  \r
+}\r
+\r
+treeNode XMLTree::TaggedDescOrFollOnly(treeNode x,TagType *folltags, unsigned int ftlen,treeNode root)\r
+{\r
+\r
+  treeNode res,y,lim;\r
+  //int r,s;\r
+  lim = find_close(Par,root);   \r
+  res=NULLT;\r
+  for (unsigned int i = 0; i < ftlen; i ++ )\r
+    {\r
+\r
+                       int s = (int) Tags->select_next(folltags[i],node2tagpos(x));\r
+      /*r = (int) Tags->rank(folltags[i], node2tagpos(x));\r
+      s = (int) Tags->select(folltags[i], r+1);*/\r
+      if (s == -1) \r
+       y = NULLT; // there is no such node\r
+      else {\r
+       y = tagpos2node(s); \r
+       if (y >= lim)\r
+         y = NULLT;\r
+      };\r
+      res = (res == NULLT) || (( res != NULLT) && (y =! NULLT) && y < res) ? y : res;\r
+      \r
+    };\r
+  \r
+  return res < lim ? res : NULLT;\r
+  \r
+}\r
+\r
+\r
+// TaggedNext(x,tag): returns the first node tagged tag with larger preorder than x \r
+// Returns NULLT if there is none.\r
+treeNode XMLTree::TaggedNext(treeNode x, TagType *childtags, unsigned int ctlen,\r
+                            TagType *folltags, unsigned int flen,treeNode root)\r
+ {\r
+   treeNode y,old_y,lim,res;\r
+   TagType tag;\r
+   if (x == NULLT || x == Root())\r
+     return NULLT;\r
+\r
+\r
+   lim = find_close(Par,root);   \r
+\r
+   res = NULLT;\r
+  \r
+   y = next_sibling(Par,x);\r
+   while (y != NULLT) {\r
+     tag = get_field(tags_fix,tags_blen,node2tagpos(y));\r
+     for(unsigned int i = 0; i < ctlen;i++)\r
+       if (childtags[i] == tag)\r
+        return y;\r
+     \r
+     for(unsigned int i = 0; i < flen;i++)\r
+       if (folltags[i] == tag)\r
+        return y;\r
+\r
+     res = TaggedBelow(y,NULL,0,folltags,flen);\r
+     if (res != NULLT)\r
+       return res;\r
+     \r
+     y = next_sibling(Par,y);\r
+   };\r
+   //Found nothing in the following sibling of x.\r
+   res = NULLT;\r
+   for(unsigned int i = 0; i < flen;i++){\r
+     y = TaggedFoll(x,folltags[i]);\r
+     res = (y!= x && (res == NULLT || (y != NULLT && y < res)))? y : res;\r
+   };\r
+  \r
+   return res < lim ? res : NULLT;\r
+   \r
+ }\r
+\r
+\r
 // TaggedPrec(x,tag): returns the first node tagged tag with smaller preorder than x and not an\r
 // ancestor of x. Returns NULLT if there is none.\r
 treeNode XMLTree::TaggedPrec(treeNode x, TagType tag) \r
@@ -526,22 +754,91 @@ treeNode XMLTree::TaggedPrec(treeNode x, TagType tag)
     return NULLT; // there is no such node \r
  }\r
 \r
+\r
 // TaggedFoll(x,tag): returns the first node tagged tag with larger preorder than x and not in\r
 // the subtree of x. Returns NULLT if there is none.\r
-treeNode XMLTree::TaggedFoll(treeNode x, TagType tag) \r
+treeNode XMLTree::TaggedFoll(treeNode x, TagType tag)\r
  {\r
     if (!finished) {\r
        fprintf(stderr, "Error: data structure has not been constructed properly\n");\r
        exit(1);\r
     }\r
 \r
-    int r, s;\r
-    r = (int) Tags->rank(tag, node2tagpos(next_sibling(Par, x))-1);\r
-    s = (int) Tags->select(tag, r+1);  // select returns -1 in case that there is no r+1-th tag.\r
+    //int r, s;\r
+    if (x ==NULLT || x == Root())\r
+       return NULLT;\r
+     \r
+               int s = (int) Tags->select_next(tag,find_close(Par,x));\r
+    /*r = (int) Tags->rank(tag, find_close(Par, x));\r
+    s = (int) Tags->select(tag, r+1);  // select returns -1 in case that there is no r+1-th tag. */\r
+    if (s==-1) return NULLT;\r
+    else return tagpos2node(s);\r
+ } \r
+\r
+// TaggedFoll(x,tag): returns the first node tagged tag with larger preorder than x and not in\r
+// the subtree of x. Returns NULLT if there is none.\r
+treeNode XMLTree::TaggedFollBelow(treeNode x, TagType tag, treeNode root)\r
+ {\r
+\r
+    //int r, s;\r
+    int lim = node2tagpos(find_close(Par,root));\r
+    if (x ==NULLT || x == Root())\r
+       return NULLT;\r
+                   \r
+               int s = (int) Tags->select_next(tag,find_close(Par,x));\r
+    /*r = (int) Tags->rank(tag,find_close(Par,x));\r
+    s = (int) Tags->select(tag, r+1);  // select returns -1 in case that there is no r+1-th tag.*/\r
+    if (s==-1 || s >= lim) \r
+      return NULLT;\r
+    else \r
+      return tagpos2node(s);\r
+ } \r
+\r
+\r
+// TaggedFollowingSibling(x,tag): returns the first node tagged tag with larger preorder than x and not in\r
+// the subtree of x. Returns NULLT if there is none.\r
+treeNode XMLTree::TaggedFollowingSibling(treeNode x, TagType tag) \r
+ {\r
+    if (!finished) {\r
+       fprintf(stderr, "Error: data structure has not been constructed properly\n");\r
+       exit(1);\r
+    }\r
+\r
+    //int r, s;\r
+    treeNode ns = next_sibling(Par,x);\r
+\r
+    if (x == NULLT || x == Root() || ns == -1)\r
+      return NULLT;\r
+\r
+               int s = (int) Tags->select_next(tag,node2tagpos(ns)-1);\r
+    /*r = (int) Tags->rank(tag, node2tagpos(ns)-1);\r
+    s = (int) Tags->select(tag, r+1);  // select returns -1 in case that there is no r+1-th tag.*/\r
     if (s==-1) return NULLT;\r
     else return tagpos2node(s);\r
  }\r
 \r
+\r
+// TaggedAncestor(x, tag): returns the closest ancestor of x tagged tag. Return\r
+// NULLT is there is none.\r
+treeNode XMLTree::TaggedAncestor(treeNode x, TagType tag)\r
+ {\r
+    if (!finished) {\r
+       fprintf(stderr, "Error: data structure has not been constructed properly\n");\r
+       exit(1);\r
+    }\r
+    \r
+    if (x == NULLT || x == Root())\r
+       return NULLT;\r
+    \r
+    treeNode s = parent(Par, x), r = Root();\r
+    while (s != r) {\r
+       if (get_field(tags_fix,tags_blen,node2tagpos(s)) /*Tags->access(node2tagpos(s))*/ == tag) return s;\r
+       s = parent(Par, s);\r
+    }\r
+    return NULLT;\r
+ }\r
+\r
+\r
 // PrevText(x): returns the document identifier of the text to the left \r
 // of node x, or NULLT if x is the root node or the text is empty.\r
 // Assumes Doc ids start from 0.\r
@@ -665,6 +962,29 @@ treeNode XMLTree::ParentNode(DocID d)
        return (treeNode)s;\r
      \r
  }\r
+treeNode XMLTree::PrevNode(DocID d) \r
+ {\r
+    if (!finished) {\r
+       fprintf(stderr, "Error: data structure has not been constructed properly\n");\r
+       exit(1);\r
+    }\r
+    \r
+    if (d == NULLT)\r
+      return NULLT;\r
+    \r
+    int s;\r
+    \r
+    if (indexing_empty_texts) s = d;\r
+    else s = EBVector->select1(d+1);\r
+    if (s == -1)\r
+      return NULLT;\r
+    \r
+    if (inspect(Par,s) == CP) // is a closing parenthesis\r
+      return find_open(Par, s);\r
+    else // is an opening parenthesis\r
+      return NULLT;\r
+    \r
+ }\r
 \r
 \r
 // OpenDocument(empty_texts): it starts the construction of the data structure for\r
@@ -677,7 +997,7 @@ int XMLTree::OpenDocument(bool empty_texts, int sample_rate_text,bool dtc)
     found_attributes = false;\r
     npar = 0;\r
     parArraySize = 1;\r
-    ntagnames = 2;    \r
+    ntagnames = 4;    \r
     disable_tc = dtc;\r
     \r
     indexing_empty_texts = empty_texts;\r
@@ -686,7 +1006,7 @@ int XMLTree::OpenDocument(bool empty_texts, int sample_rate_text,bool dtc)
     \r
     tags_aux = (TagType *) umalloc(sizeof(TagType));\r
     \r
-    TagName = (unsigned char **) umalloc(2*sizeof(unsigned char*));\r
+    TagName = (unsigned char **) umalloc(4*sizeof(unsigned char*));\r
 \r
     TagName[0] = (unsigned char *) umalloc(4*sizeof(unsigned char));\r
 \r
@@ -695,14 +1015,25 @@ int XMLTree::OpenDocument(bool empty_texts, int sample_rate_text,bool dtc)
     TagName[1] = (unsigned char *) umalloc(4*sizeof(unsigned char));\r
 \r
     strcpy((char *) TagName[1], "<$>");\r
+    \r
+    //OJO need to put these in the table too.\r
+    TagName[2] = (unsigned char *) umalloc(5*sizeof(unsigned char));\r
+\r
+    strcpy((char *) TagName[2], "/<@>");\r
+\r
+    TagName[3] = (unsigned char *) umalloc(5*sizeof(unsigned char));\r
+\r
+    strcpy((char *) TagName[3], "/<$>");\r
 \r
 \r
     if (!indexing_empty_texts) \r
       empty_texts_aux = (unsigned int *)umalloc(sizeof(unsigned int));\r
        \r
-    \r
-    \r
-    Text = TextCollection::InitTextCollection((unsigned)sample_rate_text);\r
+    if (disable_tc)\r
+        TextBuilder = 0;\r
+    else \r
+        TextBuilder = new TextCollectionBuilder((unsigned)sample_rate_text);\r
+    Text = 0;\r
     \r
     return 1;  // indicates success in the initialization of the data structure\r
  }\r
@@ -725,24 +1056,51 @@ int XMLTree::CloseDocument()
     Par = (bp *)umalloc(sizeof(bp));\r
     bp_construct(Par, npar, par_aux, OPT_DEGREE|0);    \r
     // creates structure for tags\r
-    static_bitsequence_builder * bmb = new static_bitsequence_builder_brw32(20);\r
-    static_permutation_builder * pmb = new static_permutation_builder_mrrr(PERM_SAMPLE, bmb);\r
-    static_sequence_builder * ssb = new static_sequence_builder_gmr_chunk(bmb, pmb);\r
-\r
 \r
     // If we found an attribute then "<@>" is present in the tree\r
     // if we didn't then it is not. "<$>" is never present in the tree\r
-    int ntagsize = found_attributes ? 2*ntagnames-1 : 2*ntagnames - 2;\r
-\r
-    Tags = new static_sequence_gmr((uint *) tags_aux, (uint) npar-1,ntagsize, bmb, ssb);\r
+               uint max_tag = 0;\r
+               for(uint i=0;i<(uint)npar-1;i++)\r
+                       max_tag = max(max_tag,tags_aux[i]);\r
+               //max_tag++;\r
+               //tags_aux = (TagType *) urealloc(tags_aux, sizeof(TagType)*(npar + 1));\r
+               //tags_aux[npar++] = max_tag;\r
+    //int ntagsize = found_attributes ? 2*ntagnames-1 : 2*ntagnames - 2;\r
+    int ntagsize = 2*ntagnames + 2;\r
+\r
+    //static_bitsequence_builder * bmb = new static_bitsequence_builder_brw32(20);\r
+    //static_permutation_builder * pmb = new static_permutation_builder_mrrr(PERM_SAMPLE, bmb);\r
+    //static_sequence_builder * ssb = new static_sequence_builder_gmr_chunk(bmb, pmb);\r
+               static_bitsequence_builder * bmb = new static_bitsequence_builder_sdarray();\r
+               alphabet_mapper *am = new alphabet_mapper_none();\r
+               //wt_coder * wc = new wt_coder_huff((uint*)tags_aux,npar,am);\r
+               //Tags = new static_sequence_wvtree((uint*)tags_aux,npar,wc ,bmb, am);\r
+    //Tags = new static_sequence_gmr((uint *) tags_aux, (uint) npar,ntagsize, bmb, ssb);\r
+               Tags = new static_sequence_bs((uint*)tags_aux,npar,am,bmb);\r
+               \r
+               cout << "Tags test: " << Tags->test((uint*)tags_aux,npar) << endl;\r
+\r
+               tags_blen = bits(max_tag);\r
+               tags_len = (uint)npar;\r
+               tags_fix = new uint[uint_len(tags_blen,tags_len)];\r
+               for(uint i=0;i<(uint)npar;i++)\r
+                       set_field(tags_fix,tags_blen,i,tags_aux[i]);\r
     \r
     delete bmb;\r
-    delete pmb;\r
-    delete ssb;\r
+    //delete pmb;\r
+    //delete ssb;\r
+\r
+    \r
     // makes the text collection static\r
     if (!disable_tc)\r
-      Text->MakeStatic();\r
-    \r
+    {\r
+        assert(Text == 0);\r
+        assert(TextBuilder != 0);\r
+        Text = TextBuilder->InitTextCollection();\r
+        delete TextBuilder;\r
+        TextBuilder = 0;\r
+    }\r
+\r
     // creates the data structure marking the non-empty texts (just in the case it is necessary)\r
     if (!indexing_empty_texts)  {\r
        EBVector = new static_bitsequence_rrr02((uint *)empty_texts_aux,(ulong)npar,(uint)32);\r
@@ -756,6 +1114,7 @@ int XMLTree::CloseDocument()
     tags_aux = NULL;\r
 \r
     finished = true;\r
+               print_stats();\r
 \r
     return 1; // indicates success in the inicialization\r
  }\r
@@ -808,7 +1167,7 @@ int XMLTree::NewOpenTag(unsigned char *tagname)
     tags_aux[npar] = i; // inserts the new tag id within the preorder sequence of tags\r
     \r
     npar++;\r
-\r
+    \r
     return 1;\r
     \r
  }\r
@@ -832,17 +1191,16 @@ int XMLTree::NewClosingTag(unsigned char *tagname)
        parArraySize *= 2;\r
     }\r
     \r
-    setbit(par_aux,npar,CP);  // marks a new closing opening parenthesis\r
+    setbit(par_aux,npar,CP);  // marks a new closing parenthesis\r
 \r
     // transforms the tagname into a tag identifier. If the tag is new, we insert\r
     // it in the table.\r
     for (i=0; i<ntagnames; i++)\r
-       if (strcmp((const char *)tagname,(const char *)TagName[i])==0) break;\r
+       if ((strcmp((const char *)tagname,(const char *)(TagName[i]+1))==0) && (TagName[i][0]=='/')) break;\r
  \r
     if (i==ntagnames) { // the tag is a new one, then we insert it\r
        TagName = (unsigned char **)urealloc(TagName, sizeof(char *)*(ntagnames+1));\r
        \r
-       \r
        ntagnames++;\r
        TagName[i] = (unsigned char *)umalloc(sizeof(char)*(strlen((const char *)tagname)+2));\r
        TagName[i][0] = '/';\r
@@ -880,7 +1238,9 @@ int XMLTree::NewText(unsigned char *s)
               bitset(empty_texts_aux, npar-1);  // marks the non-empty text with a 1 in the bit vector\r
     }\r
     \r
-    Text->InsertText(s);\r
+    TextBuilder->InsertText(s);\r
+    string cpps = (char*) s;\r
+    CachedText.push_back(cpps); \r
     \r
     return 1; // success\r
  }\r
@@ -903,7 +1263,7 @@ int XMLTree::NewEmptyText()
        \r
        bitclean(empty_texts_aux, npar-1);  // marks the empty text with a 0 in the bit vector\r
     }\r
-    else Text->InsertText(&c); // we insert the empty text just in case we index all the texts\r
+    else TextBuilder->InsertText(&c); // we insert the empty text just in case we index all the texts\r
     \r
     return 1; // success    \r
  }\r
@@ -917,7 +1277,7 @@ TagType XMLTree::GetTagId(unsigned char *tagname)
     // this should be changed for more efficient processing\r
     for (i=0; i<ntagnames; i++)\r
        if (strcmp((const char *)tagname,(const char *)TagName[i])==0) break; \r
-    if (i==ntagnames) return (TagType)NULLT; // tagname does not exists in the table\r
+    if (i==ntagnames) return (TagType)-1; //ntagnames; //(TagType)NULLT; // tagname does not exists in the table\r
     else return i;\r
  }\r
 \r
@@ -927,7 +1287,7 @@ TagType XMLTree::GetTagId(unsigned char *tagname)
 unsigned char *XMLTree::GetTagName(TagType tagid)\r
  {\r
     unsigned char *s;\r
-\r
+               if(tagid==(uint)-1) return NULL;\r
     if (tagid >= ntagnames) return NULL; // invalid tag identifier\r
     s = (unsigned char *)umalloc((strlen((const char *)TagName[tagid])+1)*sizeof(unsigned char));\r
     strcpy((char *)s, (const char *)TagName[tagid]);\r
@@ -939,6 +1299,7 @@ unsigned char *XMLTree::GetTagName(TagType tagid)
 \r
 const unsigned char *XMLTree::GetTagNameByRef(TagType tagid)\r
  {\r
+               if(tagid==(uint)-1) return NULL;\r
     if (tagid >= ntagnames) return NULL; // invalid tag identifier\r
     return ((const unsigned char*)  TagName[tagid]);\r
  }\r