Major optimization, rewrite to avoid deep recursion if possible.
[SXSI/xpathcomp.git] / ata.ml
diff --git a/ata.ml b/ata.ml
index 9197cbc..5288b78 100644 (file)
--- a/ata.ml
+++ b/ata.ml
@@ -13,8 +13,9 @@ sig
 end =
 struct
   type t = int
-  let make = let id = ref ~-1 in
-  fun () -> incr id; !id
+  let make = 
+    let id = ref ~-1 in
+    fun () -> incr id; !id
 
   let compare = (-)
   let equal = (==)
@@ -25,8 +26,25 @@ struct
     if x < 0 then failwith (Printf.sprintf "State: Assertion %i < 0 failed" x)
 end
 
-module StateSet = Ptset.Int
-  
+module StateSet = 
+struct
+  include Ptset.Make ( struct type t = int 
+                             type data = t
+                             external hash : t -> int = "%identity"
+                             external uid : t -> Uid.t = "%identity"
+                             external equal : t -> t -> bool = "%eq"
+                             external make : t -> int = "%identity"
+                             external node : t -> int = "%identity"
+                             external with_id : Uid.t -> t = "%identity"
+                      end
+                    ) 
+  let print ppf s = 
+    Format.pp_print_string ppf "{ ";
+    iter (fun i -> Format.fprintf ppf "%i " i) s;
+    Format.pp_print_string ppf "}";
+    Format.pp_print_flush ppf ()
+end
+
 module Formula =
 struct
     type 'hcons expr = 
@@ -221,8 +239,6 @@ module Transition = struct
 
 end
 
-module TransTable = Hashtbl
 module Formlist = struct 
   include Hlist.Make(Transition)
   let print ppf fl = 
@@ -238,9 +254,9 @@ end
   
 type 'a t = { 
     id : int;
-    mutable states : Ptset.Int.t;
-    init : Ptset.Int.t;
-    starstate : Ptset.Int.t option;
+    mutable states : StateSet.t;
+    init : StateSet.t;
+    starstate : StateSet.t option;
     (* Transitions of the Alternating automaton *)
     trans : (State.t,(TagSet.t*Transition.t) list) Hashtbl.t;
     query_string: string;
@@ -454,7 +470,7 @@ let tags_of_state a q =
        else 0
       let merge conf t res1 res2 = 
        match conf with
-          NO -> 0                         
+         | NO -> 0                         
          | ONLY1 -> res1                
          | ONLY2 -> res2           
          | ONLY12 -> res1+res2     
@@ -462,6 +478,10 @@ let tags_of_state a q =
          | MARK1 -> res1+1         
          | MARK2 -> res2+1         
          | MARK12 -> res1+res2+1   
+      let merge conf _ res1 res2 =
+       let conf = Obj.magic conf in 
+       (conf lsr 2) + ((conf land 0b10) lsr 1)*res2 + (conf land 0b1)*res1
+
 
       let mk_quick_tag_loop _ sl ss tree tag = ();
        fun t ctx ->
@@ -689,13 +709,31 @@ THEN
 INCLUDE "html_trace.ml"
              
 END            
-      let mk_fun f s = D_IGNORE_(register_funname f s,f)
-      let mk_app_fun f arg s = let g = f arg in 
-       D_IGNORE_(register_funname g ((get_funname f) ^ " " ^ s), g) 
-      let mk_app_fun f arg _ = f arg 
-      let mk_app_fun2 f arg1 arg2 s = let g = f arg1 arg2 in 
-       D_IGNORE_(register_funname g ((get_funname f) ^ " " ^ s), g) 
-(*      let mk_app_fun2 f arg1 arg2 s = Printf.eprintf "Building f2 %s\n%!"  s; f arg1 arg2 *)
+      module Trace =
+      struct
+       module HFname = Hashtbl.Make (struct
+                                       type t = Obj.t
+                                       let hash = Hashtbl.hash
+                                       let equal = (==)
+                                     end)
+         
+       let h_fname = HFname.create 401
+         
+       let register_funname f s = 
+         HFname.add h_fname (Obj.repr  f) s
+       let get_funname f = try HFname.find h_fname  (Obj.repr f) with _ -> "[anon_fun]"
+
+
+
+       let mk_fun f s = register_funname f s;f
+       let mk_app_fun f arg s = 
+         let g = f arg in 
+         register_funname g ((get_funname f) ^ " " ^ s); g
+       let mk_app_fun2 f arg1 arg2 s = 
+         let g = f arg1 arg2 in 
+         register_funname g ((get_funname f) ^ " " ^ s); g 
+
+      end
 
       let string_of_ts tags = (Ptset.Int.fold (fun t a -> a ^ " " ^ (Tag.to_string t) ) tags "{")^ " }"
 
@@ -801,41 +839,41 @@ END
              if Ptset.Int.is_empty cl then
              if Ptset.Int.is_singleton ll then
              let tag = Ptset.Int.choose ll in 
-             (`TAG(tag),mk_app_fun f_tn tag (Tag.to_string tag))
+             (`TAG(tag),Trace.mk_app_fun f_tn tag (Tag.to_string tag))
              else
-             (`MANY(ll),mk_app_fun f_sn ll (string_of_ts ll))
+             (`MANY(ll),Trace.mk_app_fun f_sn ll (string_of_ts ll))
              else if Ptset.Int.is_empty ll then
              if Ptset.Int.is_singleton cl then
              let tag = Ptset.Int.choose cl in 
-             (`TAG(tag),mk_app_fun f_t1 tag (Tag.to_string tag))
+             (`TAG(tag),Trace.mk_app_fun f_t1 tag (Tag.to_string tag))
              else
-             (`MANY(cl),mk_app_fun f_s1 cl (string_of_ts cl))
+             (`MANY(cl),Trace.mk_app_fun f_s1 cl (string_of_ts cl))
              else
-             (`ANY,mk_app_fun2 f_s1n cl ll ((string_of_ts cl) ^ " " ^ (string_of_ts ll)))
+             (`ANY,Trace.mk_app_fun2 f_s1n cl ll ((string_of_ts cl) ^ " " ^ (string_of_ts ll)))
 
          | _ -> assert false
          
       let choose_jump_down tree d =
        choose_jump d
-         (mk_fun (fun _ -> Tree.nil) "Tree.mk_nil")
-         (mk_fun (Tree.tagged_child tree) "Tree.tagged_child") 
-         (mk_fun (Tree.select_child tree) "Tree.select_child")
-         (mk_fun (Tree.tagged_descendant tree) "Tree.tagged_desc")
-         (mk_fun (Tree.select_descendant tree) "Tree.select_desc") 
-         (mk_fun (fun _ _ -> Tree.first_child tree) "[FIRSTCHILD]Tree.select_child_desc")
-         (mk_fun (Tree.first_element tree) "Tree.first_element")
-         (mk_fun (Tree.first_child tree) "Tree.first_child") 
+         (Trace.mk_fun (fun _ -> Tree.nil) "Tree.mk_nil")
+         (Trace.mk_fun (Tree.tagged_child tree) "Tree.tagged_child") 
+         (Trace.mk_fun (Tree.select_child tree) "Tree.select_child")
+         (Trace.mk_fun (Tree.tagged_descendant tree) "Tree.tagged_desc")
+         (Trace.mk_fun (Tree.select_descendant tree) "Tree.select_desc") 
+         (Trace.mk_fun (fun _ _ -> Tree.first_child tree) "[FIRSTCHILD]Tree.select_child_desc")
+         (Trace.mk_fun (Tree.first_element tree) "Tree.first_element")
+         (Trace.mk_fun (Tree.first_child tree) "Tree.first_child") 
 
       let choose_jump_next tree d = 
        choose_jump d
-         (mk_fun (fun _ _ -> Tree.nil) "Tree.mk_nil2")
-         (mk_fun (Tree.tagged_following_sibling_below tree) "Tree.tagged_sibling_ctx")
-         (mk_fun (Tree.select_following_sibling_below tree) "Tree.select_sibling_ctx")
-         (mk_fun (Tree.tagged_following_below tree) "Tree.tagged_foll_ctx")
-         (mk_fun (Tree.select_following_below tree) "Tree.select_foll_ctx")
-         (mk_fun (fun _ _ -> Tree.next_sibling_below tree) "[NEXTSIBLING]Tree.select_sibling_foll_ctx")
-         (mk_fun (Tree.next_element_below tree) "Tree.next_element_ctx")         
-         (mk_fun (Tree.next_sibling_below tree) "Tree.node_sibling_ctx")         
+         (Trace.mk_fun (fun _ _ -> Tree.nil) "Tree.mk_nil2")
+         (Trace.mk_fun (Tree.tagged_following_sibling_below tree) "Tree.tagged_sibling_ctx")
+         (Trace.mk_fun (Tree.select_following_sibling_below tree) "Tree.select_sibling_ctx")
+         (Trace.mk_fun (Tree.tagged_following_below tree) "Tree.tagged_foll_ctx")
+         (Trace.mk_fun (Tree.select_following_below tree) "Tree.select_foll_ctx")
+         (Trace.mk_fun (fun _ _ -> Tree.next_sibling_below tree) "[NEXTSIBLING]Tree.select_sibling_foll_ctx")
+         (Trace.mk_fun (Tree.next_element_below tree) "Tree.next_element_ctx")   
+         (Trace.mk_fun (Tree.next_sibling_below tree) "Tree.node_sibling_ctx")   
                          
          
 
@@ -849,7 +887,7 @@ END
        type t = fun_tree array array
 
        let dummy = fun _ _ _ _ _ -> failwith "Uninitializd CodeCache"
-       let default_line = Array.create 256 dummy (* 256 = max_tag *)
+       let default_line = Array.create 1024 dummy (* 1024 = max_tag *)
        let create n = Array.create n default_line 
        let init f = 
          for i = 0 to (Array.length default_line) - 1
@@ -871,9 +909,6 @@ END
 
       end
 
-      let td_trans = CodeCache.create 10000 (* should be number of tags *number of states^2
-                                               in the document *)
-
       let empty_size n =
        let rec loop acc = function 0 -> acc
          | n -> loop (SList.cons StateSet.empty acc) (n-1)
@@ -887,9 +922,9 @@ END
        type t = Obj.t array array array array
        let dummy_val = Obj.repr ((),2,()) 
 
-       let default_line3 = Array.create 10000 dummy_val
-       let default_line2 = Array.create 10000 default_line3
-       let default_line1 = Array.create 10000 default_line2
+       let default_line3 = Array.create BIG_A_SIZE dummy_val
+       let default_line2 = Array.create BIG_A_SIZE default_line3
+       let default_line1 = Array.create BIG_A_SIZE default_line2
 
        let create n = Array.create n default_line1
        
@@ -905,18 +940,18 @@ END
          if e == default then
          let ne = Array.copy e in (set tab idx ne;ne)
          else e
-
+         
        let add h tag fl s1 s2 (data: SList.t*bool*(merge_conf array)) =
          let l1 = get_replace h tag default_line1 in
          let l2 = get_replace l1 (Uid.to_int fl.Formlistlist.Node.id) default_line2 in
-         let l3 = get_replace l2 (Uid.to_int s1.SList.Node.id) default_line3 in 
+         let l3 = get_replace l2 (Uid.to_int s1.SList.Node.id) default_line3  in 
          set l3 (Uid.to_int s2.SList.Node.id) (Obj.repr data)
       end
 
             
-      let h_fold2 = Fold2Res.create 256
+
       
-      let top_down ?(noright=false) a tree t slist ctx slot_size =     
+      let top_down ?(noright=false) a tree t slist ctx slot_size td_trans h_fold2=     
        let pempty = empty_size slot_size in    
        let rempty = Array.make slot_size RS.empty in
        (* evaluation starts from the right so we put sl1,res1 at the end *)
@@ -1139,15 +1174,313 @@ END
        let _ = CodeCache.init mk_trans in
        (if noright then loop_no_right else loop) t ctx slist Tag.dummy
 
-       let run_top_down a tree =
-         let init = SList.cons a.init SList.nil in
-         let _,res = top_down a tree Tree.root init Tree.root 1 
-         in 
-           D_IGNORE_(
-             output_trace a tree "trace.html"
-               (RS.fold (fun t a -> IntSet.add (Tree.id tree t) a) res.(0) IntSet.empty),
+
+      let run_top_down a tree =
+       let init = SList.cons a.init SList.nil in
+       let _,res = top_down a tree Tree.root init Tree.root 1 (CodeCache.create BIG_A_SIZE) (Fold2Res.create 1024)
+       in 
+       D_IGNORE_(
+         output_trace a tree "trace.html"
+           (RS.fold (fun t a -> IntSet.add (Tree.id tree t) a) res.(0) IntSet.empty),
              res.(0))
-       ;;
+      ;;
+      
+
+
+
+
+      module Code3Cache = 
+      struct
+       let get = Array.get             
+       let set = Array.set
+       let realloc a new_size default =
+         let old_size = Array.length a in
+         if old_size == new_size then a
+         else if new_size == 0 then [||]
+         else let na = Array.create new_size default in
+         Array.blit a 0 na 0 old_size;na
+
+       type fun_tree = [`Tree] Tree.node -> [`Tree] Tree.node -> StateSet.t ->  Tag.t -> StateSet.t*RS.t
+       and t = { mutable table : fun_tree array array;
+                 mutable default_elm : fun_tree;
+                 mutable default_line : fun_tree array;
+                  (* statistics *)
+                 mutable access : int;
+                 mutable miss : int;
+                }
+
+
+       let create () = 
+         { table = [||]; 
+           default_elm = (fun _ _ _ _ -> failwith "Uninitialized Code3Cache.t structure\n");
+           default_line = [||];
+           access = 0;
+           miss = 0 }
+
+       let init h f =
+         let default_line = Array.create SMALL_A_SIZE f in
+         begin
+           h.table <- Array.create SMALL_A_SIZE default_line;
+           h.default_elm <- f;
+           h.default_line <- default_line;
+           h.access <- 0;
+           h.miss <- 0
+         end
+           
+       let next_power_of_2 n = 
+         let rec loop i acc = 
+           if acc == 0 then i
+           else loop (i+1) (acc lsr 1)
+         in
+         1 lsl (loop 0 n)
+       
+       let get_fun h slist tag =
+         let _ = h.access <- h.access + 1 in
+         let idx = Uid.to_int slist.StateSet.Node.id in
+         let line = 
+           if idx >= Array.length h.table then 
+           let new_tab = realloc h.table (next_power_of_2 idx) h.default_line in
+           let _ =  h.miss <- h.miss + 1; h.table <- new_tab in h.default_line
+           else Array.unsafe_get h.table idx
+         in
+         if tag >= Array.length line then
+         let new_line = realloc line (next_power_of_2 tag) h.default_elm in
+         let _ = h.miss <- h.miss + 1; Array.unsafe_set h.table idx new_line in h.default_elm
+         else Array.unsafe_get line tag
+
+       let set_fun (h : t) slist tag (data : fun_tree) =
+         let idx = Uid.to_int slist.StateSet.Node.id in
+         let line = 
+           if idx >= Array.length h.table then 
+           let new_tab = realloc h.table (next_power_of_2 idx) h.default_line in
+           let _ =  h.table <- new_tab in h.default_line
+           else Array.unsafe_get h.table idx
+         in
+         let line = if line == h.default_line then 
+         let l = Array.copy line in Array.unsafe_set h.table idx l;l
+         else line in
+         let line = if tag >= Array.length line then
+         let new_line = realloc line (next_power_of_2 tag) h.default_elm in
+         let _ = Array.unsafe_set h.table idx new_line in new_line
+         else line
+         in
+         Array.unsafe_set line tag data
+
+
+       let dump h = Array.iteri 
+         (fun id line -> if line != h.default_line then 
+          begin
+            StateSet.print Format.err_formatter (StateSet.with_id (Uid.of_int id));
+            Format.fprintf Format.err_formatter " -> ";
+            Array.iteri (fun tag clos ->
+                           if clos != h.default_elm then
+                           Format.fprintf Format.err_formatter " (%s,%s) "
+                             (Tag.to_string tag) (Trace.get_funname clos)) line;
+            Format.fprintf Format.err_formatter "\n%!"
+          end
+         ) h.table;
+         Format.fprintf Format.err_formatter "Cache hits: %i, Cache misses: %i, ratio = %f\n%!"
+           h.access h.miss ((float_of_int h.miss)/. (float_of_int h.access));
+         Format.fprintf Format.err_formatter "Size: %i kb\n%!"
+           (((2+(Array.length h.default_line)+
+                (Array.fold_left (fun acc l ->acc + (if l == h.default_line then 0 else Array.length l))
+                (Array.length h.table) h.table)) * Sys.word_size) / 1024)
+
+      end
+
+      module StaticEnv =
+      struct
+
+       type t = { stack : Obj.t array; 
+                  mutable top : int; }
+
+       let create () = { stack = Array.create BIG_A_SIZE (Obj.repr 0); top = 0 }
+       let add t e = 
+         let _ = if t.top >= Array.length t.stack then failwith "Static Env overflow" in
+         let i = t.top in Array.unsafe_set t.stack i e; t.top <- i + 1; i
+
+       let get t i :'a = Obj.magic (Array.unsafe_get t.stack i)
+      end
+         
+      module Fold3Res = struct
+       let get = Array.unsafe_get
+       let set = Array.set 
+       external field1 : Obj.t -> int = "%field1"
+       type t = Obj.t array array array array
+       let dummy_val = Obj.repr ((),2,()) 
+
+       let default_line3 = Array.create 1024 dummy_val
+       let default_line2 = Array.create BIG_A_SIZE default_line3
+       let default_line1 = Array.create BIG_A_SIZE default_line2
+
+       let create n = Array.create n default_line1
+       
+       let find h tag fl s1 s2 : StateSet.t*bool*merge_conf = 
+         let l1 = get h (Uid.to_int fl.Formlist.Node.id) in
+         let l2 = get l1 (Uid.to_int s1.StateSet.Node.id) in
+         let l3 = get l2 (Uid.to_int s2.StateSet.Node.id) in
+         Obj.magic (get l3 tag)
+         
+       let is_valid b = b != (Obj.magic dummy_val)
+       let get_replace tab idx default =
+         let e = get tab idx in
+         if e == default then
+         let ne = Array.copy e in (set tab idx ne;ne)
+         else e
+         
+       let add h tag fl s1 s2 (data: StateSet.t*bool*merge_conf) =
+         let l1 = get_replace h (Uid.to_int fl.Formlist.Node.id) default_line1 in
+         let l2 = get_replace l1 (Uid.to_int s1.StateSet.Node.id) default_line2 in
+         let l3 = get_replace l2 (Uid.to_int s2.StateSet.Node.id) default_line3 in 
+         set l3 tag (Obj.repr data)
+      end
+
+
+      let empty_res = StateSet.empty,RS.empty
+
+      let top_down1 a tree t slist ctx td_trans h_fold2  =     
+       (* evaluation starts from the right so we put sl1,res1 at the end *)
+       let env = StaticEnv.create () in
+       let slist_reg = ref StateSet.empty in
+       let eval_fold2_slist fll t tag (sl2,res2) (sl1,res1) =   
+         let data = Fold3Res.find h_fold2 tag fll sl1 sl2  in
+         if Fold3Res.is_valid data then
+         let r,b,conf = data in
+         (r,if b then RS.merge conf t res1 res2 else RS.empty)
+         else
+         let r,conf = eval_formlist tag sl1 sl2 fll in
+         let b = conf <> NO in
+         (Fold3Res.add h_fold2 tag fll sl1 sl2 (r,b,conf);
+          (r, if b then RS.merge conf t res1 res2 else RS.empty))
+        
+       in
+       let loop t ctx slist _ =
+         if t == Tree.nil then empty_res else
+         let tag = Tree.tag tree t in
+         (Code3Cache.get_fun td_trans slist tag) t ctx slist tag
+
+       in
+       let loop_tag t ctx slist tag =
+         if t == Tree.nil then empty_res else 
+         (Code3Cache.get_fun td_trans slist tag) t ctx slist tag
+         
+       in
+       let mk_trans t ctx slist tag = 
+         let fl_list,llist,rlist,ca,da,sa,fa = 
+           StateSet.fold
+             (fun q acc ->                         
+                List.fold_left 
+                  (fun ((fl_acc,ll_acc,rl_acc,c_acc,d_acc,s_acc,f_acc) as acc) 
+                   (ts,t)  ->
+                     if (TagSet.mem tag ts)
+                     then 
+                     let _,_,_,f,_ = t.Transition.node in
+                     let (child,desc,below),(sibl,foll,after) = Formula.st f in
+                     (Formlist.cons t fl_acc,
+                      StateSet.union ll_acc below,
+                      StateSet.union rl_acc after,
+                      StateSet.union child c_acc,
+                      StateSet.union desc d_acc,
+                      StateSet.union sibl s_acc,
+                      StateSet.union foll f_acc)                
+                     else acc ) acc (
+                    try Hashtbl.find a.trans q 
+                    with
+                       Not_found -> Printf.eprintf "Looking for state %i, doesn't exist!!!\n%!"
+                         q;[]
+                  )
+                  
+             ) slist (Formlist.nil,StateSet.empty,StateSet.empty,
+                      StateSet.empty,StateSet.empty,StateSet.empty,StateSet.empty)
+
+         in                    
+         (* Logic to chose the first and next function *)
+         let tags_child,tags_below,tags_siblings,tags_after = Tree.tags tree tag in
+         let d_f = Algebra.decide a tags_child tags_below (StateSet.union ca da) true in
+         let d_n = Algebra.decide a tags_siblings tags_after (StateSet.union sa fa) false in
+         let f_kind,first = choose_jump_down tree d_f
+         and n_kind,next = choose_jump_next tree d_n in 
+
+          let cont =
+            match f_kind,n_kind with
+              | `NIL,`NIL -> 
+                 fun t _ _ tag -> eval_fold2_slist fl_list t tag empty_res empty_res
+               
+             |  _,`NIL -> (
+                   match f_kind with
+                     |`TAG(tag1) -> 
+                       (fun t _ _ tag -> eval_fold2_slist fl_list t tag empty_res
+                         (loop_tag (first t) t llist tag1))
+                    | _ ->
+                        fun t _ _ tag -> eval_fold2_slist fl_list t tag empty_res
+                          (loop (first t) t llist tag)
+                )
+              | `NIL,_ -> (
+                  match n_kind with
+                    |`TAG(tag2) -> 
+                      fun t ctx _ tag  ->
+                        eval_fold2_slist fl_list t tag 
+                          (loop_tag (next t ctx) ctx rlist tag2)
+                          empty_res
+
+                    | _ -> 
+                       fun t ctx _ tag ->
+                         eval_fold2_slist fl_list t tag 
+                           (loop (next t ctx) ctx rlist tag)
+                           empty_res
+                        
+               )
+                 
+              | `TAG(tag1),`TAG(tag2) -> 
+                 fun t ctx _ tag -> 
+                   eval_fold2_slist fl_list t tag
+                     (loop_tag (next t ctx) ctx rlist tag2)              
+                     (loop_tag (first t) t llist tag1)
+              | `TAG(tag1),`ANY -> 
+                 fun t ctx _ tag -> 
+                   eval_fold2_slist fl_list t tag
+                     (loop (next t ctx) ctx rlist tag)
+                     (loop_tag (first t) t llist tag1)
+
+              | `ANY,`TAG(tag2) -> 
+                 fun t ctx _ tag -> 
+                   eval_fold2_slist fl_list t tag
+                     (loop_tag (next t ctx) ctx rlist tag2)              
+                     (loop (first t) t llist tag)
+                         
+                                                                  
+              | _,_ -> 
+                  fun t ctx _ tag -> 
+                   eval_fold2_slist fl_list t tag
+                     (loop (next t ctx) ctx rlist tag)           
+                     (loop (first t) t llist tag)
+
+             
+
+         in
+         let _ = Trace.register_funname cont 
+           (Printf.sprintf "{first=%s, next=%s}" (Trace.get_funname first)  (Trace.get_funname next))
+         in
+         Code3Cache.set_fun td_trans slist tag cont; 
+         cont 
+       in
+       let cache_take_trans t ctx slist tag = 
+         let cont = mk_trans t ctx slist tag in
+         cont t ctx slist tag
+       in
+       Code3Cache.init td_trans (cache_take_trans);
+       loop t ctx slist Tag.dummy
+         
+      
+      let run_top_down1 a tree =
+       let code_cache = Code3Cache.create ()  in
+       let fold_cache = Fold3Res.create BIG_A_SIZE in
+       let _,res = top_down1 a tree Tree.root a.init Tree.root code_cache fold_cache
+       in 
+       (*Code3Cache.dump code_cache; *)
+       res
+
 
        module Configuration =
        struct
@@ -1165,7 +1498,7 @@ END
            if Ptss.mem s c.sets then
              { c with results = IMap.add s (RS.concat r (IMap.find s c.results)) c.results}
            else
-             { hash = HASHINT2(c.hash,Uid.to_int (Ptset.Int.uid s));
+             { hash = HASHINT2(c.hash,Uid.to_int s.StateSet.Node.id);
                sets = Ptss.add s c.sets;
                results = IMap.add s r c.results
              }
@@ -1199,7 +1532,7 @@ END
            in
            let h,s =
              Ptss.fold 
-               (fun s (ah,ass) -> (HASHINT2(ah, Uid.to_int (Ptset.Int.uid s)),
+               (fun s (ah,ass) -> (HASHINT2(ah, Uid.to_int s.StateSet.Node.id ),
                                    Ptss.add s ass))
                (Ptss.union c1.sets c2.sets) (0,Ptss.empty)
            in
@@ -1223,8 +1556,8 @@ END
                     Hashtbl.find h_fold key
                   with
                      Not_found -> let res = 
-                       if dir then eval_formlist tag s Ptset.Int.empty formlist
-                       else eval_formlist tag Ptset.Int.empty s formlist 
+                       if dir then eval_formlist tag s StateSet.empty formlist
+                       else eval_formlist tag StateSet.empty s formlist 
                      in (Hashtbl.add h_fold key res;res)
                 in
                 let (rb,rb1,rb2,mark) = bool_of_merge mcnf in
@@ -1297,7 +1630,7 @@ END
          let slist = SList.rev (slist) in 
          let newconf = fold_f_conf tree parent slist fl_list conf dir in
          let accu,newconf = Configuration.IMap.fold (fun s res (ar,nc) ->
-                                                       if Ptset.Int.intersect s init then
+                                                       if StateSet.intersect s init then
                                                          ( RS.concat res ar ,nc)
                                                        else (ar,Configuration.add nc s res))
            (newconf.Configuration.results) (accu,Configuration.empty) 
@@ -1314,8 +1647,8 @@ END
              | Not_found -> 
                  let res = Hashtbl.fold (fun q l acc -> 
                                            if List.exists (fun (ts,_) -> TagSet.mem tag ts) l
-                                           then Ptset.Int.add q acc
-                                           else acc) a.trans Ptset.Int.empty
+                                           then StateSet.add q acc
+                                           else acc) a.trans StateSet.empty
                  in Hashtbl.add h_tdconf tag res;res
          in 
 (*       let _ = pr ", among ";
@@ -1323,7 +1656,7 @@ END
            pr "\n%!";
          in *)
          let r = SList.cons r SList.nil in
-         let set,res = top_down (~noright:noright) a tree t r t 1 in
+         let set,res = top_down (~noright:noright) a tree t r t 1 (CodeCache.create BIG_A_SIZE) (Fold2Res.create 1024) in
          let set = match SList.node set with
            | SList.Cons(x,_) ->x
            | _ -> assert false 
@@ -1371,9 +1704,10 @@ END
 
     end
           
-    let top_down_count a t = let module RI = Run(Integer) in let r = Integer.length (RI.run_top_down a t)
-    in (*RI.TransCache.dump RI.td_trans; *)r
-     let top_down a t = let module RI = Run(IdSet) in (RI.run_top_down a t)
+    let top_down_count a t = let module RI = Run(Integer) in Integer.length (RI.run_top_down a t)
+    let top_down_count1 a t = let module RI = Run(Integer) in Integer.length (RI.run_top_down1 a t)
+    let top_down a t = let module RI = Run(IdSet) in (RI.run_top_down a t)
+    let top_down1 a t = let module RI = Run(IdSet) in (RI.run_top_down1 a t)
     let bottom_up_count a t k = let module RI = Run(Integer) in Integer.length (RI.run_bottom_up a t k)
     let bottom_up a t k = let module RI = Run(IdSet) in (RI.run_bottom_up a t k)
 
@@ -1381,5 +1715,6 @@ END
       struct
        module Results = GResult(Doc)
        let top_down a t = let module R = Run(Results) in (R.run_top_down a t)
+       let top_down1 a t = let module R = Run(Results) in (R.run_top_down1 a t)
       end