WIP
[tatoo.git] / src / run.ml
index d7d5177..0e4e0b3 100644 (file)
 (***********************************************************************)
 
 INCLUDE "utils.ml"
+INCLUDE "debug.ml"
+
 open Format
 open Misc
 
+type stats = { run : int;
+               tree_size : int;
+               fetch_trans_cache_access : int;
+               fetch_trans_cache_hit : int;
+               eval_trans_cache_access : int;
+               eval_trans_cache_hit : int;
+             }
+
+let fetch_trans_cache_hit = ref 0
+let fetch_trans_cache_access = ref 0
+let eval_trans_cache_hit = ref 0
+let eval_trans_cache_access = ref 0
+let reset_stat_counters () =
+  fetch_trans_cache_hit := 0;
+  fetch_trans_cache_access := 0;
+  eval_trans_cache_hit := 0;
+  eval_trans_cache_access := 0
+
+
 module Make (T : Tree.S) =
  struct
 
@@ -27,69 +48,77 @@ module Make (T : Tree.S) =
      type t = int
      let dummy = -1
     (*
-      4444444444443210
-      4 -> kind
-      3 -> is_left
-      2 -> is_right
+      333333333333333210
+      3333 -> kind
+      2 -> has_right
       1 -> has_left
-      0 -> has_right
+      0 -> is_left/is_right
     *)
+     let is_left (s : t) : bool =
+       s land 1 == 1
 
-     let has_right (s : t) : bool =
-       Obj.magic (s land 1)
+     let is_right (s : t) : bool =
+       s land 1 == 0
 
      let has_left (s : t) : bool =
-       Obj.magic ((s lsr 1) land 1)
+       (s lsr 1) land 1 == 1
 
-     let is_right (s : t) : bool =
-       Obj.magic ((s lsr 2) land 1)
-
-     let is_left (s : t) : bool =
-       Obj.magic ((s lsr 3) land 1)
+     let has_right (s : t) : bool =
+       (s lsr 2) land 1 == 1
 
      let kind (s : t) : Tree.NodeKind.t =
-       Obj.magic (s lsr 4)
+       Obj.magic (s lsr 3)
 
-     let make is_left is_right has_left has_right kind =
-       ((Obj.magic kind) lsl 4) lor
-         ((int_of_bool is_left) lsl 3) lor
-         ((int_of_bool is_right) lsl 2) lor
+     let make is_left has_left has_right kind =
+       (int_of_bool is_left) lor
          ((int_of_bool has_left) lsl 1) lor
-         (int_of_bool has_right)
-
+         ((int_of_bool has_right) lsl 2) lor
+         ((Obj.magic kind) lsl 3)
    end
 
    type node_status = {
-     sat : StateSet.t;
-     unsat : StateSet.t;
-     todo : Ata.TransList.t;
-     summary : NodeSummary.t;
+     rank : int;
+     sat : StateSet.t;  (* States that are satisfied at the current node *)
+     todo : StateSet.t; (* States that remain to be proven *)
+     (* For every node_status and automaton a,
+        a.states - (sat U todo) = unsat *)
+     summary : NodeSummary.t; (* Summary of the shape of the node *)
    }
 (* Describe what is kept at each node for a run *)
 
-   module NodeStatus = Hcons.Make(struct
-     type t = node_status
-     let equal c d =
-       c == d ||
-         c.sat == d.sat &&
-         c.unsat == d.unsat &&
-         c.todo == d.todo &&
-         c.summary == d.summary
-
-     let hash c =
-       HASHINT4((c.sat.StateSet.id :> int),
-                (c.unsat.StateSet.id :> int),
-                (c.todo.Ata.TransList.id :> int),
-                c.summary)
-   end
-   )
+   module NodeStatus =
+     struct
+       include Hcons.Make(struct
+         type t = node_status
+         let equal c d =
+           c == d ||
+             c.rank == d.rank &&
+             c.sat == d.sat &&
+             c.todo == d.todo &&
+             c.summary == d.summary
+
+         let hash c =
+           HASHINT4(c.rank,
+                    (c.sat.StateSet.id :> int),
+                    (c.todo.StateSet.id :> int),
+                    c.summary)
+       end
+       )
+       let print ppf s =
+         fprintf ppf
+           "{ rank: %i; sat: %a; todo: %a; summary: _ }"
+           s.node.rank
+           StateSet.print s.node.sat
+           StateSet.print s.node.todo
+     end
 
    let dummy_status =
-     NodeStatus.make { sat = StateSet.empty;
-                       unsat = StateSet.empty;
-                       todo = Ata.TransList.nil;
-                       summary = NodeSummary.dummy;
-                     }
+     NodeStatus.make {
+       rank = -1;
+       sat = StateSet.empty;
+       todo = StateSet.empty;
+       summary = NodeSummary.dummy;
+     }
 
 
    type run = {
@@ -99,28 +128,16 @@ module Make (T : Tree.S) =
      (* The automaton to be run *)
      status : NodeStatus.t array;
      (* A mapping from node preorders to NodeStatus *)
-     unstable : Bitvector.t;
-     (* A bitvector remembering whether a subtree is stable *)
-     mutable redo : bool;
-     (* A boolean indicating whether the run is incomplete *)
      mutable pass : int;
-     (* The number of times this run was updated *)
-     mutable cache2 : Ata.TransList.t Cache.N2.t;
+     mutable fetch_trans_cache : Ata.Formula.t Cache.N2.t;
      (* A cache from states * label to list of transitions *)
-     mutable cache4 : NodeStatus.t Cache.N4.t;
+     mutable td_cache : NodeStatus.t Cache.N5.t;
+     mutable bu_cache : NodeStatus.t Cache.N5.t;
    }
 
-   let pass r = r.pass
-   let stable r = not r.redo
-   let auto r = r.auto
-   let tree r = r.tree
 
 
-   let dummy_trl =
-     Ata.(TransList.cons
-            (Transition.make
-               (State.dummy,QNameSet.empty, Formula.false_))
-            TransList.nil)
+   let dummy_form = Ata.Formula.stay State.dummy
 
    let make auto tree =
      let len = T.size tree in
@@ -128,11 +145,10 @@ module Make (T : Tree.S) =
        tree = tree;
        auto = auto;
        status = Array.create len dummy_status;
-       unstable = Bitvector.create ~init:true len;
-       redo = true;
        pass = 0;
-       cache2 = Cache.N2.create dummy_trl;
-       cache4 = Cache.N4.create dummy_status;
+       fetch_trans_cache = Cache.N2.create dummy_form;
+       td_cache = Cache.N5.create dummy_status;
+       bu_cache = Cache.N5.create dummy_status;
      }
 
    let get_status a i =
@@ -143,145 +159,174 @@ module Make (T : Tree.S) =
 
 IFDEF HTMLTRACE
   THEN
-DEFINE TRACE(e) = (e)
+DEFINE IFTRACE(e) = (e)
   ELSE
-DEFINE TRACE(e) = ()
+DEFINE IFTRACE(e) = ()
 END
 
    let html tree node i config msg =
      let config = config.NodeStatus.node in
-     Html.trace (T.preorder tree node) i
-       "node: %i<br/>%s<br/>sat: %a<br/>unsat: %a<br/>todo: %around: %i<br/>"
-       (T.preorder tree node)
-       msg
-       StateSet.print config.sat
-       StateSet.print config.unsat
-       (Ata.TransList.print ~sep:"<br/>") config.todo i
+     Html.trace ~msg:msg
+       (T.preorder tree node) i
+       config.todo
+       config.sat
+
 
 
    let debug msg tree node i config =
      let config = config.NodeStatus.node in
      eprintf
-       "DEBUG:%s node: %i\nsat: %a\nunsat: %a\ntodo: %around: %i\n"
+       "DEBUG:%s node: %i\nsat: %a\ntodo: %a\nround: %i\n"
        msg
        (T.preorder tree node)
        StateSet.print config.sat
-       StateSet.print config.unsat
-       (Ata.TransList.print ~sep:"\n") config.todo i
-
+       StateSet.print config.todo
+       i
 
-   let get_trans cache2 auto tag states =
-     let trs =
-       Cache.N2.find cache2
-         (tag.QName.id :> int) (states.StateSet.id :> int)
+   let get_form fetch_trans_cache auto tag q =
+     let phi =
+       incr fetch_trans_cache_access;
+       Cache.N2.find fetch_trans_cache (tag.QName.id :> int) (q :> int)
      in
-     if trs == dummy_trl then
-       let trs = Ata.get_trans auto tag states in
-       (Cache.N2.add
-          cache2
-          (tag.QName.id :> int)
-          (states.StateSet.id :> int) trs; trs)
-     else trs
-
-
-
-   let simplify_atom atom pos q { NodeStatus.node = status; _ } =
-     if (pos && StateSet.mem q status.sat)
-       || ((not pos) && StateSet.mem q status.unsat) then Ata.Formula.true_
-     else if (pos && StateSet.mem q status.unsat)
-         || ((not pos) && StateSet.mem q status.sat) then Ata.Formula.false_
-     else atom
+     if phi == dummy_form then
+       let phi = Ata.get_form auto tag q in
+       let () =
+         Cache.N2.add
+           fetch_trans_cache
+           (tag.QName.id :> int)
+           (q :> int) phi
+       in phi
+     else begin
+       incr fetch_trans_cache_hit;
+       phi
+     end
+
+   type trivalent = False | True | Unknown
+   let of_bool = function false -> False | true -> True
+   let or_ t1 t2 =
+     match t1 with
+       False -> t2
+     | True -> True
+     | Unknown -> if t2 == True then True else Unknown
+
+   let and_ t1 t2 =
+     match t1 with
+       False -> False
+     | True -> t2
+     | Unknown -> if t2 == False then False else Unknown
+
+ (* Define as macros to get lazyness *)
+DEFINE OR_(t1,t2) =
+     match t1 with
+       False -> (t2)
+     | True -> True
+     | Unknown -> if (t2) == True then True else Unknown
+
+DEFINE AND_(t1,t2) =
+     match t1 with
+       False -> False
+     | True -> (t2)
+     | Unknown -> if (t2) == False then False else Unknown
 
 
    let eval_form phi fcs nss ps ss summary =
      let open Ata in
          let rec loop phi =
            begin match Formula.expr phi with
-             Boolean.True | Boolean.False -> phi
+           | Boolean.False -> False
+           | Boolean.True -> True
            | Boolean.Atom (a, b) ->
                begin
                  let open NodeSummary in
                      match a.Atom.node with
                      | Move (m, q) ->
-                         let states = match m with
-                           `First_child -> fcs
-                         | `Next_sibling -> nss
-                         | `Parent | `Previous_sibling -> ps
-                         | `Stay -> ss
-                         in simplify_atom phi b q states
-                     | Is_first_child -> Formula.of_bool (b == is_left summary)
-                     | Is_next_sibling -> Formula.of_bool (b == is_right summary)
-                     | Is k -> Formula.of_bool (b == (k == kind summary))
-                     | Has_first_child -> Formula.of_bool (b == has_left summary)
-                     | Has_next_sibling -> Formula.of_bool (b == has_right summary)
+                         let down, ({ NodeStatus.node = n_sum; _ } as sum) =
+                           match m with
+                             `First_child -> true, fcs
+                           | `Next_sibling -> true, nss
+                           | `Parent | `Previous_sibling -> false, ps
+                           | `Stay -> false, ss
+                         in
+                         if sum == dummy_status
+                           (*|| (down && n_sum.rank < ss.NodeStatus.node.rank) *)
+                           || StateSet.mem q n_sum.todo then
+                           Unknown
+                         else
+                           of_bool (b == StateSet.mem q n_sum.sat)
+                     | Is_first_child -> of_bool (b == is_left summary)
+                     | Is_next_sibling -> of_bool (b == is_right summary)
+                     | Is k -> of_bool (b == (k == kind summary))
+                     | Has_first_child -> of_bool (b == has_left summary)
+                     | Has_next_sibling -> of_bool (b == has_right summary)
                end
-           | Boolean.And(phi1, phi2) -> Formula.and_ (loop phi1) (loop phi2)
-           | Boolean.Or (phi1, phi2) -> Formula.or_  (loop phi1) (loop phi2)
+           | Boolean.And(phi1, phi2) -> AND_ (loop phi1, loop phi2)
+           | Boolean.Or (phi1, phi2) -> OR_ (loop phi1, loop phi2)
            end
          in
          loop phi
 
 
+   let eval_trans_aux auto fetch_trans_cache tag fcs nss ps old_status =
+     let { sat = old_sat;
+           todo = old_todo;
+           summary = old_summary } as os_node = old_status.NodeStatus.node
+     in
+     let sat, todo =
+       StateSet.fold (fun q ((a_sat, a_todo) as acc) ->
+         let phi =
+           get_form fetch_trans_cache auto tag q
+         in
 
-   let eval_trans cache4 fcs nss ps ss =
-     let fcsid = (fcs.NodeStatus.id :> int) in
-     let nssid = (nss.NodeStatus.id :> int) in
-     let psid = (ps.NodeStatus.id :> int) in
-     let rec loop old_config =
-       let oid = (old_config.NodeStatus.id :> int) in
-       let res =
-         let res = Cache.N4.find cache4 oid fcsid nssid psid in
-         if res != dummy_status then res
-         else
-           let { sat = old_sat;
-                 unsat = old_unsat;
-                 todo = old_todo;
-                 summary = old_summary } = old_config.NodeStatus.node
-           in
-           let sat, unsat, removed, kept, todo =
-             Ata.TransList.fold
-               (fun trs acc ->
-                 let q, lab, phi = Ata.Transition.node trs in
-                 let a_sat, a_unsat, a_rem, a_kept, a_todo = acc in
-                 if StateSet.mem q a_sat || StateSet.mem q a_unsat then acc else
-                   let new_phi =
-                     eval_form phi fcs nss ps old_config old_summary
-                   in
-                   if Ata.Formula.is_true new_phi then
-                     StateSet.add q a_sat, a_unsat, StateSet.add q a_rem, a_kept, a_todo
-                   else if Ata.Formula.is_false new_phi then
-                     a_sat, StateSet.add q a_unsat, StateSet.add q a_rem, a_kept, a_todo
-                   else
-                     let new_tr = Ata.Transition.make (q, lab, new_phi) in
-                     (a_sat, a_unsat, a_rem, StateSet.add q a_kept, (Ata.TransList.cons new_tr a_todo))
-               ) old_todo (old_sat, old_unsat, StateSet.empty, StateSet.empty, Ata.TransList.nil)
-           in
-        (* States that have been removed from the todo list and not kept are now
-           unsatisfiable *)
-           let unsat = StateSet.union unsat (StateSet.diff removed kept) in
-        (* States that were found once to be satisfiable remain so *)
-           let unsat = StateSet.diff unsat sat in
-           let new_config = NodeStatus.make { old_config.NodeStatus.node with sat; unsat; todo; } in
-           Cache.N4.add cache4 oid fcsid nssid psid new_config;
-           new_config
-       in
-       if res == old_config then res else loop res
+         let v = eval_form phi fcs nss ps old_status old_summary in
+         match v with
+           True -> StateSet.add q a_sat, a_todo
+         | False -> acc
+         | Unknown -> a_sat, StateSet.add q a_todo
+       ) old_todo (old_sat, StateSet.empty)
      in
-     loop ss
+     if old_sat != sat || old_todo != todo then
+       NodeStatus.make { os_node with sat; todo }
+     else old_status
+
 
+   let rec eval_trans_fix auto fetch_trans_cache tag fcs nss ps old_status =
+     let new_status =
+       eval_trans_aux auto fetch_trans_cache tag fcs nss ps old_status
+     in
+     if new_status == old_status then old_status else
+       eval_trans_fix auto fetch_trans_cache tag fcs nss ps new_status
 
 
+   let eval_trans auto fetch_trans_cache td_cache tag fcs nss ps ss =
+     let fcsid = (fcs.NodeStatus.id :> int) in
+     let nssid = (nss.NodeStatus.id :> int) in
+     let psid = (ps.NodeStatus.id :> int) in
+     let ssid = (ss.NodeStatus.id :> int) in
+     let tagid = (tag.QName.id :> int) in
+     let res = Cache.N5.find td_cache tagid ssid fcsid nssid psid in
+     incr eval_trans_cache_access;
+     if res != dummy_status then begin incr eval_trans_cache_hit; res end
+     else let new_status = eval_trans_fix auto fetch_trans_cache tag fcs nss ps ss in
+          Cache.N5.add td_cache tagid ssid fcsid nssid psid new_status;
+          new_status
 
   let top_down run =
+    let i = run.pass in
     let tree = run.tree in
     let auto = run.auto in
     let status = run.status in
-    let cache2 = run.cache2 in
-    let cache4 = run.cache4 in
-    let unstable = run.unstable in
-    let rec loop node =
-      let node_id = T.preorder tree node in
-      if node == T.nil || not (Bitvector.get unstable node_id) then false else begin
+    let fetch_trans_cache = run.fetch_trans_cache in
+    let td_cache = run.td_cache in
+    let bu_cache = run.bu_cache in
+    let states_by_rank = Ata.get_states_by_rank auto in
+    let td_todo = states_by_rank.(i) in
+    let bu_todo = if i + 1 = Array.length states_by_rank then StateSet.empty
+      else
+        states_by_rank.(i+1)
+    in
+    let rec loop_td_and_bu node =
+      if node == T.nil then () else begin
+        let node_id = T.preorder tree node in
         let parent = T.parent tree node in
         let fc = T.first_child tree node in
         let fc_id = T.preorder tree fc in
@@ -289,152 +334,211 @@ END
         let ns_id = T.preorder tree ns in
         let tag = T.tag tree node in
         (* We enter the node from its parent *)
-
         let status0 =
           let c = unsafe_get_status status node_id in
-          if c == dummy_status then
-            (* first time we visit the node *)
+          if c.NodeStatus.node.rank < i then
+            (* first time we visit the node during this run *)
             NodeStatus.make
-              { sat = StateSet.empty;
-                unsat = Ata.get_starting_states auto;
-                todo = get_trans cache2 auto tag (Ata.get_states auto);
-                summary = NodeSummary.make
-                  (node == T.first_child tree parent) (* is_left *)
-                  (node == T.next_sibling tree parent) (* is_right *)
-                  (fc != T.nil) (* has_left *)
-                  (ns != T.nil) (* has_right *)
-                  (T.kind tree node) (* kind *)
+              { rank = i;
+                sat = c.NodeStatus.node.sat;
+                todo = td_todo;
+                summary =
+                  let summary = c.NodeStatus.node.summary in
+                  if summary != NodeSummary.dummy then summary
+                  else
+                    NodeSummary.make
+                      (node != T.next_sibling tree parent)
+                      (fc != T.nil) (* has_left *)
+                      (ns != T.nil) (* has_right *)
+                      (T.kind tree node) (* kind *)
               }
           else c
         in
-
-        TRACE(html tree node _i config0 "Entering node");
-
+        let () = Logger.msg `STATS "Run %i, Node %a, %a@\n"
+          i QName.print tag NodeStatus.print status0
+        in
         (* get the node_statuses for the first child, next sibling and parent *)
         let ps = unsafe_get_status status (T.preorder tree parent) in
         let fcs = unsafe_get_status status fc_id in
         let nss = unsafe_get_status status ns_id in
         (* evaluate the transitions with all this statuses *)
-        let status1 = eval_trans cache4 fcs nss ps status0 in
-
-        TRACE(html tree node _i config1 "Updating transitions");
-
-        (* update the cache if the status of the node changed *)
-
-        if status1 != status0 then status.(node_id) <- status1;
+        let status1 =
+          if status0.NodeStatus.node.todo == StateSet.empty then status0
+          else begin
+            let status1 = eval_trans auto fetch_trans_cache td_cache tag fcs nss ps status0 in
+          (* update the cache if the status of the node changed *)
+            if status1 != status0 then status.(node_id) <- status1;
+            status1
+          end
+        in
+        let () = Logger.msg `STATS "Run %i, Node %a, %a@\n"
+          i QName.print tag NodeStatus.print status1
+        in
         (* recursively traverse the first child *)
-        let unstable_left = loop fc in
+        let () = loop_td_and_bu fc in
         (* here we re-enter the node from its first child,
            get the new status of the first child *)
         let fcs1 = unsafe_get_status status fc_id in
         (* update the status *)
-        let status2 = eval_trans cache4 fcs1 nss ps status1 in
-
-        TRACE(html tree node _i config2 "Updating transitions (after first-child)");
-
-        if status2 != status1 then status.(node_id) <- status2;
-        let unstable_right = loop ns in
+        let status1 = if status1.NodeStatus.node.rank < i+1 then
+            NodeStatus.make { status1.NodeStatus.node with
+              rank = i+1;
+              todo = bu_todo }
+          else
+            status1
+        in
+        let status2 =
+          if status1.NodeStatus.node.todo == StateSet.empty then status1
+          else begin
+            let status2 = eval_trans auto fetch_trans_cache bu_cache tag fcs1 nss ps status1 in
+            if status2 != status1 then status.(node_id) <- status2;
+            status2
+          end
+        in
+        let () = Logger.msg `STATS "Run %i, Node %a, %a@\n"
+          (i+1) QName.print tag NodeStatus.print status2
+        in
+        let () = loop_td_and_bu ns in
         let nss1 = unsafe_get_status status ns_id in
-        let status3 = eval_trans cache4 fcs1 nss1 ps status2 in
-
-        TRACE(html tree node _i config3 "Updating transitions (after next-sibling)");
-
-        if status3 != status2 then status.(node_id) <- status3;
+        if status2.NodeStatus.node.todo != StateSet.empty then
+          let status3 = eval_trans auto fetch_trans_cache bu_cache tag fcs1 nss1 ps status2 in
+          let () = Logger.msg `STATS "Run %i, Node %a, %a@\n"
+            (i+1) QName.print tag NodeStatus.print status3
+          in
 
-        let unstable_self =
-          (* if either our left or right child is unstable or if we still have transitions
-             pending, the current node is unstable *)
-          unstable_left
-          || unstable_right
-          || Ata.TransList.nil != status3.NodeStatus.node.todo
-        in
-        Bitvector.unsafe_set unstable node_id unstable_self;
-        TRACE((if not unstable_self then
-            Html.finalize_node
-              node_id
-              _i
-              Ata.(StateSet.intersect config3.Config.node.sat auto.selection_states)));
-        unstable_self
+          if status3 != status2 then status.(node_id) <- status3
       end
-    in
-    run.redo <- loop (T.root tree);
-    run.pass <- run.pass + 1
-
-(*
-  let stats run =
-    let count = ref 0 in
-    let len = Bitvector.length run.unstable in
-    for i = 0 to len - 1 do
-      if not (Bitvector.unsafe_get run.unstable i) then
-        incr count
-    done;
-    Logger.msg `STATS
-      "%i nodes over %i were skipped in iteration %i (%.2f %%), redo is: %b"
-      !count len run.pass (100. *. (float !count /. float len))
-      run.redo
-
-
-  let eval auto tree node =
-    let len = T.size tree in
-    let run = { config = Array.create len Ata.dummy_config;
-                unstable = Bitvector.create ~init:true len;
-                redo = true;
-                pass = 0
+    and loop_td_only node =
+      if node == T.nil then () else begin
+        let node_id = T.preorder tree node in
+        let parent = T.parent tree node in
+        let fc = T.first_child tree node in
+        let fc_id = T.preorder tree fc in
+        let ns = T.next_sibling tree node in
+        let ns_id = T.preorder tree ns in
+        let tag = T.tag tree node in
+        (* We enter the node from its parent *)
+        let status0 =
+          let c = unsafe_get_status status node_id in
+          if c.NodeStatus.node.rank < i then
+            (* first time we visit the node during this run *)
+            NodeStatus.make
+              { rank = i;
+                sat = c.NodeStatus.node.sat;
+                todo = td_todo;
+                summary =
+                  let summary = c.NodeStatus.node.summary in
+                  if summary != NodeSummary.dummy then summary
+                  else
+                    NodeSummary.make
+                      (node != T.next_sibling tree parent)
+                      (fc != T.nil) (* has_left *)
+                      (ns != T.nil) (* has_right *)
+                      (T.kind tree node) (* kind *)
               }
-    in
-    while run.redo do
-      run.redo <- false;
-      Ata.reset auto; (* prevents the .cache2 and .cache4 memoization tables from growing too much *)
-      run.redo <- top_down_run auto tree node run;
-      stats run;
-      run.pass <- run.pass + 1;
-    done;
-    at_exit (fun () -> Logger.msg `STATS "%i iterations" run.pass);
-    at_exit (fun () -> stats run);
-    let r = get_results auto tree node run.config in
+          else c
+        in
+        let () = Logger.msg `STATS "Run %i, Node %a, %a@\n"
+          (i) QName.print tag NodeStatus.print status0
+        in
 
-    TRACE(Html.gen_trace (module T : Tree.S with type t = T.t) (tree));
+        (* get the node_statuses for the first child, next sibling and parent *)
+        let ps = unsafe_get_status status (T.preorder tree parent) in
+        let fcs = unsafe_get_status status fc_id in
+        let nss = unsafe_get_status status ns_id in
+        (* evaluate the transitions with all this statuses *)
+        if status0.NodeStatus.node.todo != StateSet.empty then begin
+          let status1 = eval_trans auto fetch_trans_cache td_cache tag fcs nss ps status0 in
+          (* update the cache if the status of the node changed *)
+          let () = Logger.msg `STATS "Run %i, Node %a, %a@\n"
+            (i) QName.print tag NodeStatus.print status1
+          in
+
+          if status1 != status0 then status.(node_id) <- status1;
+        end;
+        (* recursively traverse the first child *)
+        loop_td_only fc;
+        loop_td_only ns
+      end
+    in
+    if bu_todo == StateSet.empty then
+      let () = loop_td_only (T.root tree) in
+      run.pass <- run.pass + 1
+    else
+      let () = loop_td_and_bu (T.root tree) in
+      run.pass <- run.pass + 2
 
-    r
-*)
 
   let get_results run =
     let cache = run.status in
     let auto = run.auto in
     let tree = run.tree in
+    let sel_states = Ata.get_selecting_states auto in
     let rec loop node acc =
       if node == T.nil then acc
       else
         let acc0 = loop (T.next_sibling tree node) acc in
         let acc1 = loop (T.first_child tree node) acc0 in
 
-        if Ata.(
-          StateSet.intersect
-            cache.(T.preorder tree node).NodeStatus.node.sat
-            (get_selecting_states auto)) then node::acc1
+        if StateSet.intersect
+          cache.(T.preorder tree node).NodeStatus.node.sat
+          sel_states then node::acc1
         else acc1
     in
     loop (T.root tree) []
 
+
+  let get_full_results run =
+    let cache = run.status in
+    let auto = run.auto in
+    let tree = run.tree in
+    let res_mapper = Hashtbl.create MED_H_SIZE in
+    let () =
+      StateSet.iter
+        (fun q -> Hashtbl.add res_mapper q [])
+        (Ata.get_selecting_states auto)
+    in
+    let dummy = [ T.nil ] in
+    let res_mapper = Cache.N1.create dummy in
+    let () =
+      StateSet.iter
+        (fun q -> Cache.N1.add res_mapper (q :> int) [])
+        (Ata.get_selecting_states auto)
+    in
+    let rec loop node =
+      if node != T.nil then
+        let () = loop (T.next_sibling tree node) in
+        let () = loop (T.first_child tree node) in
+        StateSet.iter
+          (fun q ->
+            let res = Cache.N1.find res_mapper (q :> int) in
+            if res != dummy then
+              Cache.N1.add res_mapper (q :> int) (node::res)
+          )
+          cache.(T.preorder tree node).NodeStatus.node.sat
+    in
+    loop (T.root tree);
+    (StateSet.fold_right
+       (fun q acc -> (q, Cache.N1.find res_mapper (q :> int))::acc)
+       (Ata.get_selecting_states auto) [])
+
+
   let prepare_run run list =
     let tree = run.tree in
     let auto = run.auto in
     let status = run.status in
-    let cache2 = run.cache2 in
     List.iter (fun node ->
       let parent = T.parent tree node in
       let fc = T.first_child tree node in
       let ns = T.next_sibling tree node in
-      let tag = T.tag tree node in
-
       let status0 =
         NodeStatus.make
-          { sat = Ata.get_starting_states auto;
-            unsat = StateSet.empty;
-            todo = get_trans cache2 auto tag (Ata.get_states auto);
+          { rank = 0;
+            sat = Ata.get_starting_states auto;
+            todo =
+              StateSet.diff (Ata.get_states auto) (Ata.get_starting_states auto);
             summary = NodeSummary.make
-              (node == T.first_child tree parent) (* is_left *)
-              (node == T.next_sibling tree parent) (* is_right *)
+              (node != T.next_sibling tree parent) (* is_left *)
               (fc != T.nil) (* has_left *)
               (ns != T.nil) (* has_right *)
               (T.kind tree node) (* kind *)
@@ -443,13 +547,39 @@ END
       let node_id = T.preorder tree node in
       status.(node_id) <- status0) list
 
-
-
-  let eval auto tree nodes =
+  let tree_size = ref 0
+  let pass = ref 0
+  let compute_run auto tree nodes =
+    pass := 0;
+    tree_size := T.size tree;
     let run = make auto tree in
     prepare_run run nodes;
-    while run.redo do
+    let rank = Ata.get_max_rank auto in
+    while run.pass <= rank do
       top_down run;
+      run.td_cache <- Cache.N5.create dummy_status;
+      run.bu_cache <- Cache.N5.create dummy_status;
     done;
-    get_results run
+    pass := Ata.get_max_rank auto + 1;
+    IFTRACE(Html.gen_trace auto (module T : Tree.S with type t = T.t) tree);
+
+    run
+
+  let full_eval auto tree nodes =
+    let r = compute_run auto tree nodes in
+    get_full_results r
+
+  let eval auto tree nodes =
+    let r = compute_run auto tree nodes in
+    get_results r
+
+  let stats () = {
+    tree_size = !tree_size;
+    run = !pass;
+    fetch_trans_cache_access = !fetch_trans_cache_access;
+    fetch_trans_cache_hit = !fetch_trans_cache_hit;
+    eval_trans_cache_access = !eval_trans_cache_access;
+    eval_trans_cache_hit = !eval_trans_cache_hit;
+  }
+
 end