Further improve the jit.
[tatoo.git] / src / run.ml
index be8bbeb..00f19d3 100644 (file)
@@ -18,55 +18,18 @@ INCLUDE "debug.ml"
 
 open Format
 open Misc
-open Bigarray
 
 type stats = { mutable pass : int;
                tree_size : int;
                mutable fetch_trans_cache_access : int;
-               mutable fetch_trans_cache_hit : int;
+               mutable fetch_trans_cache_miss : int;
                mutable eval_trans_cache_access : int;
-               mutable eval_trans_cache_hit : int;
+               mutable eval_trans_cache_miss : int;
                mutable nodes_per_run : int list;
              }
 
-module NodeSummary =
-struct
-  (* Pack into an integer the result of the is_* and has_ predicates
-     for a given node *)
-  type t = int
-  let dummy = -1
-  (*
-    ...44443210
-    ...4444 -> kind
-    3 -> has_right
-    2 -> has_left
-    1 -> is_right
-    0 -> is_left
-  *)
-  let is_left (s : t) : bool =
-    s land 1 != 0
-
-  let is_right (s : t) : bool =
-    s land 0b10 != 0
-
-  let has_left (s : t) : bool =
-    s land 0b100 != 0
-
-  let has_right (s : t) : bool =
-    s land 0b1000 != 0
-
-  let kind (s : t) : Tree.NodeKind.t =
-    Obj.magic (s lsr 4)
-
-  let make is_left is_right has_left has_right kind =
-    (int_of_bool is_left) lor
-      ((int_of_bool is_right) lsl 1) lor
-      ((int_of_bool has_left) lsl 2) lor
-      ((int_of_bool has_right) lsl 3) lor
-      ((Obj.magic kind) lsl 4)
-end
 
-let dummy_set = StateSet.singleton State.dummy
+let dummy_set = StateSet.singleton State.dummy_state
 
 
 
@@ -83,12 +46,16 @@ let unsafe_get a i =
   if i < 0 then StateSet.empty else
     Array.unsafe_get (IFHTML(List.hd a, a)) i
 
-let unsafe_set a i v old_v =
-  if v != old_v then
+let unsafe_set a i v  =
+  (* if v != old_v then *)
     Array.unsafe_set (IFHTML(List.hd a, a)) i v
 
-type 'a run = {
-  tree : 'a ;
+type 'node td_action = 'node -> int -> 'node -> 'node -> StateSet.t
+type 'node bu_action = 'node -> int -> StateSet.t
+let dummy_action = fun _ _ -> assert false
+
+type ('tree, 'node) run = {
+  tree : 'tree ;
      (* The argument of the run *)
   auto : Ata.t;
      (* The automaton to be run *)
@@ -98,18 +65,17 @@ type 'a run = {
      (* Number of run we have performed *)
   mutable fetch_trans_cache : Ata.Formula.t Cache.N2.t;
      (* A cache from states * label to list of transitions *)
-  mutable td_cache : StateSet.t Cache.N6.t;
-  mutable bu_cache : StateSet.t Cache.N6.t;
+  mutable td_cache : 'node td_action Cache.N6.t;
+  mutable bu_cache : 'node bu_action Cache.N6.t;
      (* Two 6-way caches used during the top-down and bottom-up phase
         label * self-set * fc-set * ns-set * parent-set * node-shape -> self-set
      *)
-  node_summaries: (int, int16_unsigned_elt, c_layout) Array1.t;
   stats : stats;
 }
 
-let dummy_form = Ata.Formula.stay State.dummy
+let dummy_form = Ata.Formula.stay State.dummy_state
 
-let get_form run tag q =
+let get_form run tag (q : State.t) =
   let auto = run.auto in
   let fetch_trans_cache = run.fetch_trans_cache in
   let stats = run.stats in
@@ -120,15 +86,15 @@ let get_form run tag q =
   if phi == dummy_form then
     let phi = Ata.get_form auto tag q in
     let () =
+      stats.fetch_trans_cache_miss <- stats.fetch_trans_cache_miss + 1;
       Cache.N2.add
         fetch_trans_cache
         (tag.QName.id :> int)
         (q :> int) phi
     in phi
-  else begin
-    stats.fetch_trans_cache_hit <- stats.fetch_trans_cache_hit + 1;
+  else
     phi
-  end
+
 
 
 let eval_form phi fcs nss ps ss summary =
@@ -139,7 +105,7 @@ let eval_form phi fcs nss ps ss summary =
     | Boolean.True -> true
     | Boolean.Atom (a, b) ->
       begin
-        let open NodeSummary in
+        let open Tree.NodeSummary in
         match a.Atom.node with
         | Move (m, q) ->
           b && StateSet.mem q (
@@ -181,7 +147,7 @@ let rec eval_trans_fix run tag summary fcs nss ps sat todo  =
     eval_trans_fix run tag summary fcs nss ps new_sat todo
 
 
-let eval_trans run trans_cache tag summary fcs nss ps ss todo =
+let eval_trans run trans_cache tag summary fcs nss ps ss todo action_builder =
   let stats = run.stats in
   let fcsid = (fcs.StateSet.id :> int) in
   let nssid = (nss.StateSet.id :> int) in
@@ -191,46 +157,49 @@ let eval_trans run trans_cache tag summary fcs nss ps ss todo =
 
   let res = Cache.N6.find trans_cache tagid summary ssid fcsid nssid psid in
   stats.eval_trans_cache_access <- 1 + stats.eval_trans_cache_access;
-  if res != dummy_set then begin
-    stats.eval_trans_cache_hit <- 1 + stats.eval_trans_cache_hit;
+  if res != dummy_action then
     res
-  end else let new_sat =
-             eval_trans_fix run tag summary fcs nss ps ss todo
-           in
-           Cache.N6.add trans_cache tagid summary ssid fcsid nssid psid new_sat;
-           new_sat
-
+  else
+    let new_sat =
+      eval_trans_fix run tag summary fcs nss ps ss todo
+    in
+    stats.eval_trans_cache_miss <- 1 + stats.eval_trans_cache_miss;
+    let new_action = action_builder ps summary tag new_sat in
+    Cache.N6.add trans_cache tagid summary ssid fcsid nssid psid new_action;
+    new_action
 
-module Make (T : Tree.S) (L : Node_list.S with type node = T.node) =
+module NodeSummary = Tree.NodeSummary
+module Make (T : Tree.S)  =
 struct
+  module Tree : Tree.S with type node = T.node = T
+  module ResultSet : Deque.S with type elem = Tree.node =
+    Deque.Make (struct type t = Tree.node end)
+
 
   let make auto tree =
-    let len = T.size tree in
-    let ba = Array1.create int16_unsigned c_layout len in
-    Array1.fill ba 0;
+    let len = Tree.size tree in
     {
       tree = tree;
       auto = auto;
-      sat = (let a = Array.create len StateSet.empty in
+      sat = (let a = Array.make len StateSet.empty in
              IFHTML([a], a));
       pass = 0;
       fetch_trans_cache = Cache.N2.create dummy_form;
-      td_cache = Cache.N6.create dummy_set;
-      bu_cache = Cache.N6.create dummy_set;
-      node_summaries = ba;
+      td_cache = Cache.N6.create dummy_action;
+      bu_cache = Cache.N6.create dummy_action;
       stats = {
         pass = 0;
         tree_size = len;
         fetch_trans_cache_access = 0;
-        fetch_trans_cache_hit = 0;
+        fetch_trans_cache_miss = 0;
         eval_trans_cache_access = 0;
-        eval_trans_cache_hit = 0;
+        eval_trans_cache_miss = 0;
         nodes_per_run = [];
       }
     }
 
 
-  let top_down run update_res =
+  let top_down run mk_update_res =
     let num_visited = ref 0 in
     let i = run.pass in
     let tree = run.tree in
@@ -242,72 +211,154 @@ struct
       else
         states_by_rank.(i+1)
     in
+    let run_sat = run.sat in
     let last_run = i >= Array.length states_by_rank - 2 in
-    let rec loop_td_and_bu node parent parent_sat =
-      if node == T.nil then StateSet.empty
-      else begin
+
+    let rec common node parent parent_sat action_builder =
+      begin
         incr num_visited;
-        let tag = T.tag tree node in
-        let node_id = T.preorder tree node in
-        let fc = T.first_child tree node in
-        let ns = T.next_sibling tree node in
-         (* We enter the node from its parent *)
-        let summary =
-          let s = Array1.unsafe_get run.node_summaries node_id in
-          if  s != 0 then s else
-            let s =
-              NodeSummary.make
-                (node == (T.first_child tree parent)) (*is_left *)
-                (node == (T.next_sibling tree parent)) (*is_right *)
-                (fc != T.nil) (* has_left *)
-                (ns != T.nil) (* has_right *)
-                (T.kind tree node) (* kind *)
-            in
-            run.node_summaries.{node_id} <- s; s
-        in
-        let status0 = unsafe_get run.sat node_id in
+        let tag = Tree.tag tree node in
+        let node_id = Tree.preorder tree node in
+        let summary = Tree.summary tree node in
+        let fc = Tree.first_child tree node in
+        let ns = Tree.next_sibling tree node in
+        (* We enter the node from its parent *)
+        let status0 = unsafe_get run_sat node_id in
         (* get the node_statuses for the first child, next sibling and parent *)
         (* evaluate the transitions with all this statuses *)
-        let status1 =
+        let action  =
           eval_trans run
             run.td_cache tag
             summary
-            (unsafe_get run.sat (T.preorder tree fc))
-            (unsafe_get run.sat (T.preorder tree ns))
+            (unsafe_get run_sat (Tree.preorder tree fc))
+            (unsafe_get run_sat (Tree.preorder tree ns))
             parent_sat
-            status0 td_todo
+            status0 td_todo action_builder
         in
-          (* update the cache if the status of the node changed
-             unsafe_set run.sat node_id status1 status0;*)
-        if bu_todo == StateSet.empty then begin
-          unsafe_set run.sat node_id status1 status0; (* write the td_states *)
-          update_res false status1 node;
-          let _ = loop_td_and_bu fc node status1 in
-          loop_td_and_bu ns node status1 (* tail call *)
-        end else
-          let fcs1, nss1 =
-            if last_run then
-              let nss1 = loop_td_and_bu ns node status1 in
-              let fcs1 = loop_td_and_bu fc node status1 in
-              fcs1, nss1
-            else
-              let fcs1 = loop_td_and_bu fc node status1 in
-              let nss1 = loop_td_and_bu ns node status1 in
-              fcs1, nss1
-          in
-          let status2 =
-            eval_trans run run.bu_cache tag
-              summary fcs1
-              nss1
-              parent_sat
-              status1 bu_todo
-          in
-          unsafe_set run.sat node_id status2 status0;
-          if last_run && status2 != StateSet.empty then update_res true status2 node;
-          status2
+        action node node_id fc ns
       end
+
+    and td_action_builder parent_sat summary tag status1 =
+      let update_res = mk_update_res false status1 in
+      match NodeSummary.(has_left summary, has_right summary) with
+        false, false ->
+        (fun node node_id fc ns ->
+           unsafe_set run_sat node_id status1;
+           update_res node;
+           StateSet.empty)
+      | true, false ->
+        (fun node node_id fc ns ->
+           unsafe_set run_sat node_id status1;
+           update_res node;
+           loop_td fc node status1)
+      | false, true ->
+        (fun node node_id fc ns ->
+           unsafe_set run_sat node_id status1;
+           update_res node;
+           loop_td ns node status1)
+      | _ ->
+        (fun node node_id fc ns ->
+           unsafe_set run_sat node_id status1; (* write the td_states *)
+           update_res node;
+           ignore (loop_td fc node status1);
+           loop_td ns node status1 (* tail call *)
+        )
+    and td_and_bu_action_builder parent_sat summary tag status1  =
+      match NodeSummary.(has_left summary, has_right summary) with
+        false, false ->
+        (fun node node_id fc ns ->
+           let action =
+             eval_trans run run.bu_cache tag summary StateSet.empty StateSet.empty
+               parent_sat status1 bu_todo bu_action_builder
+           in
+           action node node_id)
+      | true, false ->
+        (fun node node_id fc ns ->
+           let fcs1 = loop_td_and_bu fc node status1 in
+           let action =
+             eval_trans run run.bu_cache tag summary fcs1 StateSet.empty
+               parent_sat status1 bu_todo bu_action_builder
+           in
+           action node node_id
+        )
+      | false, true ->
+        (fun node node_id fc ns ->
+           let nss1 = loop_td_and_bu ns node status1 in
+           let action =
+             eval_trans run run.bu_cache tag summary StateSet.empty nss1
+               parent_sat status1 bu_todo bu_action_builder
+           in
+           action node node_id
+        )
+      | _ ->
+        (fun node node_id fc ns ->
+           let fcs1 = loop_td_and_bu fc node status1 in
+           let nss1 = loop_td_and_bu ns node status1 in
+           let action =
+             eval_trans run run.bu_cache tag summary fcs1 nss1 parent_sat status1 bu_todo bu_action_builder
+           in
+           action node node_id
+        )
+    and bu_action_builder parent_sat summary tag status2 node node_id =
+      unsafe_set run_sat node_id status2;
+      status2
+    and td_and_bu_last_action_builder parent_sat summary tag status1 =
+      match NodeSummary.(has_left summary, has_right summary) with
+        false, false ->
+        (fun node node_id fc ns ->
+           let action =
+             eval_trans run run.bu_cache tag summary StateSet.empty StateSet.empty
+               parent_sat status1 bu_todo bu_last_action_builder
+           in
+           action node node_id)
+      | true, false ->
+        (fun node node_id fc ns ->
+           let fcs1 = loop_td_and_bu_last fc node status1 in
+           let action =
+             eval_trans run run.bu_cache tag summary fcs1 StateSet.empty
+               parent_sat status1 bu_todo bu_last_action_builder
+           in
+           action node node_id
+        )
+      | false, true ->
+        (fun node node_id fc ns ->
+           let nss1 = loop_td_and_bu_last ns node status1 in
+           let action =
+             eval_trans run run.bu_cache tag summary StateSet.empty nss1
+               parent_sat status1 bu_todo bu_last_action_builder
+           in
+           action node node_id
+        )
+      | _ ->
+        (fun node node_id fc ns ->
+           let nss1 = loop_td_and_bu_last ns node status1 in
+           let fcs1 = loop_td_and_bu_last fc node status1 in
+           let action =
+             eval_trans run run.bu_cache tag summary fcs1 nss1 parent_sat status1 bu_todo bu_last_action_builder
+           in
+           action node node_id
+        )
+    and bu_last_action_builder parent_sat summary tag status2 =
+      let update_res = mk_update_res true status2 in
+      (fun node node_id ->
+         unsafe_set run_sat node_id status2;
+         update_res node;
+         status2)
+    and loop_td node parent parent_sat =
+      common node parent parent_sat td_action_builder
+    and loop_td_and_bu node parent parent_sat =
+      common node parent parent_sat td_and_bu_action_builder
+    and loop_td_and_bu_last node parent parent_sat =
+      common node parent parent_sat td_and_bu_last_action_builder
+    in
+    let _ =
+      if bu_todo == StateSet.empty then
+        loop_td (Tree.root tree) Tree.nil dummy_set
+      else if last_run then
+        loop_td_and_bu_last (Tree.root tree) Tree.nil dummy_set
+      else
+        loop_td_and_bu (Tree.root tree) Tree.nil dummy_set
     in
-    let _ = loop_td_and_bu (T.root tree) T.nil dummy_set in
     run.pass <- run.pass + 2;
     run.stats.pass <- run.stats.pass + 1;
     run.stats.nodes_per_run <- !num_visited :: run.stats.nodes_per_run
@@ -316,73 +367,65 @@ struct
 
   let mk_update_result auto =
     let sel_states = Ata.get_selecting_states auto in
-    let res = L.create () in
-    (fun prepend sat node ->
-      if StateSet.intersect sel_states sat then begin
-        if prepend then L.push_front node res else
-          L.push_back node res
-      end),
+    let res = ResultSet.create () in
+    (fun prepend sat ->
+       if StateSet.intersect sat sel_states then
+         if prepend then (fun n -> ResultSet.push_front n res)
+         else (fun n -> ResultSet.push_back n res)
+       else (fun _ -> ())),
     (fun () -> res)
 
 
   let mk_update_full_result auto =
-    let dummy = L.create () in
-    let res_mapper = Cache.N1.create dummy in
-    let () =
-      StateSet.iter
-        (fun q -> Cache.N1.add res_mapper (q :> int) (L.create()))
-        (Ata.get_selecting_states auto)
+    let sel_states = Ata.get_selecting_states auto in
+    let res_mapper =
+      StateSet.fold_right (fun q acc -> (q, ResultSet.create())::acc) sel_states []
     in
-    (fun prepend sat node ->
-      StateSet.iter
-        (fun q ->
-          let res = Cache.N1.find res_mapper (q :> int) in
-          if res != dummy then begin
-            if prepend then L.push_front node res
-            else L.push_back node res
-          end
-        ) sat),
-    (fun () ->
-      StateSet.fold_right
-        (fun q acc -> (q, Cache.N1.find res_mapper (q :> int))::acc)
-        (Ata.get_selecting_states auto) [])
+    (fun prepend sat ->
+       StateSet.fold (fun q f_acc ->
+           if StateSet.mem q sel_states then
+             let res = List.assoc q res_mapper in
+             if prepend then (fun n -> ResultSet.push_front n res; f_acc n)
+             else (fun n -> ResultSet.push_back n res; f_acc n)
+           else f_acc) sat (fun _ -> ())),
+    (fun () -> res_mapper)
 
   let prepare_run run list =
     let tree = run.tree in
     let auto = run.auto in
     let sat = IFHTML((List.hd run.sat), run.sat) in
     let sat0 = Ata.get_starting_states auto in
-    L.iter (fun node ->
-      let node_id = T.preorder tree node in
+   ResultSet.iter (fun node ->
+      let node_id = Tree.preorder tree node in
       sat.(node_id) <- sat0) list
 
 
-  let compute_run auto tree nodes update_res =
+  let compute_run auto tree nodes mk_update_res =
     let run = make auto tree in
     prepare_run run nodes;
     let rank = Ata.get_max_rank auto in
     while run.pass <= rank do
-      top_down run update_res;
+      top_down run mk_update_res;
       IFHTML((run.sat <- (Array.copy (List.hd run.sat)) :: run.sat), ());
-      run.td_cache <- Cache.N6.create dummy_set;
-      run.bu_cache <- Cache.N6.create dummy_set;
+      run.td_cache <- Cache.N6.create dummy_action;
+      run.bu_cache <- Cache.N6.create dummy_action;
     done;
     IFHTML((run.sat <- List.tl run.sat), ());
-    IFHTML(Html_trace.gen_trace auto run.sat (module T : Tree.S with type t = T.t) tree ,());
+    IFHTML(Html_trace.gen_trace auto run.sat (module T : Tree.S with type t = Tree.t) tree ,());
     run
 
 
   let last_stats = ref None
 
   let full_eval auto tree nodes =
-    let update_full,get_full = mk_update_full_result auto in
-    let run = compute_run auto tree nodes update_full in
+    let mk_update_full,get_full = mk_update_full_result auto in
+    let run = compute_run auto tree nodes mk_update_full in
     last_stats := Some run.stats;
     get_full ()
 
   let eval auto tree nodes =
-    let update_res,get_res = mk_update_result auto in
-    let run = compute_run auto tree nodes update_res in
+    let mk_update_res,get_res = mk_update_result auto in
+    let run = compute_run auto tree nodes mk_update_res in
     last_stats := Some run.stats;
     get_res ()