Add debugging information to the automaton.
[tatoo.git] / src / auto / ata.ml
index e07aa3f..ba2f55f 100644 (file)
 (***********************************************************************)
 
 (*
-  Time-stamp: <Last modified on 2013-03-04 18:18:37 CET by Kim Nguyen>
+  Time-stamp: <Last modified on 2013-03-15 23:38:04 CET by Kim Nguyen>
 *)
 
 INCLUDE "utils.ml"
 open Format
 open Utils
 
-type move = [ `Left | `Right | `Up1 | `Up2 | `Epsilon ]
-type state_ctx = { mutable left : StateSet.t;
-             mutable right : StateSet.t;
-             mutable up1 : StateSet.t;
-             mutable up2 : StateSet.t;
-             mutable epsilon : StateSet.t}
+type predicate = | First_child
+                 | Next_sibling
+                 | Parent
+                 | Previous_sibling
+                 | Stay
+                 | Is_first_child
+                 | Is_next_sibling
+                 | Is of (Tree.Common.NodeKind.t)
+                 | Has_first_child
+                 | Has_next_sibling
 
-type pred_ = move * bool * State.t
+let is_move p = match p with
+| First_child | Next_sibling
+| Parent | Previous_sibling | Stay -> true
+| _ -> false
 
-module Move : (Formula.PREDICATE with type data = pred_ and type ctx = state_ctx ) =
+
+type atom = predicate * bool * State.t
+
+module Atom : (Formula.ATOM with type data = atom) =
 struct
 
   module Node =
   struct
-    type t = move * bool * State.t
+    type t = atom
     let equal n1 n2 = n1 = n2
     let hash n = Hashtbl.hash n
   end
 
-  type ctx = state_ctx
-
-  let make_ctx a b c d e =
-    { left = a; right = b; up1 = c; up2 = d; epsilon = e }
-
   include Hcons.Make(Node)
-  let _pr_buff = Buffer.create 10
-  let _str_fmt = formatter_of_buffer _pr_buff
-  let _flush_str_fmt () = pp_print_flush _str_fmt ();
-    let s = Buffer.contents _pr_buff in
-    Buffer.clear _pr_buff; s
 
   let print ppf a =
-    let _ = _flush_str_fmt () in
-
-    let m, b, s = a.node in
-    let dir,num =
-      match  m with
-      | `Left ->  Pretty.down_arrow, Pretty.subscript 1
-      | `Right -> Pretty.down_arrow, Pretty.subscript 2
-      | `Epsilon -> Pretty.epsilon, ""
-      | `Up1 -> Pretty.up_arrow, Pretty.subscript 1
-      | `Up2 -> Pretty.up_arrow, Pretty.subscript 2
-    in
-    fprintf _str_fmt "%s%s" dir num;
-    State.print _str_fmt s;
-    let str = _flush_str_fmt () in
-    if b then fprintf ppf "%s" str
-    else Pretty.pp_overline ppf str
-
-  let neg p =
-    let l, b, s = p.node in
-    make (l, not b, s)
-  exception NegativeAtom of (move*State.t)
-  let eval ctx p =
-    let l, b, s = p.node in
-    if b then raise (NegativeAtom(l,s));
-    StateSet.mem s begin
-      match l with
-        `Left -> ctx.left
-      | `Right -> ctx.right
-      | `Up1 -> ctx.up1
-      | `Up2 -> ctx.up2
-      | `Epsilon -> ctx.epsilon
-    end
+    let p, b, q = a.node in
+    if not b then fprintf ppf "%s" Pretty.lnot;
+    match p with
+    | First_child -> fprintf ppf "FC(%a)" State.print q
+    | Next_sibling -> fprintf ppf "NS(%a)" State.print q
+    | Parent -> fprintf ppf "FC%s(%a)" Pretty.inverse State.print q
+    | Previous_sibling -> fprintf ppf "NS%s(%a)" Pretty.inverse State.print q
+    | Stay -> fprintf ppf "%s(%a)" Pretty.epsilon State.print q
+    | Is_first_child -> fprintf ppf "FC%s?" Pretty.inverse
+    | Is_next_sibling -> fprintf ppf "NS%s?" Pretty.inverse
+    | Is k -> fprintf ppf "is-%a?" Tree.Common.NodeKind.print k
+    | Has_first_child -> fprintf ppf "FC?"
+    | Has_next_sibling -> fprintf ppf "NS?"
+
+  let neg a =
+    let p, b, q = a.node in
+    make (p, not b, q)
+
+
+end
+
+module SFormula =
+struct
+  include Formula.Make(Atom)
+  open Tree.Common.NodeKind
+  let mk_atom a b c = atom_ (Atom.make (a,b,c))
+  let mk_kind k = mk_atom (Is k) true State.dummy
+  let has_first_child =
+    (mk_atom Has_first_child true State.dummy)
+
+  let has_next_sibling =
+    (mk_atom Has_next_sibling true State.dummy)
+
+  let is_first_child =
+    (mk_atom Is_first_child true State.dummy)
+
+  let is_next_sibling =
+    (mk_atom Is_next_sibling true State.dummy)
+
+  let is_attribute =
+    (mk_atom (Is Attribute) true State.dummy)
+
+  let is_element =
+    (mk_atom (Is Element) true State.dummy)
+
+  let is_processing_instruction =
+    (mk_atom (Is ProcessingInstruction) true State.dummy)
+
+  let is_comment =
+    (mk_atom (Is Comment) true State.dummy)
+
+  let first_child q =
+  and_
+    (mk_atom First_child true q)
+    has_first_child
+
+  let next_sibling q =
+  and_
+    (mk_atom Next_sibling true q)
+    has_next_sibling
+
+  let parent q =
+  and_
+    (mk_atom Parent true q)
+    is_first_child
+
+  let previous_sibling q =
+  and_
+    (mk_atom Previous_sibling true q)
+    is_next_sibling
+
+  let stay q =
+    (mk_atom Stay true q)
+
+  let get_states phi =
+    fold (fun phi acc ->
+      match expr phi with
+      | Formula.Atom a -> let _, _, q = Atom.node a in
+                          if q != State.dummy then StateSet.add q acc else acc
+      | _ -> acc
+    ) phi StateSet.empty
+
 end
 
-module SFormula = Formula.Make(Move)
+
+module Transition = Hcons.Make (struct
+  type t = State.t * QNameSet.t * SFormula.t
+  let equal (a, b, c) (d, e, f) =
+    a == d && b == e && c == f
+  let hash (a, b, c) =
+    HASHINT4 (PRIME1, a, ((QNameSet.uid b) :> int), ((SFormula.uid c) :> int))
+end)
+
+
+module TransList : sig
+  include Hlist.S with type elt = Transition.t
+  val print : Format.formatter -> ?sep:string -> t -> unit
+end =
+  struct
+    include Hlist.Make(Transition)
+    let print ppf ?(sep="\n") l =
+      iter (fun t ->
+        let q, lab, f = Transition.node t in
+        fprintf ppf "%a, %a -> %a%s" State.print q QNameSet.print lab SFormula.print f sep) l
+  end
+
+
 type t = {
   id : Uid.t;
   mutable states : StateSet.t;
-(*  mutable top_states : StateSet.t;
-  mutable bottom_states: StateSet.t; *)
   mutable selection_states: StateSet.t;
   transitions: (State.t, (QNameSet.t*SFormula.t) list) Hashtbl.t;
+  mutable cache2 : TransList.t Cache.N2.t;
+  mutable cache6 : (TransList.t*StateSet.t) Cache.N6.t;
 }
 
 let next = Uid.make_maker ()
 
-let create () = { id = next ();
-                  states = StateSet.empty;
-(*                  top_states = StateSet.empty;
-                  bottom_states = StateSet.empty; *)
-                  selection_states = StateSet.empty;
-                  transitions = Hashtbl.create 17;
- }
+let dummy2 = TransList.cons
+  (Transition.make (State.dummy,QNameSet.empty, SFormula.false_))
+  TransList.nil
+
+let dummy6 = (dummy2, StateSet.empty)
+
+
+let create s ss =
+  let auto = { id = next ();
+               states = s;
+               selection_states = ss;
+               transitions = Hashtbl.create 17;
+               cache2 = Cache.N2.create dummy2;
+               cache6 = Cache.N6.create dummy6;
+             }
+  in
+  at_exit (fun () ->
+    let n6 = ref 0 in
+    let n2 = ref 0 in
+    Cache.N2.iteri (fun _ _ _ b -> if b then incr n2) auto.cache2;
+    Cache.N6.iteri (fun _ _ _ _ _ _ _ b -> if b then incr n6) auto.cache6;
+    Format.eprintf "INFO: automaton %i, cache2: %i entries, cache6: %i entries\n%!"
+      (auto.id :> int) !n2 !n6
+  );
+  auto
+
+let reset a =
+  a.cache2 <- Cache.N2.create dummy2;
+  a.cache6 <- Cache.N6.create dummy6
+
+
+let get_trans_aux a tag states =
+  StateSet.fold (fun q acc0 ->
+    try
+      let trs = Hashtbl.find a.transitions q in
+      List.fold_left (fun acc1 (labs, phi) ->
+        if QNameSet.mem tag labs then TransList.cons (Transition.make (q, labs, phi)) acc1 else acc1) acc0 trs
+    with Not_found -> acc0
+  ) states TransList.nil
+
+
+let get_trans a tag states =
+  let trs =
+    Cache.N2.find a.cache2
+      (tag.QName.id :> int) (states.StateSet.id :> int)
+  in
+  if trs == dummy2 then
+    let trs = get_trans_aux a tag states in
+    (Cache.N2.add
+       a.cache2
+       (tag.QName.id :> int)
+       (states.StateSet.id :> int) trs; trs)
+  else trs
+
+
+
+let eval_form phi fcs nss ps ss is_left is_right has_left has_right kind =
+  let rec loop phi =
+    begin match SFormula.expr phi with
+      Formula.True -> true
+    | Formula.False -> false
+    | Formula.Atom a ->
+        let p, b, q = Atom.node a in
+        let pos =
+          match p with
+          | First_child -> StateSet.mem q fcs
+          | Next_sibling ->  StateSet.mem q nss
+          | Parent | Previous_sibling -> StateSet.mem q ps
+          | Stay -> StateSet.mem q ss
+          | Is_first_child -> is_left
+          | Is_next_sibling -> is_right
+          | Is k -> k == kind
+          | Has_first_child -> has_left
+          | Has_next_sibling -> has_right
+        in
+        if is_move p && (not b) then
+          eprintf "Warning: Invalid negative atom %a" Atom.print a;
+        b == pos
+    | Formula.And(phi1, phi2) -> loop phi1 && loop phi2
+    | Formula.Or (phi1, phi2) -> loop phi1 || loop phi2
+    end
+  in
+  loop phi
+
+let int_of_conf is_left is_right has_left has_right kind =
+  ((Obj.magic kind) lsl 4) lor
+    ((Obj.magic is_left) lsl 3) lor
+    ((Obj.magic is_right) lsl 2) lor
+    ((Obj.magic has_left) lsl 1) lor
+    (Obj.magic has_right)
+
+let eval_trans auto ltrs fcs nss ps ss is_left is_right has_left has_right kind =
+  let i = int_of_conf is_left is_right has_left has_right kind
+  and k = (fcs.StateSet.id :> int)
+  and l = (nss.StateSet.id :> int)
+  and m = (ps.StateSet.id :> int)
+  in
+
+  let rec loop ltrs ss =
+    let j = (ltrs.TransList.id :> int)
+    and n = (ss.StateSet.id :> int) in
+    let (new_ltrs, new_ss) as res =
+      let res = Cache.N6.find auto.cache6 i j k l m n in
+      if res == dummy6 then
+        let res =
+          TransList.fold (fun trs (acct, accs) ->
+            let q, _, phi = Transition.node trs in
+            if StateSet.mem q accs then (acct, accs) else
+              if eval_form
+                phi fcs nss ps accs
+                is_left is_right has_left has_right kind
+              then
+                (acct, StateSet.add q accs)
+              else
+                (TransList.cons trs acct, accs)
+          ) ltrs (TransList.nil, ss)
+        in
+        Cache.N6.add auto.cache6 i j k l m n res; res
+      else
+        res
+    in
+    if new_ss == ss then res else
+      loop new_ltrs new_ss
+  in
+  loop ltrs ss
+
+
+
 
 
 (*
@@ -157,7 +350,7 @@ let print fmt a =
       a.transitions
       []
   in
-  let sorted_trs = List.stable_sort (fun (q1, s1, phi1) (q2, s2, phi2) ->
+  let sorted_trs = List.stable_sort (fun (q1, s1, _) (q2, s2, _) ->
     let c = State.compare q1 q2 in - (if c == 0 then QNameSet.compare s1 s2 else c))
     trs
   in
@@ -203,11 +396,32 @@ let complete_transitions a =
     Hashtbl.replace a.transitions q nqtrans
   ) a.states
 
+let cleanup_states a =
+  let memo = ref StateSet.empty in
+  let rec loop q =
+    if not (StateSet.mem q !memo) then begin
+      memo := StateSet.add q !memo;
+      let trs = try Hashtbl.find a.transitions q with Not_found -> [] in
+      List.iter (fun (_, phi) ->
+        StateSet.iter loop (SFormula.get_states phi)) trs
+    end
+  in
+  StateSet.iter loop a.selection_states;
+  let unused = StateSet.diff a.states !memo in
+  eprintf "Unused states %a\n%!" StateSet.print unused;
+  StateSet.iter (fun q -> Hashtbl.remove a.transitions q) unused;
+  a.states <- !memo
+
 (* [normalize_negations a] removes negative atoms in the formula
    complementing the sub-automaton in the negative states.
    [TODO check the meaning of negative upward arrows]
 *)
-let normalize_negations a =
+
+let normalize_negations auto =
+  eprintf "Automaton before normalize_trans:\n";
+  print err_formatter auto;
+  eprintf "--------------------\n%!";
+
   let memo_state = Hashtbl.create 17 in
   let todo = Queue.create () in
   let rec flip b f =
@@ -216,17 +430,19 @@ let normalize_negations a =
     | Formula.Or(f1, f2) -> (if b then SFormula.or_ else SFormula.and_)(flip b f1) (flip b f2)
     | Formula.And(f1, f2) -> (if b then SFormula.and_ else SFormula.or_)(flip b f1) (flip b f2)
     | Formula.Atom(a) -> begin
-      let l, b', q = Move.node a in
-      if b == b' then begin
+      let l, b', q = Atom.node a in
+      if q == State.dummy then if b then f else SFormula.not_ f
+      else
+        if b == b' then begin
         (* a appears positively, either no negation or double negation *)
-        if not (Hashtbl.mem memo_state (q,b)) then Queue.add (q,true) todo;
-        SFormula.atom_ (Move.make (l, true, q))
-      end else begin
+          if not (Hashtbl.mem memo_state (q,b)) then Queue.add (q,true) todo;
+          SFormula.atom_ (Atom.make (l, true, q))
+        end else begin
         (* need to reverse the atom
            either we have a positive state deep below a negation
            or we have a negative state in a positive formula
            b' = sign of the state
-           b = sign of the containing formula
+           b = sign of the enclosing formula
         *)
         let not_q =
           try
@@ -236,14 +452,17 @@ let normalize_negations a =
             Not_found ->
               (* create a new state and add it to the todo queue *)
               let nq = State.make () in
+              auto.states <- StateSet.add nq auto.states;
               Hashtbl.add memo_state (q, false) nq;
               Queue.add (q, false) todo; nq
         in
-        SFormula.atom_ (Move.make (l, true, not_q))
+        SFormula.atom_ (Atom.make (l, true, not_q))
       end
     end
   in
-  StateSet.iter (fun q -> Queue.add (q, true) todo) a.selection_states;
+  (* states that are not reachable from a selection stat are not interesting *)
+  StateSet.iter (fun q -> Queue.add (q, true) todo) auto.selection_states;
+
   while not (Queue.is_empty todo) do
     let (q, b) as key = Queue.pop todo in
     let q' =
@@ -251,10 +470,17 @@ let normalize_negations a =
         Hashtbl.find memo_state key
       with
         Not_found ->
-          let nq = if b then q else State.make () in
+          let nq = if b then q else
+              let nq = State.make () in
+              auto.states <- StateSet.add nq auto.states;
+              nq
+          in
           Hashtbl.add memo_state key nq; nq
     in
-    let trans = Hashtbl.find a.transitions q in
+    let trans = Hashtbl.find auto.transitions q in
     let trans' = List.map (fun (lab, f) -> lab, flip b f) trans in
-    Hashtbl.replace a.transitions q' trans'
-  done
+    Hashtbl.replace auto.transitions q' trans';
+  done;
+  cleanup_states auto
+
+