Improve handling of planner failures

The planner now reports Either an exhaustive list of failed moves
  or a list of successful plans.  When we find a plan, we forget
  the failures and begin accumulating succeses.
Add --dump-failed-plans to facilitate debugging
Report a user program error if a rule fails to have an initializer,
  partially addressing github nwf/dyna#5 .

Rescue ctxFromBindings for aliased case

Use it in the test suite, just like for the unaliased machinery.
This is cherry-picked from 4e0fc1726ab4abf1326ea61ae5225f0bb5167707.

refactor load and post-process. both are availabl and the REPL and command-line (see test/repl/load.bash for example usage)

added repl data loading example.

()

First pass at "bulk loader" API -- at the moment loading is only supported at
the REPL (cmd-line interface coming soon).

 - Read tsv/csv format

 - matrix-like

 - S-Expression - work in progress

Exceptions and errors handlers live in their on module.

Added `pycall` -- a more convenient way to do `eval` and `mod`

Fix bugs in parser and add tests

Notably, this fixes the parser backtracking all the way to the start when it
encounters an operator it doesn't know about.  While here, token-ize
constituent parsers and move parser export types to their own module.

Placeholder docs page for builtins

Take a stab at fixing up = vs ==

Adds examples/equalities.dyna to selftests.

misc cleanup.

Circuit visualizer is not a post-processer called draw_circuit

clean up cmd-line args

tiny tweaks.

added load and save scripts.

Pickling Interpreter state seems to work.

Fixed late aggregator assignment. Added REPL test.

Minor tweaks to crash handler. Post-processor can render animates of text and
lines. Instead of hard coded nodes, edge, pos. See `example/force.dyna`

Crash handler. All uncatch exceptions are beautifully formatted and logged.

Accumulated non-code adjustments; TODO.LSA

merge

Progress toward pickling Interpreter state. Using import mechanism instead of
execfile to load new code.

Refactor aggregator defns.

Workaround in test/repl/aggregator-conflict

Merge branch 'master' of github.com:nwf/dyna

Wire test/repl into Backend.Python.Selftest

While here, some related cleanups

fixed test/repl test cases.

 - repl no longer overwrites `~/.dyna/tmp.dyna` and `~/.dyna/tmp.dyna.plan.py`
   Now uses a file in `~/dyna/tmp/` with file name based on sha1 hash of
   necessary code (which includes parser_state pragmas, of course)

drop dep on numpy.

merge

tweaks.

Tweak aggr-mismatch error message

Wire in :-iaggr pragmas.

Merge branch 'master' of github.com:nwf/dyna

merge

added test/repl

Change codegen output slightly for easier loading.

Moved Term into it's own module. Preliminary support for unification.

added --profile flag.

changed output of rules command at the repl.

repl no longer dies if an initializer exception is thrown (initializer
exceptions throw out newly added rules).

Cleanups and preliminaries around the parser

While rummaging about, take the opportunity to silence several warnings.

Cleanups and preliminaries around the parser

While rummaging about, take the opportunity to silence several warnings.

Progress on Penn Treebank benchmarks/experiments.

merge

tweaks, fixes.

Initial example of Euclidean Dijkstra example

See nwf/dyna#16; still open to improve.

fixed some exceptions that we're properly caught.

fixed a few bits that broke during refactoring.

dynac utility throws an a nice DynaCompilerError on failure and uses the more
modern `subprocess` module for the system call.

small bugfixes in aggregators pertaining to when things should be null.

Improvements to chart

  * queries (= Chart.__getitem__) perform fewer set intersections (removed a
    very slow call to set.copy -- it's faster to intersect two sets and get a
    copy because the intersection is guaranteed to be smaller!)

    I'm also using a most constrained variable first heuristic for picking the
    first index to intersect.

  * fewer hash look ups with we call ``insert``.

cleanup force.dyna

Merge branch 'master' of github.com:nwf/dyna

Fix a small bug in the test harness

Thanks to Tim for the report that prop_no_unifyUnaliasedNV failed.

Rather than constrain prop_no_unifyUnaliasedNV to generate only UShared
terms, try a slightly different test in which we are unifying in a
preconstructed context.

added comment on running script.

merge

added post-processing script for animated force-directed graph layout.

added force-directed layout (with a small hack for random numbers).

use FIFO priorities added argument for runing post-processing scripts.

fix error :: String

Rework conjunction handling in normalizer -- it was erroneously discarding
the left hand side, rather than unifying with true.

While here, add both a test-case (examples/fib-limit.dyna) and some
documentation for users.

Closes github issue nwf/dyna#14.

merge

updated expected output for end-to-end tests.

()

New features and cleanup.

New feature: support for rule retraction

  - rules are indexed by `Interpreter` and stored in a `Rule` instance.

  - REPL features to list rules, retract rule by it'd rule index.

New features: item retraction

  - this is an experimental feature, which is very inefficient.

Update python deps in readme

chart dumps and trace output use dyna-style double quoted strings and lower case
Booleans.

better output formatting for REPL/query

Interpreter states encapulated in an `Interpreter` instance.

  - this was a big refactoring adds a few new files (chart.py, repl.py,
    config.py)

Fix: Errors stop on first failed handler.

Adding a new rule is safe. We check that the initializers run and there are no
aggregator conflicts before added the new rules to `Interpreter` state. We stage
propagation.

I've document a few more errors (see `examples/string-quote.dyna`)

Using the ~/.dyna directory

  - adds a dependency to the `path.py` module

Write up new normalization details

While here, permute the directory structure of docs/sphinx slightly.

Tweaks to the planner

Mostly cosmetic changes, but of note:
  The planner now uses the alias-tracking contexts for mode analysis (though
    it does not actually yet do anything with this power; this change is in
    preparation for backward-chaining)
  DOpAMine unifications are now tagged with determinisim information, again
    in preparation for future work; these are all currently set to DetNon.
  DOpAMine and Python OPEmit printout is much more vertically compact.

Rewrite ANF normalizer

Now uses destination-passing style and a new theory of contexts.  It has
many more opportunities to raise warnings in bizarre cases and no longer
generates quite so much cruft as before.

Better error messages:

 - handle errors in rule initializers.

 - include rule source in error message

 - no need to run delete-updates when an item "was" causing an error because
   these updates don't land on the agenda.

REPL uses correct rule indexes

 - Parser state maintained across calls.

 - colon equals is no longer buggy in the REPL.

Codegen minor aesthetics

merge

()

Merge branch 'master' of github.com:nwf/dyna

More parser work

Allow backends to restrict the set of acceptable aggregators.
Feed through rendered parser state.

merge

added a few examples.

Minor work in Analysis.Mode.Selftest.Contexts

Tidy README.md a bit

Add a placeholder tutorial section on errors

New documentation and cleanups

Notably, add docs/sphinx for our prose documentation and several
corresponding Makefile targets.

Small cleanups & update TODO

More parser work

Attempts to serialize parser state as a wad of pragmas and hand
them off to the backend.  This is hardly ideal, but it's something.

Fix a failing test

Automata in prop_call_test_sufficient should be nonempty on all disjuncts.

Thanks to Tim for the report.

Add dijkstra example as python selftest

added matrixops to python end-to-end tests.

merge

Error handling, hypergraph recovery.
  - code instrumentation `emit` now passed passengers.
  - see draw() method and --draw flag

minor cosmetics.

Merge branch 'master' of github.com:nwf/dyna

tweaks to style in debugger html output.

merge

codegen: put docstrings on handlers and initializers.

  - update ./debug to parse new format.

Updated TODO list.

parse_sexpr handles double quoted strings (at least crudely).

Some work towards resumable parsing

Merge branch 'master' of github.com:nwf/dyna

Fix some parser bugs

Aggregator parsing now much more rigorous & have more self-tests.
Facts now use "|=" aggregation as they should

emits are buffered in case an exception is thrown.

fixed typo in arity of mod.

updated expected output for papa2.

using an actual priority queue, no more ``_delete`` global variable.

global error suppression flag

merge

Queries return variable assignments

:- query rewrite(X,Y)
(1, {'Y': 'ate', 'X': 'V'})
(1, {'Y': 'caviar', 'X': 'N'})
(1, {'Y': 'spoon', 'X': 'N'})
(1, {'Y': 'the', 'X': 'Det'})
(1, {'Y': 'with', 'X': 'P'})
(1, {'Y': 'a', 'X': 'Det'})
(1, {'Y': 'Papa', 'X': 'NP'})

Added `dict=` (name might changed) and aggregator which stores user variable
assignments. [This is what is used for answering queries like the one above.qq]

Rework parser infrastructure

Parser now really should just be the parser.
OneshotDriver consumes an entire Dyna program at once, tracking
  all the requisite state from line to line, before emitting the
  whole mass to the down-stream pipeline.

While here, push through some changes for custom operator symbols, though
this is not quite wired up yet.

Remove stale files

()

merge

Fix a typo in matrixops example

moved pretty into Term.__repr__

Chart does not need update method thanks to the new Term objects.

Lots of work in Dyna.Analysis.Mode

Merge branch 'master' of github.com:nwf/dyna

Refactored: Term's store reference to their aggregator.