Extract variant.hh

* data/variant.hh: New, extracted from...
* data/lalr1.cc: here.
Adjust.
* data/local.mk: Adjust.

Extract stack.hh from lalr1.cc.

* data/stack.hh: New.
* data/lalr1.cc: Extract from here.
* data/local.mk: Adjust.

Add reminder about uploading public key to keys.gnupg.net.

* HACKING (Release Procedure): Here.

Force a large alignment of a variant structure.

This is a temporary band-aid until Bison gets proper alignment handling.
We need it on ARM.

* data/lalr1.cc (variant): Declare the buffer as a union to force
the same alignment as "long double".

Update NEWS.

* NEWS: Import changes in 2.4.1 and 2.4.2.

Reformat NEWS.

* NEWS: Use more outline-mode markup.
Suggested by Jim Meyering.

Fix grep portability issues.

Grep on Solaris does not support -q.
Reported by Summum Bonum.

* NEWS: Add a stub for 2.4.2.
* THANKS: Add Summum Bonum.
* tests/atlocal.in (EGREP): New.
(CC, CXX, XSLTPROC): Make it possible to override them via
envvars.
* tests/java.at: Use $EGREP instead of egrep.
Use AT_CHECK's ignore instead of grep's -q.

Pass the token type to yysyntax_error.

* data/yacc.c (yysyntax_error): Take the transated token instead
of the raw number.
Adjust callers.
* TODO: Update.

Formatting changes.

* data/glr.c: Formatting changes.

Propagate i18n changes into glr.c.

* TODO: Update.
* data/glr.c (yyreportSyntaxError): Use "switch" instead of
building the error message format dynamically.
* data/lalr1.java: Formatting changes.

Use testsuite -C.

* tests/local.mk: Replace "cd && testsuite" by "testsuite -C".
Solves problems when top_srcdir is an absolute path.
Suggested by Eric Blake.
* configure.ac: Require Autoconf 2.62.

Simplify the i18n of the error messages.

* data/lalr1.cc: Comment changes.
* data/yacc.c (yysyntax_error): Rewrite, using a switch as in
lalr1.cc instead of building dynamically the format string.

Really add autoconf as a submodule.

* submodules/autoconf: New.

Fix portability issue in the test suite.

* tests/local.at (AT_MATCHES_CHECK): New.
Based on Perl instead of Sed.  Sed has too many portability
pitfalls, not ever Sed is GNU Sed.
* tests/actions.at (Fix user actions without a trailing semicolon):
Use it.

Update data/README.

* data/README: Document glr.cc, lalr1.java, m4sugar and xslt.

Install autoconf as a submodule to get m4sugar.

* .gitmodules: Add submodules/autoconf.
* data/m4sugar/foreach.m4, data/m4sugar/m4sugar.m4: Now links into
submodules/autoconf.

Test token.prefix in all the skeletons.

* data/java.m4 (b4_token_enum): Use the token.prefix.
* tests/local.at (AT_BISON_OPTION_PUSHDEFS): Define AT_TOKEN_PREFIX.
* tests/calc.at (_AT_DATA_CALC_Y): Use it.
Add checks for yacc.c, glr.c, lalr1.cc and glr.cc.
* tests/java.at: Comment changes.
(AT_CHECK_JAVA_MINIMAL): Define the END token.
(Java parser class and package names): Add token.prefix check.

Fix regeneration of atconfig.

* tests/local.mk (tests/atconfig): The rule was incorrect, but
remove it: now that there is no tests/Makefile.am, the top-level
Makefile properly updates atconfig when needed.

Implement the FIXME that ends an user action with a semicolon
if it seems necessary.

* src/scan-code.l (flex rules section): Flag cpp directive from
any `#' to the first unescaped end-of-line.  Semicolon is not
needed after `;', `{', '}', or cpp directives and is needed after
any other token (whitespaces and comments have no effect).
* tests/actions.at (Fix user actions without a trailing semicolon):
New test.
* tests/input.at (AT_CHECK_UNUSED_VALUES): Add semicolons to
to make user actions complete statements.
Adjust column numbers in error messages.
* tests/regression.at (Fix user actions without a trailing semicolon):
Remove.  Covered by new test.

Update gnulib.

* gnulib: Update from master.

Avoid compiler warning.

* src/output.c (muscle_insert_item_number_table): Delete unused
function.

Signed-off-by: Eric Blake <ebb9@byu.net>

Build testsuite with newer autoconf.

* tests/output.at (m4_expand): Don't override in newer autoconf,
where the underlying implementation changed.
* tests/cxx-type.at (_AT_RESOLVED_GLR_OUTPUT)
(_AT_RESOLVED_GLR_OUTPUT_WITH_LOC, _AT_AMBIG_GLR_OUTPUT)
(_AT_AMBIG_GLR_OUTPUT_WITH_LOC, _AT_GLR_STDERR)
(_AT_VERBOSE_GLR_STDERR): Expand to double-quoted strings,
since some of them contain unbalanced ')'.

Signed-off-by: Eric Blake <ebb9@byu.net>

Fixes in the ChangeLog.

* ChangeLog: Fix typos.
Formatting changes.

Use b4_symbol for printers and destructors everywhere.

* data/bison.m4 (b4_symbol_action_location): New.
* data/c.m4 (b4_symbol_actions): Remove.
Adjust all callers to use by b4_symbol_foreach and the corresponding
b4_symbol_printer/destructor macro.
* data/glr.cc: Adjust.
* data/lalr1.java: Adjust the %destructor sanity check.
* src/output.c (symbol_code_props_output): Remove, we no longer
need the b4_symbol_printers/destructors tables.

Use b4_symbol_case_.

* data/lalr1.cc, data/bison.m4 (b4_symbol_action): Use
b4_symbol_case_.

Move b4_symbol based macro to bison.m4.

* data/lalr1.cc (b4_symbol_, b4_symbol, b4_symbol_if)
(b4_symbol_action, b4_symbol_destructor, b4_symbol_printer)
(b4_symbol_case_, b4_symbol_foreach, b4_type_action_)
(b4_type_foreach): Move to...
* data/bison.m4: Here.
* data/lalr1.cc (b4_symbol_action): Specialize for C++: use
b4_symbol_value_template instead of b4_symbol_value.

s b4_symbols in bison.m4

b4_symbol/type_foreach.

* data/lalr1.cc (b4_symbol_foreach, b4_type_foreach): New.
Use them.

Use the symbol properties to output the printer/destructor for lalr1.cc.

Instead of defining complex list of tuples to define various properties of
the symbols, we now prefer to define symbols as "structs" in m4: using the
symbol key (its number), and the property name, b4_symbol gives it value.
Use this to handle destructors and printers.

* src/output.c (CODE_PROP): New.
(prepare_symbol_definitions): Use it to define the printer and
destructor related attributes of the symbols.
* data/lalr1.cc (b4_symbol_actions): Rename as...
(b4_symbol_action): this.
Use b4_symbol instead of 6 arguments.
(b4_symbol_printer, b4_symbol_destructor): New.
Use them instead of b4_symbol_actions.

Avoid capturing variables too easily.

* src/muscle_tab.h (MUSCLE_INSERT_BOOL, MUSCLE_OBSTACK_SGROW): Use
v__ and p__ instead of v and p.

Remove spurious empty line before syncline.

* data/bison.m4 (b4_syncline): Don't output an empty line before
the output.

Convert lib/Makefile.am into lib/local.mk.

The real problem is rather gnulib.mk, which itself is extracted from a
Makefile.am that gnulib expects to the "recursive".  The tool
prefix-gnulib-mk converts such a gnulib.mk to be non-recursive.  Also,
some AC_SUBST variables need to be adjusted.

* etc/prefix-gnulib-mk: New.
* bootstrap (slurp): Use it to convert further gnulib.mk.
* lib/Makefile.am: Rename as...
* lib/local.mk: this.
Adjust to be prefixed.
* Makefile.am, configure.ac: Adjust.
* src/local.mk (AM_CPPFLAGS): Extend it, don't define it.

s/_FLAGS/FLAGS/.

* tests/local.mk (TESTSUITE_FLAGS, AUTOTEST_FLAGS): Rename as...
(TESTSUITEFLAGS, AUTOTESTFLAGS): these to compy with the GCS.
Reported by Eric Blake.

Use b4_parser_tables_define in glr.cc.

* data/glr.c: Use b4_parser_tables_define instead of defining the
(deterministic integral) tables by hand.

Use b4_parser_tables_define in Java.

* data/java.m4 (b4_typed_parser_table): Rename as...
(b4_typed_parser_table_define): this, for consistency.
Accept a comment as $4.
Move $2 into yy*_.
(b4_integral_parser_table): Rename as...
(b4_integral_parser_table_define): this.
* data/lalr1.java: Adjust all uses.
Use b4_parser_tables_define instead of generation by hand.

Prepare the convergence bw C style and Java table generation.

* data/bison.m4 (b4_tables_map, b4_tables_declare)
(b4_tables_define): Rename as...
(b4_integral_parser_tables_map, b4_parser_tables_declare)
(b4_parser_tables_define): these.
* data/c.m4 (b4_table_define): Rename as...
(b4_integral_parser_table_define): this.
* data/lalr1.cc: Adjust.
(b4_table_define, b4_table_declare): Rename as...
(b4_integral_parser_table_define)
(b4_integral_parser_table_declare): these.
(yyrline_): Move the comment where it is actually used.
* data/yacc.c: Adjust.
(yyrline): Use b4_integral_parser_table_define.

Regen.

* src/parse-gram.h, src/parse-gram.c: Regen.

Factor the generation of the (integral) tables bw yacc.c and lalr1.cc.

* data/lalr1.cc (b4_tables_map): Move to...
* data/bison.m4: here.
Update the comment for yytable during the flight.
(b4_tables_declare, b4_tables_define): New.
* data/lalr1.cc: Use them.
* data/c.m4 (b4_table_define): New.
* data/yacc.c: Use b4_tables_define instead of output the tables
by hand.
* tests/regression.at (Web2c Actions): Adjust the expected output,
the order of the tables changed.

Get rid of (yy)rhs and (yy)prhs.

These tables are no longer needed in the parsers, and they don't seem to
be useful.  They are not documented either.

* src/output.c (prepare_rules): Get rid of rhs and prhs.
Adjust the computation of (yy)r2.

Rule length is unsigned.

* src/gram.h, src/gram.c (rule_rhs_length): Return a size_t.

Get rid of lalr1-split.cc.

It was no longer maintainer.

* data/lalr1-split.cc: Remove.
* etc/bench.pl.in (bench_fusion_parser): Remove.
Adjust.

Use yy* consistently.

* data/glr.c: Now that yyrhs no longer exists as a global
variable, rename local "rhs" variables into "yyrhs" for
consistency.

Get rid of yyrhs and yyprhs in glr.c.

* data/glr.c (yyrhs, yyprhs): Remove.
Instead, use the state stack and yystos.

Flag glr tests.

* tests/local.at (_AT_BISON_OPTION_PUSHDEFS): If glr, declare it
as an Autotest keyword.

Prefer TESTSUITE_FLAGS.

TESTSUITEFLAGS is barely readable.

* tests/local.mk (TESTSUITE_FLAGS): Default to $(TESTSUITEFLAGS)
for backward compatibility.
Use the former instead of the latter.

Get rid of yyrhs and yyprhs in larl1.java.

* data/lalr1.java (yyrhs_, yyprhs_): Remove.
(yy_reduce_print): Rather, use yystos_ and the state stack.

Formatting changes.

Get rid of yyrhs and yyprhs in yacc.c.

They were used to get the symbol types, given a rule number,  when
displaying the top of the stack before a reduction.  But the symbol type
is available from the state stack.  This has two be benefits: two tables
less in the parser (making it smaller), and a more consistent use of the
three stacks which will help to fuse them.

* data/yacc.c (yyprhs, yyrhs): Remove.
(YY_REDUCE_PRINT): Pass yyssp to yy_reduce_print.
(yy_reduce_print): Take yyssp as argument.
Use it, together with yystos, to get the symbol type.
* tests/regression.at (Web2c Report): Remove these tables from the
expected output.

b4_tables_map.

The point is to factor the generation of the tables across skeletons.
This is language dependant.

* data/c.m4 (b4_comment_): New.
Should be usable to define how to generate tables independently of
the language.
(b4_c_comment): New.
(b4_comment): Bounce to b4_c_comment.
Now support $2 = [PREFIX] for indentation.
* data/lalr1.cc (b4_table_declare): Don't output a comment if
there is no comment.
Indent it properly when there is one.
Output the ending semicolon.
(b4_table_define): Space changes.
Output the ending semicolon.
(b4_tables_map): New.
Use it twice instead of declaring and defining the (integral)
tables by hand.

b4_table_declare.

* data/lalr1.cc (b4_table_declare): New.
Use it to declare the tables defined with b4_table_define.
(b4_table_define): Declare a third arg to match b4_table_declare
signature.
Move all the comments around invocations of b4_table_define into
the invocations itselves.
Move things around to have the order for declarations and
definitions.

Formatting changes.

* data/lalr1.java: here.

b4_args is more general than only C++.

* data/lalr1.cc (b4_args, _b4_args): Move to...
* data/bison.m4: here.

Implement no-XXX arguments for --warnings, --report, --trace.

* src/getargs.c (flags_argmatch): Handles no-XXX.
Fix typo in doxygen comment.

Display the changes in cross-options.texi.

* build-aux/cross-options.pl ($sep): New, to separate items.
* doc/local.mk ($(CROSS_OPTIONS_TEXI)): Use diff to display the
changes.

Improves options in the manual.
* doc/bison.texinfo (-g, -x): Add space before argument.
(Option Cross Key): Implement FIXME: listing directives also.
* build-aux/cross-options.pl:  Read from <STDIN> rather than <>.
(Short Option): Special case -d.  Put arguments inside @option.
(Bison Directive): Add column, automatically extracted from
src/scan-gram.l (actual name passed as the first argument)
with special case for %define.
* doc/local.mk (doc/cross-options.texi): Pass src/scan-gram.l
to build-aux/cross-options.pl.
* src/getargs.c (usage): Document limitations of cross-options.pl.
* src/scan-gram.l: Likewise.

Fix unexpanded macros in GLR defines file.

Reported by Csaba Raduly at
<http://lists.gnu.org/archive/html/bug-bison/2008-11/msg00048.html>.
* THANKS (Csaba Raduly): Add.
* data/glr.c: Fix overquoting on b4_prefix for yylval and yylloc.
* tests/calc.at (_AT_DATA_CALC_Y): If %defines is specified, generate
lexer in a separate module that includes the defines file.
(AT_CHECK_CALC): From AT_FULL_COMPILE, request compilation of lexer
source.
* tests/local.at (_AT_BISON_OPTION_PUSHDEFS): Push AT_DEFINES_IF.
Adjust AT_LOC and AT_VAL to use AT_NAME_PREFIX.
(AT_BISON_OPTION_POPDEFS): Pop AT_DEFINES_IF.
(AT_DATA_SOURCE_PROLOGUE): New.
(AT_DATA_GRAMMAR_PROLOGUE): Use AT_DATA_SOURCE_PROLOGUE.
(AT_DATA_SOURCE): New.
(AT_FULL_COMPILE): Extend to support an additional source file.

More TODO.

* TODO: More short term issues.

Regen.

* src/parse-gram.h, src/parse-gram.c: Regen.

Use b4_subtract where possible.

* data/lalr1.cc (b4_subtract): Move to...
* data/bison.m4: here.
* data/glr.c (b4_rhs_data): Use it.
* data/yacc.c (b4_rhs_value, b4_rhs_location): Use it.

Remove incorrect mode specification.

* data/glr.cc: Don't pretend it's C code.

Simplify last patch slightly.

* src/getargs.c (getargs): Here.

Fix last warning from --enable-gcc-warnings.

* src/getargs.c (getargs): Don't assign const address to non-const
pointer.

Don't let maintainer-*-check targets force a version update.

* cfg.mk (_is-dist-target): Implement.  maintainer-check* was already
handled.

Fix formatting and content of bison.texinfo menus

* doc/bison.texinfo: Synchronize ``Detail Node Listing''.
Align menus.  Adjust word wrapping.  Use node names for menu names.
(Examples): Don't abbreviate node names.
(LocalWords): Remove abbreviations.
(Copying): Make description a sentence.
(Java Action Features): Remove period to match the rest of menu.

Handles several --enable-gcc-warnings.

* src/getargs.c (command_line_location): Set parameters to void.
* src/output.c (symbol_type_name_cmp): Make static.
(symbols_by_type_name): Set parameters to void.
(symbol_definitions_output): Remove unused parameter.  Rename as...
(prepare_symbol_definitions): this.
(muscles_output): Move symbol_definitions_output to...
(output): here as prepare_symbol_definitions.
* tests/c++.at (AT_CHECK_VARIANTS): Remove unused parameters of main.
(AT_CHECK_NAMESPACE): Make unused parameter lloc unnamed.

Use AT_DATA_GRAMMAR for C++ variants compiled tests.

* tests/c++.at (AT_CHECK_VARIANTS): Fixes tests 198-202.
Use AT_DATA_GRAMMAR instead of AT_DATA for compiled tests.

Fix ChangeLog.

Add missing $(EXEEXT).

* doc/local.mk ($(CROSS_OPTIONS_TEXI)): The target is
"src/bison$(EXEEXT)".
Reported by Di-an Jan.

Update ignores.

* data/.cvsignore, data/.gitignore, examples/.cvsignore,
* examples/.gitignore:
Remove.
* build-aux/.cvsignore, build-aux/.gitignore, doc/.cvsignore,
* doc/.gitignore, etc/.cvsignore, etc/.gitignore, src/.cvsignore,
* src/.gitignore, tests/.cvsignore, tests/.gitignore:
Remove MAkefile and Makefile.in.

Update TODO.

* TODO: Update.

Formatting changes.

* tests/input.at: here.

Remove duplicate header inclusion.

* src/LR0.c: here.

Regen.

* src/parse-gram.h, src/parse-gram.c: Regen.

Fixes.

Support parametric types.

There are two issues to handle: first scanning nested angle bracket pairs
to support types such as std::pair< std::string, std::list<std::string> > >.

Another issue is to address idiosyncracies of C++: do not glue two closing
angle brackets together (otherwise it's operator>>), and avoid sticking
blindly a TYPE to the opening <, as it can result in '<:' which is a
digraph for '['.

* src/scan-gram.l (brace_level): Rename as...
(nesting): this.
(SC_TAG): New.
Implement support for complex tags.
(tag): Accept \n, but not <.
* data/lalr1.cc (b4_symbol_value, b4_symbol_value_template)
(b4_symbol_variant): Leave space around types as parameters.
* examples/variant.yy: Use nested template types and leading ::.
* src/parse-gram.y (TYPE, TYPE_TAG_ANY, TYPE_TAG_NONE, type.opt):
Rename as...
(TAG, TAG_ANY, TAG_NONE, tag.opt): these.
* tests/c++.at: Test parametric types.

Test token.prefix.

This is not sufficient, but we test at least that the make_SYMBOL
interface is not affected by token.prefix.  A more general test
will be implemented when the support of token.prefix is generalized
to more skeletons.

* tests/c++.at: One more variant test, using token.prefix.

Test the make_TOKEN interface.

* tests/c++.at (AT_CHECK_VARIANTS): Require and use locations.
Factor the common code in yylex.
Use it to test "%define lex_symbol".

Formatting change.

Simplify code for variants bench marks.

* etc/bench.pl.in (&generate_grammar_list): Define and use
location_type.
Factor the common code in yylex.

Better error message.

* bootstrap (find_tool): Fix the error message.

Update variant.yy to newest interface.

* examples/variant.yy: Define lex_symbol.
Adjust.

Don't use locations in variant.yy.

* examples/variant.yy: Adjust to not using locations.

Comment changes.

* data/local.mk, etc/local.mk, examples/local.mk: Use Automake
comments for the license.

Remove tests/Makefile.am.

* tests/Makefile.am: Rename as...
* tests/local.mk: this.
* Makefile.am, configure.ac: Adjust.
* Makefile.am (DISTCLEANFILES): Define.
(maintainer-check, maintainer-xml-check, maintainer-push-check):
Remove, we no longer need to bounce to the real targets.

Comment changes.

djgpp/local.mk.

* Makefile.am (EXTRA_DIST): Move djgpp related part to...
* djgpp/local.mk: this new file.

Remove doc/Makefile.am.

* doc/Makefile.am: Rename as...
* doc/local.mk: this.
Adjust paths
* Makefile.am, configure.ac: Adjust.
* Makefile.am (MOSTLYCLEANFILES): New.
* src/local.mk: Adjust.

Move sc_tight_scope into maint.mk.

It does not work, and I don't know how it was supposed to work: it seems
to be looking for sources in the build tree.  I just moved it at a better
place, fixing it is still required.

* src/local.mk (echo): Remove.
(sc_tight_scope): Move to...
* maint.mk: here.

Regen.

* src/parse-gram.h, src/parse-gram.c: Regen.

Remove src/Makefile.am.

* src/Makefile.am: Rename as...
* src/local.mk: this.
Prefix all the paths with src/.
(AUTOMAKE_OPTIONS): Build object files in the sub dirs.
(AM_CPPFLAGS): Find find in builddir/src.
(YACC): Move the flags into...
(AM_YFLAGS): here.
* maint.mk (sc_tight_scope): Disable.
It used to bounce to the version in src/Makefile.am which is now
part of this very Makefile.
* Makefile.am, configure.ac: Adjust.
* src/scan-code-c.c, src/scan-code.l: We can no longer rely on
include "..." to find files "here": we are no longer in src/, so
qualify the includes with src/.
* doc/Makefile.am (PREPATH): No longer include the top_builddir
prefix.
(.x.1): Adjust to be able to create src/foo from the top level
Makefile, instead of going bounce to src/Makefile the creation of
foo.

Remove useless variable.

* doc/Makefile.am (srcsrcdir): Remove.

Remove data/Makefile.am.

* data/Makefile.am: Rename as...
* data/local.mk: this.
Adjust paths.
* Makefile.am, configure.ac: Adjust.

Remove etc/Makefile.am.

* etc/Makefile.am: Rename as...
* etc/local.mk: this.
Adjust.
* Makefile.am, configure.ac: Adjust.

Remove examples/local.mk.

examples/calc++/Makefile.am might be interesting to keep as is, since
it is an example in itself.

* examples/Makefile.am: Rename as...
* examples/local.mk: this.
Adjust.
* Makefile.am, configure.ac: Adjust.

Remove build-aux/Makefile.am.

Recursive Makefiles are really way too slow, let's get rid of some of
them.

* build-aux/Makefile.am: Rename as...
* build-aux/local.mk: this.
Adjust paths.
* Makefile.am, configure.ac: Adjust.

Provide convenience constructors for locations and positions.

* data/location.cc (position::position): Accept file, line and
column as arguments with default values.
Always qualify initial line and column literals as unsigned.
(location::location): Provide convenience constructors.

Instead of using make_symbol<TOK_FOO>, generate make_FOO for each token type.

Using template buys us nothing, and makes it uselessly complex to
construct a symbol.  Besides, it could not be generalized to other
languages, while make_FOO would work in C/Java etc.

* data/lalr1.cc (b4_symbol_): New.
(b4_symbol): Use it.
(b4_symbol_constructor_declaration_)
(b4_symbol_constructor_definition_): Instead of generating
specializations of an overloaded template function, just generate
several functions whose names are forged from the token names
without the token.prefix.
(b4_symbol_constructor_declarations): Generate them for all the
symbols, not just by class of symbol type, now that instead of
specializing a function template by the token, we generate a
function named after the token.
(b4_symbol_constructor_specialization_)
(b4_symbol_constructor_specializations): Remove.
* etc/bench.pl.in: Adjust to this new API.

%define token.prefix.

Provide a means to add a prefix to the name of the tokens as output in the
generated files.  Because of name clashes, it is good to have such a
prefix such as TOK_ that protects from names such as EOF, FILE etc.
But it clutters the grammar itself.

* data/bison.m4 (token.prefix): Empty by default.
* data/c.m4 (b4_token_enum, b4_token_define): Use it.
* data/lalr1.cc (b4_symbol): Ditto.

Compute at M4 time some of the subtractions.

* data/lalr1.cc (b4_substract): New.
(b4_rhs_data): Use it.

symbol::token.

This is allows the user to get the type of a token return by
yylex.

* data/lalr1.cc (symbol::token): New.
(yytoknum_): Define when %define lex_symbol, independently of
%debug.
(yytoken_number_): Move into...
(symbol::token): here, since that's the only use.
The other one is YYPRINT which was not officially supported
by lalr1.cc, and anyway it did not work since YYPRINT uses this
array under a different name (yytoknum).

YYERRCODE.

* TODO (YYERRCODE): Mention the case of $undef.