bison: factoring.

* src/output.c (token_definitions_output): Use symbol_id_get
instead of duplicating its logic.
* TODO (YYERRCODE): Extend.

variables: prefer error-verbose to error_verbose.

* data/bison.m4 (b4_error_verbose_if): Based on error-verbose
instead of error_verbose.
* src/scan-gram.l (%error-verbose): Map the error-verbose
variable.
* doc/bison.texinfo: Promote %define error-verbose instead of
%error-verbose.
* tests/actions.at: Prefer %define error-verbose to %error-verbose.

Regen.

* src/parse-gram.h, src/parse-gram.c: Regen.

variables: accept dashes.

* data/bison.m4 (b4_percent_define_if_define_): Also map dashes to
underscores.
* src/scan-gram.l ({id}): Also accept dashes after the initial
letter.
({directive}): Use {id}.
* src/parse-gram.y: Comment and formatting changes.
* doc/bison.texinfo (Symbols): Adjust the lexical definitions of
symbols.
* src/complain.h, src/complain.c (yacc_at): New.
* src/symtab.c (symbol_new): Use yacc_at to report inappropriate
symbol names.
* src/output.c (token_definitions_output): Do not #define token
names with dashes.

Consistently refer to Yacc, not YACC.

* src/getargs.c (usage, warnings_args): s/YACC/Yacc/.

Pacify make maintainer-check-posix.

* tests/input.at (%define, --define): Move bison command-line
options before grammar file name.

Document semicolon warnings.

* NEWS (2.5): Here.
(cherry picked from commit a2d0567444f8ab1fc079796169a9845fec62ed0f)

Fix ChangeLog.

variables: use `parse.assert' instead of `assert'.

* TODO (assert): Remove.
* data/bison.m4 (b4_assert_if): Replace with...
(b4_parse_assert_if): this.
* data/lalr1.cc, data/variant.hh, tests/c++.at: Adjust.
* doc/bison.texinfo (Decl Summary): Document parse.assert.

variables: use `parse.assert' instead of `debug'.

* src/getargs.c (getargs): Map -t to %define trace.parse.
* src/scan-gram.l (%debug): Map to %define trace.parse.
* data/bison.m4 (b4_percent_define_if_define): Map `.' in variable
names to `_' in macro names.
(b4_debug_if): Replace with...
(b4_parse_trace_if): this.
* data/glr.c, data/glr.cc, data/lalr1.cc, data/lalr1.java,
* data/yacc.c: Adjust.
* doc/bison.texinfo (Decl Summary): Document %debug as obsoleted.
Use @code to label the variable list.
Document the variable parse.trace.
(Tracing): Promote the parse.trace variable.
* TODO: %printer is not documented.

doc: minor fixes.

* doc/bison.texinfo (Decl Summary): Fix entry about %debug.
(Table of Symbols): Remove duplicate entry for %debug.

submodules: update to latest

* submodules/autoconf: Use latest upstream Autoconf.

Signed-off-by: Eric Blake <ebb9@byu.net>
(cherry picked from commit 7ba0d59da0ec8f6876a66ea81bb9f9190ddec358)

Work around autoconf 2.63b bug in testsuite.

* tests/output.at (AT_CHECK_OUTPUT_FILE_NAME): Avoid tripping
autoconf bug related to # in test.

Signed-off-by: Eric Blake <ebb9@byu.net>
(cherry picked from commit ab3a683f0560e4ec24a06754386ee8c76da6ef67)

* NEWS (2.5): New section.  Describe new -D/--define feature.

Regen.

* src/parse-gram.h, src/parse-gram.c: Regen.

rename muscle_tab.* as muscle-tab.* for consistency.

* src/muscle_tab.h, src/muscle_tab.c: Rename as...
* src/muscle-tab.h, src/muscle-tab.c: these.
* src/getargs.c, src/local.mk, src/main.c, src/output.c,
* src/parse-gram.y, src/reader.c, src/scan-code.l: Adjust.

Makefile: introduce $(BISON).

* src/local.mk (BISON): New.
(YACC): Use it.

parser: handle %locations as %define locations.

* src/getargs.h, src/getargs.c (locations_flag): Remove.
* src/getargs.c, src/scan-code.l: Use muscle_percent_define_ensure
to set "locations" to true.
* src/output.c (prepare): Don't output "locations".
* src/scan-gram.l (%locations): Handle it as a %<flag>.
* src/parse-gram.y: It's no longer a token.
Don't handle it.
* data/bison.m4 (b4_locations_if): Define it with
b4_percent_define_if_define.
* data/c.m4, data/glr.cc: Adjust.

Regen.

* src/parse-gram.c: Regen.

muscle: factor the handling of obsolete of obsolete directives.

Suggested by Joel E. Denny.

* src/muscle_tab.h, src/muscle_tab.c (muscle_percent_define_ensure):
New, extracted from...
* src/parse-gram.y (prologue_declaration: pure-parser): here.
Remove it.
(prologue_declaration: "%<flag>"): Use
muscle_percent_define_ensure.
(%error-verbose, %pure-parser): No longer tokens.
* src/scan-gram.l (pure-parser): Return as a %<flag>.

Fix options documentation.

* build-aux/cross-options.pl: As in --help output, write optional
arguments as [=ARG] not =[ARG].
* doc/bison.texinfo (Bison Options): Add -W/--warnings argument.

Replace BISON_PROG_GNU_M4 with Autoconf's AC_PROG_GNU_M4.

If the first m4 in $PATH is wrong, it keeps looking.  Moreover, its
requirements for a correct m4 are stricter.
* m4/m4.m4: Make it a symbolic link to submodules/autoconf/m4/m4.m4.
* configure.ac: Update to use AC_PROG_GNU_M4.
Reported by Eric Blake.

Help with updating web manual.

* HACKING: Incorporate instructions from gnulib/doc/README.
* bootstrap.conf (gnulib_modules): Add gendocs.

Regen.

* src/parse-gram.h, src/parse-gram.c: Regen.

Factor %FLAG at scan level.

* src/parse-gram.y (PERCENT_DEBUG, PERCENT_ERROR_VERBOSE): Token
definitions and associated rules, replaced by....
(PERCENT_FLAG): this new token type, and rule.
* src/scan-gram.l (RETURN_PERCENT_FLAG): New.
Use it for %debug and %error-verbose.

Regen.

* src/parse-gram.h, src/parse-gram.c: Regen.

Update ChangeLog.

Treat %debug as %define debug.

* data/bison.m4 (b4_debug_if): New.
* data/glr.c, data/glr.cc, data/lalr1.cc, data/yacc.c,
* data/lalr1.java: Use it instead of b4_debug_flag.
* src/getargs.h, src/getargs.c (debug_flag): Remove.
* src/output.c (prepare): Don't output it.
* src/parse-gram.y: Treat %debug as %define debug.

Regen.

* src/parse-gram.h, src/parse-gram.c: Regen.

Treat %error-verbose as %define error_verbose.

This allows to pass -Derror_verbose on the command line.  Better yet, it
allows to pass -Derror_verbose=$(ERROR_VERBOSE), with ERROR_VERBOSE being
defined as false or true.

* data/bison.m4 (b4_percent_define_if_define): Instead of relying
on b4_percent_define_ifdef, for does not check the defined value,
but only whether the symbol is defined, rely on
b4_percent_define_flag_if, so that a value of "false" is processed
as a false.
If not defined, define the flag to "false".
(b4_error_verbose_if): New.
* data/glr.c, data/lalr1.cc, data/yacc.c: Use it instead of
b4_error_verbose_flag.
* src/getargs.h, src/getargs.c (error_verbose_flag): Remove.
* src/output.c (prepare): Don't output it.
* src/parse-gram.y (%error-verbose): Treat as %define error_verbose.

Fix strange %define locations for default values.

Reported by Akim Demaille at
<http://lists.gnu.org/archive/html/bug-bison/2007-12/msg00001.html>
and discussed again starting at
<http://lists.gnu.org/archive/html/bison-patches/2008-11/msg00102.html>.
* data/bison.m4 (b4_percent_define_default): Leave syncline blank
because location information is bogus.
Use angle brackets to delimit fake file name because square brackets
look like over-quoted m4.  Choose a better fake file name.
Use negative line numbers.
* src/muscle_tab.c (muscle_percent_define_default): Likewise.
* src/location.c (location_print): If line for a boundary is negative,
only print that boundary's file name.
* src/location.h: Document that.
* tests/skeletons.at (%define Boolean variables: invalid skeleton
defaults): Update output.

Pacify ./configure --enable-gcc-warnings.

* Makefile.am (AM_CFLAGS): Remove $(WERROR_CFLAGS) because many files
in lib won't compile with it.
* src/local.mk (src_bison_CFLAGS): Use $(WERROR_CFLAGS) here only.

bootstrap: --help to stdout.

* bootstrap (usage): Don't send --help to stderr.
Use a here doc instead of a long string.

bootstrap: README-hacking no longer exists

* bootstrap (checkout_only_file): Set to HACKING.

ChangeLog: formatting changes.

doc: merge HACKING and README-hacking.

Two files is confusing.
Reported by Alexandre Duret-Lutz.

* README-hacking: Merge into...
* HACKING (Working from the repository): here.

doc: update README-hacking.

* README-hacking: We now use git and git submodules.
Reported by Ralf Wildenhues and Alexandre Duret-Lutz.

lalr1.cc: avoid GCC 4.3 warnings.

GCC 4.3 now warns about "a || b && c" and asks for explicit
parentheses.
Reported by Alexandre Duret-Lutz.
* data/location.cc: Update copyright years.
(Position::operator==): Use parens to make precedence explicit.
Compare lines and columns first, as they are more likely to be
different, and they are faster to compare.

gnulib: update.

* gnulib: Update to latest.
* src/local.mk (AM_CFLAGS): Move to...
* Makefile.am: here.
* etc/prefix-gnulib-mk (prefix_assignment): Also transform
AM_CFLAGS.

Comment changes.

Share b4_yytranslate_define.

* data/lalr1.cc (b4_yytranslate_define): Move to...
* data/c++.m4: here.

Use locations in the variant example.

Yes, this obfuscates the point of this example, variants only.  But glr.cc
cannot work (yet?) without locations.  This change makes it easier to use
this example with glr.cc.

* examples/variant.yy (assert): %define it.
(locations): Request them.
(yylex): Bind the location to the stage.

Dub make_TOKEN as a public type interface.

* data/c++.m4 (b4_symbol_constructor_declare)
(b4_symbol_constructor_define): New empty stubs.
(b4_public_types_declare, b4_public_types_define): Use them.
* data/lalr1.cc (b4_symbol_constructor_declare)
(b4_symbol_constructor_declare_)
(b4_symbol_constructor_define_, b4_symbol_constructor_define):
Move to...
* data/variant.hh: here.
Remove the "b4_variant_if" parts, as variant.hh is loaded only if
needed.
* data/lalr1.cc: No longer invoke b4_symbol_constructor_define and
b4_symbol_constructor_declare, as it is now done by
b4_public_types_define and b4_public_types_declare.

Coding style changes.

* data/lalr1.cc (b4_symbol_constructor_declaration_)
(b4_symbol_constructor_declarations)
(b4_symbol_constructor_definition_)
(b4_symbol_constructor_definitions)
(b4_yytranslate_definition): Rename as...
(b4_symbol_constructor_declare_)
(b4_symbol_constructor_declare)
(b4_symbol_constructor_define_)
(b4_symbol_constructor_define)
(b4_yytranslate_define): these.
* data/variant.hh (b4_variant_definition): Rename as...
(b4_variant_define): this.

Factor b4_assert_if, b4_lex_symbol_if, and b4_variant_if.

* data/bison.m4 (b4_percent_define_if_define): New.
* data/c++.m4 (b4_variant_if): Move to...
* data/bison.m4: Here, using b4_percent_define_if_define.
* data/lalr1.cc (b4_assert_if, b4_lex_symbol_if): Move to...
* data/bison.m4: Here, using b4_percent_define_if_define.

Dub symbol_type_base as a public type.

* data/c++.m4 (b4_public_types_declare): Now define
symbol_type_base and symbol_type.
(b4_public_types_define): New.
In both cases, the definitions are taken verbatim from lalr1.cc.
* data/lalr1.cc: Adjust.

b4_public_types_declare.

* data/c++.m4 (b4_public_types_declare): New.
* data/glr.cc, data/lalr1.cc: Use it.

b4_semantic_type_declare.

* data/c++.m4 (b4_semantic_type_declare): New.
Factors and generalizes what was in glr.cc and lalr1.cc.
* data/variant.hh (b4_semantic_type_declare): Redefine it for
variants.
* data/lalr1.cc, data/glr.cc: Use it.

Upgrade gnulib.

* gnulib: Upgrade from master.
* lib/.cvsignore, lib/.gitignore, m4/.cvsignore, m4/.gitignore:
Regen.

Remove useless arguments.

* data/glr.c (yy_reduce_print): $$ and @$ are not used and not
relevant.

Comment changes.

* data/lalr1.cc: here.

Fix glr.cc's debug level handling.

* data/glr.cc (yydebug_): Remove, as it is actually yydebug from
glr.c which is used.
(debug_level, set_debug_level): Adjust.

Copyright years.

* data/glr.c: Add 2007 and 2008 here, consistenly with the comments.

Style changes.

* etc/bench.pl.in (generate_grammar_list): Consitently use
location_type, not yy::location.

Comment change.

* data/lalr1.cc: here.

Make yyparser::error public.

* data/lalr1.cc: here.
There is no good reason to keep it private (and it is convenient
to use it from the scanner for instance).  It is already public in
glr.cc.

Comment changes.

* data/glr.cc: here.

Remove trailing blanks.

The epilogue has its own ending \n, no need to add another.

* data/glr.c, data/lalr1.java, data/yacc.c: dnl when outputing the
epilogue.
* data/glr.cc: dnl when extending the epilogue.
Remove stray "private:".

Use b4_c_modern.

* data/c.m4 (b4_c_function_decl): Here.

Comment changes.

* data/lalr1.cc: here.

Extract variant.hh

* data/variant.hh: New, extracted from...
* data/lalr1.cc: here.
Adjust.
* data/local.mk: Adjust.

Extract stack.hh from lalr1.cc.

* data/stack.hh: New.
* data/lalr1.cc: Extract from here.
* data/local.mk: Adjust.

Add reminder about uploading public key to keys.gnupg.net.

* HACKING (Release Procedure): Here.

Force a large alignment of a variant structure.

This is a temporary band-aid until Bison gets proper alignment handling.
We need it on ARM.

* data/lalr1.cc (variant): Declare the buffer as a union to force
the same alignment as "long double".

Update NEWS.

* NEWS: Import changes in 2.4.1 and 2.4.2.

Reformat NEWS.

* NEWS: Use more outline-mode markup.
Suggested by Jim Meyering.

Fix grep portability issues.

Grep on Solaris does not support -q.
Reported by Summum Bonum.

* NEWS: Add a stub for 2.4.2.
* THANKS: Add Summum Bonum.
* tests/atlocal.in (EGREP): New.
(CC, CXX, XSLTPROC): Make it possible to override them via
envvars.
* tests/java.at: Use $EGREP instead of egrep.
Use AT_CHECK's ignore instead of grep's -q.

Pass the token type to yysyntax_error.

* data/yacc.c (yysyntax_error): Take the transated token instead
of the raw number.
Adjust callers.
* TODO: Update.

Formatting changes.

* data/glr.c: Formatting changes.

Propagate i18n changes into glr.c.

* TODO: Update.
* data/glr.c (yyreportSyntaxError): Use "switch" instead of
building the error message format dynamically.
* data/lalr1.java: Formatting changes.

Use testsuite -C.

* tests/local.mk: Replace "cd && testsuite" by "testsuite -C".
Solves problems when top_srcdir is an absolute path.
Suggested by Eric Blake.
* configure.ac: Require Autoconf 2.62.

Simplify the i18n of the error messages.

* data/lalr1.cc: Comment changes.
* data/yacc.c (yysyntax_error): Rewrite, using a switch as in
lalr1.cc instead of building dynamically the format string.

Really add autoconf as a submodule.

* submodules/autoconf: New.

Fix portability issue in the test suite.

* tests/local.at (AT_MATCHES_CHECK): New.
Based on Perl instead of Sed.  Sed has too many portability
pitfalls, not ever Sed is GNU Sed.
* tests/actions.at (Fix user actions without a trailing semicolon):
Use it.

Update data/README.

* data/README: Document glr.cc, lalr1.java, m4sugar and xslt.

Install autoconf as a submodule to get m4sugar.

* .gitmodules: Add submodules/autoconf.
* data/m4sugar/foreach.m4, data/m4sugar/m4sugar.m4: Now links into
submodules/autoconf.

Test token.prefix in all the skeletons.

* data/java.m4 (b4_token_enum): Use the token.prefix.
* tests/local.at (AT_BISON_OPTION_PUSHDEFS): Define AT_TOKEN_PREFIX.
* tests/calc.at (_AT_DATA_CALC_Y): Use it.
Add checks for yacc.c, glr.c, lalr1.cc and glr.cc.
* tests/java.at: Comment changes.
(AT_CHECK_JAVA_MINIMAL): Define the END token.
(Java parser class and package names): Add token.prefix check.

Fix regeneration of atconfig.

* tests/local.mk (tests/atconfig): The rule was incorrect, but
remove it: now that there is no tests/Makefile.am, the top-level
Makefile properly updates atconfig when needed.

Implement the FIXME that ends an user action with a semicolon
if it seems necessary.

* src/scan-code.l (flex rules section): Flag cpp directive from
any `#' to the first unescaped end-of-line.  Semicolon is not
needed after `;', `{', '}', or cpp directives and is needed after
any other token (whitespaces and comments have no effect).
* tests/actions.at (Fix user actions without a trailing semicolon):
New test.
* tests/input.at (AT_CHECK_UNUSED_VALUES): Add semicolons to
to make user actions complete statements.
Adjust column numbers in error messages.
* tests/regression.at (Fix user actions without a trailing semicolon):
Remove.  Covered by new test.

Update gnulib.

* gnulib: Update from master.

Avoid compiler warning.

* src/output.c (muscle_insert_item_number_table): Delete unused
function.

Signed-off-by: Eric Blake <ebb9@byu.net>

Build testsuite with newer autoconf.

* tests/output.at (m4_expand): Don't override in newer autoconf,
where the underlying implementation changed.
* tests/cxx-type.at (_AT_RESOLVED_GLR_OUTPUT)
(_AT_RESOLVED_GLR_OUTPUT_WITH_LOC, _AT_AMBIG_GLR_OUTPUT)
(_AT_AMBIG_GLR_OUTPUT_WITH_LOC, _AT_GLR_STDERR)
(_AT_VERBOSE_GLR_STDERR): Expand to double-quoted strings,
since some of them contain unbalanced ')'.

Signed-off-by: Eric Blake <ebb9@byu.net>

Fixes in the ChangeLog.

* ChangeLog: Fix typos.
Formatting changes.

Use b4_symbol for printers and destructors everywhere.

* data/bison.m4 (b4_symbol_action_location): New.
* data/c.m4 (b4_symbol_actions): Remove.
Adjust all callers to use by b4_symbol_foreach and the corresponding
b4_symbol_printer/destructor macro.
* data/glr.cc: Adjust.
* data/lalr1.java: Adjust the %destructor sanity check.
* src/output.c (symbol_code_props_output): Remove, we no longer
need the b4_symbol_printers/destructors tables.

Use b4_symbol_case_.

* data/lalr1.cc, data/bison.m4 (b4_symbol_action): Use
b4_symbol_case_.

Move b4_symbol based macro to bison.m4.

* data/lalr1.cc (b4_symbol_, b4_symbol, b4_symbol_if)
(b4_symbol_action, b4_symbol_destructor, b4_symbol_printer)
(b4_symbol_case_, b4_symbol_foreach, b4_type_action_)
(b4_type_foreach): Move to...
* data/bison.m4: Here.
* data/lalr1.cc (b4_symbol_action): Specialize for C++: use
b4_symbol_value_template instead of b4_symbol_value.

s b4_symbols in bison.m4

b4_symbol/type_foreach.

* data/lalr1.cc (b4_symbol_foreach, b4_type_foreach): New.
Use them.

Use the symbol properties to output the printer/destructor for lalr1.cc.

Instead of defining complex list of tuples to define various properties of
the symbols, we now prefer to define symbols as "structs" in m4: using the
symbol key (its number), and the property name, b4_symbol gives it value.
Use this to handle destructors and printers.

* src/output.c (CODE_PROP): New.
(prepare_symbol_definitions): Use it to define the printer and
destructor related attributes of the symbols.
* data/lalr1.cc (b4_symbol_actions): Rename as...
(b4_symbol_action): this.
Use b4_symbol instead of 6 arguments.
(b4_symbol_printer, b4_symbol_destructor): New.
Use them instead of b4_symbol_actions.

Avoid capturing variables too easily.

* src/muscle_tab.h (MUSCLE_INSERT_BOOL, MUSCLE_OBSTACK_SGROW): Use
v__ and p__ instead of v and p.

Remove spurious empty line before syncline.

* data/bison.m4 (b4_syncline): Don't output an empty line before
the output.

Convert lib/Makefile.am into lib/local.mk.

The real problem is rather gnulib.mk, which itself is extracted from a
Makefile.am that gnulib expects to the "recursive".  The tool
prefix-gnulib-mk converts such a gnulib.mk to be non-recursive.  Also,
some AC_SUBST variables need to be adjusted.

* etc/prefix-gnulib-mk: New.
* bootstrap (slurp): Use it to convert further gnulib.mk.
* lib/Makefile.am: Rename as...
* lib/local.mk: this.
Adjust to be prefixed.
* Makefile.am, configure.ac: Adjust.
* src/local.mk (AM_CPPFLAGS): Extend it, don't define it.

s/_FLAGS/FLAGS/.

* tests/local.mk (TESTSUITE_FLAGS, AUTOTEST_FLAGS): Rename as...
(TESTSUITEFLAGS, AUTOTESTFLAGS): these to compy with the GCS.
Reported by Eric Blake.

Use b4_parser_tables_define in glr.cc.

* data/glr.c: Use b4_parser_tables_define instead of defining the
(deterministic integral) tables by hand.

Use b4_parser_tables_define in Java.

* data/java.m4 (b4_typed_parser_table): Rename as...
(b4_typed_parser_table_define): this, for consistency.
Accept a comment as $4.
Move $2 into yy*_.
(b4_integral_parser_table): Rename as...
(b4_integral_parser_table_define): this.
* data/lalr1.java: Adjust all uses.
Use b4_parser_tables_define instead of generation by hand.

Prepare the convergence bw C style and Java table generation.

* data/bison.m4 (b4_tables_map, b4_tables_declare)
(b4_tables_define): Rename as...
(b4_integral_parser_tables_map, b4_parser_tables_declare)
(b4_parser_tables_define): these.
* data/c.m4 (b4_table_define): Rename as...
(b4_integral_parser_table_define): this.
* data/lalr1.cc: Adjust.
(b4_table_define, b4_table_declare): Rename as...
(b4_integral_parser_table_define)
(b4_integral_parser_table_declare): these.
(yyrline_): Move the comment where it is actually used.
* data/yacc.c: Adjust.
(yyrline): Use b4_integral_parser_table_define.

Regen.

* src/parse-gram.h, src/parse-gram.c: Regen.

Factor the generation of the (integral) tables bw yacc.c and lalr1.cc.

* data/lalr1.cc (b4_tables_map): Move to...
* data/bison.m4: here.
Update the comment for yytable during the flight.
(b4_tables_declare, b4_tables_define): New.
* data/lalr1.cc: Use them.
* data/c.m4 (b4_table_define): New.
* data/yacc.c: Use b4_tables_define instead of output the tables
by hand.
* tests/regression.at (Web2c Actions): Adjust the expected output,
the order of the tables changed.

Get rid of (yy)rhs and (yy)prhs.

These tables are no longer needed in the parsers, and they don't seem to
be useful.  They are not documented either.

* src/output.c (prepare_rules): Get rid of rhs and prhs.
Adjust the computation of (yy)r2.

Rule length is unsigned.

* src/gram.h, src/gram.c (rule_rhs_length): Return a size_t.

Get rid of lalr1-split.cc.

It was no longer maintainer.

* data/lalr1-split.cc: Remove.
* etc/bench.pl.in (bench_fusion_parser): Remove.
Adjust.