* data/yacc.c: (b4_lex_param): Corrected for the case where
[bison.git] / src / reader.c
index 2263458aa1027254cce42330f59047c715a44d98..3f8cab8b3688ad9c6555a1a7164b362054d3e3ac 100644 (file)
@@ -1,5 +1,6 @@
-/* Input parser for bison
-   Copyright (C) 1984, 1986, 1989, 1992, 1998, 2000
+/* Input parser for Bison
+
+   Copyright (C) 1984, 1986, 1989, 1992, 1998, 2000, 2001, 2002, 2003
    Free Software Foundation, Inc.
 
    This file is part of Bison, the GNU Compiler Compiler.
    Free Software Foundation, Inc.
 
    This file is part of Bison, the GNU Compiler Compiler.
    the Free Software Foundation, Inc., 59 Temple Place - Suite 330,
    Boston, MA 02111-1307, USA.  */
 
    the Free Software Foundation, Inc., 59 Temple Place - Suite 330,
    Boston, MA 02111-1307, USA.  */
 
-
 #include "system.h"
 #include "system.h"
-#include "getargs.h"
+
+#include <quotearg.h>
+
+#include "complain.h"
+#include "conflicts.h"
 #include "files.h"
 #include "files.h"
-#include "alloc.h"
-#include "symtab.h"
-#include "lex.h"
+#include "getargs.h"
 #include "gram.h"
 #include "gram.h"
-#include "complain.h"
+#include "muscle_tab.h"
 #include "output.h"
 #include "output.h"
+#include "reader.h"
+#include "symlist.h"
+#include "symtab.h"
 
 
-#define        LTYPESTR        "\
-\n\
-#ifndef YYLTYPE\n\
-typedef\n\
-  struct yyltype\n\
-\
-    {\n\
-      int timestamp;\n\
-      int first_line;\n\
-      int first_column;\
-\n\
-      int last_line;\n\
-      int last_column;\n\
-      char *text;\n\
-   }\n\
-\
-  yyltype;\n\
-\n\
-#define YYLTYPE yyltype\n\
-#endif\n\
-\n"
-
-/* Number of slots allocated (but not necessarily used yet) in `rline'  */
-static int rline_allocated;
-
-extern bucket *symval;
-extern int numval;
-extern int expected_conflicts;
-extern char *token_buffer;
-extern int maxtoken;
-
-extern void tabinit PARAMS ((void));
-extern void free_symtab PARAMS ((void));
-extern void open_extra_files PARAMS ((void));
-extern char *printable_version PARAMS ((int));
-
-typedef struct symbol_list
-{
-  struct symbol_list *next;
-  bucket *sym;
-  bucket *ruleprec;
-}
-symbol_list;
-
-
-extern void reader PARAMS ((void));
-extern void reader_output_yylsp PARAMS ((FILE *));
-
-int lineno;
-char **tags;
-short *user_toknums;
-static symbol_list *grammar;
-static int start_flag;
-static bucket *startval;
-
-/* Nonzero if components of semantic values are used, implying
-   they must be unions.  */
-static int value_components_used;
-
-static int typed;              /* nonzero if %union has been seen.  */
-
-static int lastprec;           /* incremented for each %left, %right or %nonassoc seen */
-
-static int gensym_count;       /* incremented for each generated symbol */
-
-static bucket *errtoken;
-static bucket *undeftoken;
+static symbol_list *grammar = NULL;
+static int start_flag = 0;
+merger_list *merge_functions;
 
 
-/* Nonzero if any action or guard uses the @n construct.  */
-static int yylsp_needed;
+/* Nonzero if %union has been seen.  */
+int typed = 0;
 \f
 \f
+/*-----------------------.
+| Set the start symbol.  |
+`-----------------------*/
 
 
-/*===================\
-| Low level lexing.  |
-\===================*/
-
-static void
-skip_to_char (int target)
+void
+grammar_start_symbol_set (symbol *sym, location loc)
 {
 {
-  int c;
-  if (target == '\n')
-    complain (_("   Skipping to next \\n"));
+  if (start_flag)
+    complain_at (loc, _("multiple %s declarations"), "%start");
   else
   else
-    complain (_("   Skipping to next %c"), target);
-
-  do
-    c = skip_white_space ();
-  while (c != target && c != EOF);
-  if (c != EOF)
-    ungetc (c, finput);
-}
-
-
-/*---------------------------------------------------------.
-| Read a signed integer from STREAM and return its value.  |
-`---------------------------------------------------------*/
-
-static inline int
-read_signed_integer (FILE *stream)
-{
-  int c = getc (stream);
-  int sign = 1;
-  int n = 0;
-
-  if (c == '-')
-    {
-      c = getc (stream);
-      sign = -1;
-    }
-
-  while (isdigit (c))
     {
     {
-      n = 10 * n + (c - '0');
-      c = getc (stream);
-    }
-
-  ungetc (c, stream);
-
-  return sign * n;
-}
-\f
-/*-------------------------------------------------------------------.
-| Dump the string from FINPUT to FOUTPUT.  MATCH is the delimiter of |
-| the string (either ' or ").                                        |
-`-------------------------------------------------------------------*/
-
-static inline void
-copy_string (FILE *fin, FILE *fout, int match)
-{
-  int c;
-
-  putc (match, fout);
-  c = getc (fin);
-
-  while (c != match)
-    {
-      if (c == EOF)
-       fatal (_("unterminated string at end of file"));
-      if (c == '\n')
-       {
-         complain (_("unterminated string"));
-         ungetc (c, fin);
-         c = match;            /* invent terminator */
-         continue;
-       }
-
-      putc (c, fout);
-
-      if (c == '\\')
-       {
-         c = getc (fin);
-         if (c == EOF)
-           fatal (_("unterminated string at end of file"));
-         putc (c, fout);
-         if (c == '\n')
-           lineno++;
-       }
-
-      c = getc (fin);
+      start_flag = 1;
+      startsymbol = sym;
+      startsymbol_location = loc;
     }
     }
-
-  putc (c, fout);
 }
 
 
 }
 
 
-/*---------------------------------------------------------------.
-| Dump the comment from IN to OUT1 and OUT2.  C is either `*' or |
-| `/', depending upon the type of comments used.  OUT2 might be  |
-| NULL.                                                          |
-`---------------------------------------------------------------*/
+/*----------------------------------------------------------------.
+| There are two prologues: one before %union, one after.  Augment |
+| the current one.                                                |
+`----------------------------------------------------------------*/
 
 
-static inline void
-copy_comment2 (FILE *in, FILE *out1, FILE *out2, int c)
+void
+prologue_augment (const char *prologue, location loc)
 {
 {
-  int cplus_comment;
-  int ended;
-
-  cplus_comment = (c == '/');
-  putc (c, out1);
-  if (out2)
-    putc (c, out2);
-  c = getc (in);
-
-  ended = 0;
-  while (!ended)
-    {
-      if (!cplus_comment && c == '*')
-       {
-         while (c == '*')
-           {
-             putc (c, out1);
-             if (out2)
-               putc (c, out2);
-             c = getc (in);
-           }
-
-         if (c == '/')
-           {
-             putc (c, out1);
-             if (out2)
-               putc (c, out2);
-             ended = 1;
-           }
-       }
-      else if (c == '\n')
-       {
-         lineno++;
-         putc (c, out1);
-         if (out2)
-           putc (c, out2);
-         if (cplus_comment)
-           ended = 1;
-         else
-           c = getc (in);
-       }
-      else if (c == EOF)
-       fatal (_("unterminated comment"));
-      else
-       {
-         putc (c, out1);
-         if (out2)
-           putc (c, out2);
-         c = getc (in);
-       }
-    }
+  struct obstack *oout =
+    !typed ? &pre_prologue_obstack : &post_prologue_obstack;
+
+  obstack_fgrow1 (oout, "]b4_syncline([[%d]], [[", loc.start.line);
+  MUSCLE_OBSTACK_SGROW (oout,
+                       quotearg_style (c_quoting_style, loc.start.file));
+  obstack_sgrow (oout, "]])[\n");
+  obstack_sgrow (oout, prologue);
 }
 
 
 }
 
 
-/*------------------------------------------------------------.
-| Dump the comment from FIN to FOUT.  C is either `*' or `/', |
-| depending upon the type of comments used.                   |
-`------------------------------------------------------------*/
 
 
-static inline void
-copy_comment (FILE *fin, FILE *fout, int c)
-{
-  copy_comment2 (fin, fout, NULL, c);
-}
 
 
+/*----------------------.
+| Handle the epilogue.  |
+`----------------------*/
 
 
-/*-----------------------------------------------------------------.
-| FIN is pointing to a location (i.e., a `@').  Output to FOUT a   |
-| reference to this location. STACK_OFFSET is the number of values |
-| in the current rule so far, which says where to find `$0' with   |
-| respect to the top of the stack.                                 |
-`-----------------------------------------------------------------*/
-
-static inline void
-copy_at (FILE *fin, FILE *fout, int stack_offset)
+void
+epilogue_augment (const char *epilogue, location loc)
 {
 {
-  int c;
-
-  c = getc (fin);
-  if (c == '$')
-    {
-      fprintf (fout, "yyloc");
-      yylsp_needed = 1;
-    }
-  else if (isdigit (c) || c == '-')
-    {
-      int n;
+  char *extension = NULL;
+  obstack_fgrow1 (&muscle_obstack, "]b4_syncline([[%d]], [[", loc.start.line);
+  MUSCLE_OBSTACK_SGROW (&muscle_obstack,
+                       quotearg_style (c_quoting_style, loc.start.file));
+  obstack_sgrow (&muscle_obstack, "]])[\n");
+  obstack_sgrow (&muscle_obstack, epilogue);
+  obstack_1grow (&muscle_obstack, 0);
+  extension = obstack_finish (&muscle_obstack);
+  muscle_grow ("epilogue", extension, "");
+  obstack_free (&muscle_obstack, extension);
+}
 
 
-      ungetc (c, fin);
-      n = read_signed_integer (fin);
 
 
-      fprintf (fout, "yylsp[%d]", n - stack_offset);
-      yylsp_needed = 1;
-    }
-  else
-    complain (_("@%s is invalid"), printable_version (c));
-}
 \f
 \f
+
 /*-------------------------------------------------------------------.
 /*-------------------------------------------------------------------.
-| Copy the contents of a `%{ ... %}' into the definitions file.  The |
-| `%{' has already been read.  Return after reading the `%}'.        |
+| Return the merger index for a merging function named NAME, whose   |
+| arguments have type TYPE.  Records the function, if new, in        |
+| MERGER_LIST.                                                      |
 `-------------------------------------------------------------------*/
 
 `-------------------------------------------------------------------*/
 
-static void
-copy_definition (void)
-{
-  int c;
-  /* -1 while reading a character if prev char was %. */
-  int after_percent;
-
-  if (!nolinesflag)
-    fprintf (fattrs, "#line %d \"%s\"\n", lineno, infile);
-
-  after_percent = 0;
-
-  c = getc (finput);
-
-  for (;;)
-    {
-      switch (c)
-       {
-       case '\n':
-         putc (c, fattrs);
-         lineno++;
-         break;
-
-       case '%':
-         after_percent = -1;
-         break;
-
-       case '\'':
-       case '"':
-         copy_string (finput, fattrs, c);
-         break;
-
-       case '/':
-         putc (c, fattrs);
-         c = getc (finput);
-         if (c != '*' && c != '/')
-           continue;
-         copy_comment (finput, fattrs, c);
-         break;
-
-       case EOF:
-         fatal ("%s", _("unterminated `%{' definition"));
-
-       default:
-         putc (c, fattrs);
-       }
-
-      c = getc (finput);
-
-      if (after_percent)
-       {
-         if (c == '}')
-           return;
-         putc ('%', fattrs);
-       }
-      after_percent = 0;
-
-    }
-
-}
-
-
-/*-----------------------------------------------------------------.
-| Parse what comes after %token or %nterm.  For %token, what_is is |
-| STOKEN and what_is_not is SNTERM.  For %nterm, the arguments are |
-| reversed.                                                        |
-`-----------------------------------------------------------------*/
-
-static void
-parse_token_decl (int what_is, int what_is_not)
+static int
+get_merge_function (uniqstr name, uniqstr type, location loc)
 {
 {
-  int token = 0;
-  char *typename = 0;
-  struct bucket *symbol = NULL;        /* pts to symbol being defined */
-  int k;
-
-  for (;;)
-    {
-      int tmp_char = ungetc (skip_white_space (), finput);
-
-      if (tmp_char == '%')
-       return;
-      if (tmp_char == EOF)
-       fatal (_("Premature EOF after %s"), token_buffer);
-
-      token = lex ();
-      if (token == COMMA)
-       {
-         symbol = NULL;
-         continue;
-       }
-      if (token == TYPENAME)
-       {
-         k = strlen (token_buffer);
-         typename = NEW2 (k + 1, char);
-         strcpy (typename, token_buffer);
-         value_components_used = 1;
-         symbol = NULL;
-       }
-      else if (token == IDENTIFIER && *symval->tag == '\"' && symbol)
-       {
-         translations = 1;
-         symval->class = STOKEN;
-         symval->type_name = typename;
-         symval->user_token_number = symbol->user_token_number;
-         symbol->user_token_number = SALIAS;
-
-         symval->alias = symbol;
-         symbol->alias = symval;
-         symbol = NULL;
-
-         nsyms--;              /* symbol and symval combined are only one symbol */
-       }
-      else if (token == IDENTIFIER)
-       {
-         int oldclass = symval->class;
-         symbol = symval;
-
-         if (symbol->class == what_is_not)
-           complain (_("symbol %s redefined"), symbol->tag);
-         symbol->class = what_is;
-         if (what_is == SNTERM && oldclass != SNTERM)
-           symbol->value = nvars++;
-
-         if (typename)
-           {
-             if (symbol->type_name == NULL)
-               symbol->type_name = typename;
-             else if (strcmp (typename, symbol->type_name) != 0)
-               complain (_("type redeclaration for %s"), symbol->tag);
-           }
-       }
-      else if (symbol && token == NUMBER)
-       {
-         symbol->user_token_number = numval;
-         translations = 1;
-       }
-      else
-       {
-         complain (_("`%s' is invalid in %s"),
-                   token_buffer, (what_is == STOKEN) ? "%token" : "%nterm");
-         skip_to_char ('%');
-       }
-    }
-
-}
+  merger_list *syms;
+  merger_list head;
+  int n;
 
 
+  if (! glr_parser)
+    return 0;
 
 
-/* Parse what comes after %start */
+  if (type == NULL)
+    type = uniqstr_new ("");
 
 
-static void
-parse_start_decl (void)
-{
-  if (start_flag)
-    complain (_("multiple %s declarations"), "%start");
-  if (lex () != IDENTIFIER)
-    complain (_("invalid %s declaration"), "%start");
-  else
+  head.next = merge_functions;
+  for (syms = &head, n = 1; syms->next != NULL; syms = syms->next, n += 1)
+    if (UNIQSTR_EQ (name, syms->next->name))
+      break;
+  if (syms->next == NULL)
     {
     {
-      start_flag = 1;
-      startval = symval;
+      MALLOC (syms->next, 1);
+      syms->next->name = uniqstr_new (name);
+      syms->next->type = uniqstr_new (type);
+      syms->next->next = NULL;
+      merge_functions = head.next;
     }
     }
+  else if (!UNIQSTR_EQ (type, syms->next->type))
+    warn_at (loc, _("result type clash on merge function %s: <%s> != <%s>"),
+            name, type, syms->next->type);
+  return n;
 }
 
 }
 
+/*--------------------------------------.
+| Free all merge-function definitions. |
+`--------------------------------------*/
 
 
-
-/*--------------------------------------------------------------.
-| Get the data type (alternative in the union) of the value for |
-| symbol n in rule rule.                                        |
-`--------------------------------------------------------------*/
-
-static char *
-get_type_name (int n, symbol_list * rule)
+void
+free_merger_functions (void)
 {
 {
-  int i;
-  symbol_list *rp;
-
-  if (n < 0)
+  merger_list *L0;
+  if (! glr_parser)
+    return;
+  L0 = merge_functions;
+  while (L0 != NULL)
     {
     {
-      complain (_("invalid $ value"));
-      return NULL;
-    }
-
-  rp = rule;
-  i = 0;
-
-  while (i < n)
-    {
-      rp = rp->next;
-      if (rp == NULL || rp->sym == NULL)
-       {
-         complain (_("invalid $ value"));
-         return NULL;
-       }
-      i++;
+      merger_list *L1 = L0->next;
+      free (L0);
+      L0 = L1;
     }
     }
-
-  return rp->sym->type_name;
 }
 
 }
 
+\f
+/*-------------------------------------------------------------------.
+| Parse the input grammar into a one symbol_list structure.  Each    |
+| rule is represented by a sequence of symbols: the left hand side   |
+| followed by the contents of the right hand side, followed by a     |
+| null pointer instead of a symbol to terminate the rule.  The next  |
+| symbol is the lhs of the following rule.                           |
+|                                                                    |
+| All actions are copied out, labelled by the rule number they apply |
+| to.                                                                |
+|                                                                    |
+| Bison used to allow some %directives in the rules sections, but    |
+| this is no longer consider appropriate: (i) the documented grammar |
+| doesn't claim it, (ii), it would promote bad style, (iii), error   |
+| recovery for %directives consists in skipping the junk until a `%' |
+| is seen and helrp synchronizing.  This scheme is definitely wrong  |
+| in the rules section.                                              |
+`-------------------------------------------------------------------*/
 
 
-/*-----------------------------------------------------------.
-| read in a %type declaration and record its information for |
-| get_type_name to access                                    |
-`-----------------------------------------------------------*/
+/* The (currently) last symbol of GRAMMAR. */
+symbol_list *grammar_end = NULL;
 
 
-static void
-parse_type_decl (void)
+/* Append SYM to the grammar.  */
+void
+grammar_symbol_append (symbol *sym, location loc)
 {
 {
-  int k;
-  char *name;
-
-  if (lex () != TYPENAME)
-    {
-      complain ("%s", _("%type declaration has no <typename>"));
-      skip_to_char ('%');
-      return;
-    }
-
-  k = strlen (token_buffer);
-  name = NEW2 (k + 1, char);
-  strcpy (name, token_buffer);
-
-  for (;;)
-    {
-      int t;
-      int tmp_char = ungetc (skip_white_space (), finput);
-
-      if (tmp_char == '%')
-       return;
-      if (tmp_char == EOF)
-       fatal (_("Premature EOF after %s"), token_buffer);
-
-      t = lex ();
-
-      switch (t)
-       {
-
-       case COMMA:
-       case SEMICOLON:
-         break;
-
-       case IDENTIFIER:
-         if (symval->type_name == NULL)
-           symval->type_name = name;
-         else if (strcmp (name, symval->type_name) != 0)
-           complain (_("type redeclaration for %s"), symval->tag);
+  symbol_list *p = symbol_list_new (sym, loc);
 
 
-         break;
+  if (grammar_end)
+    grammar_end->next = p;
+  else
+    grammar = p;
 
 
-       default:
-         complain (_("invalid %%type declaration due to item: %s"),
-                   token_buffer);
-         skip_to_char ('%');
-       }
-    }
+  grammar_end = p;
 }
 
 }
 
+/* The rule currently being defined, and the previous rule.
+   CURRENT_RULE points to the first LHS of the current rule, while
+   PREVIOUS_RULE_END points to the *end* of the previous rule (NULL).  */
+symbol_list *current_rule = NULL;
+symbol_list *previous_rule_end = NULL;
 
 
 
 
-/* read in a %left, %right or %nonassoc declaration and record its information.  */
-/* assoc is either LEFT_ASSOC, RIGHT_ASSOC or NON_ASSOC.  */
+/*----------------------------------------------.
+| Create a new rule for LHS in to the GRAMMAR.  |
+`----------------------------------------------*/
 
 
-static void
-parse_assoc_decl (int assoc)
+void
+grammar_rule_begin (symbol *lhs, location loc)
 {
 {
-  int k;
-  char *name = NULL;
-  int prev = 0;
-
-  lastprec++;                  /* Assign a new precedence level, never 0.  */
-
-  for (;;)
+  if (!start_flag)
     {
     {
-      int t;
-      int tmp_char = ungetc (skip_white_space (), finput);
-
-      if (tmp_char == '%')
-       return;
-      if (tmp_char == EOF)
-       fatal (_("Premature EOF after %s"), token_buffer);
-
-      t = lex ();
-
-      switch (t)
-       {
-
-       case TYPENAME:
-         k = strlen (token_buffer);
-         name = NEW2 (k + 1, char);
-         strcpy (name, token_buffer);
-         break;
-
-       case COMMA:
-         break;
-
-       case IDENTIFIER:
-         if (symval->prec != 0)
-           complain (_("redefining precedence of %s"), symval->tag);
-         symval->prec = lastprec;
-         symval->assoc = assoc;
-         if (symval->class == SNTERM)
-           complain (_("symbol %s redefined"), symval->tag);
-         symval->class = STOKEN;
-         if (name)
-           {                   /* record the type, if one is specified */
-             if (symval->type_name == NULL)
-               symval->type_name = name;
-             else if (strcmp (name, symval->type_name) != 0)
-               complain (_("type redeclaration for %s"), symval->tag);
-           }
-         break;
-
-       case NUMBER:
-         if (prev == IDENTIFIER)
-           {
-             symval->user_token_number = numval;
-             translations = 1;
-           }
-         else
-           {
-             complain (_
-                       ("invalid text (%s) - number should be after identifier"),
-token_buffer);
-             skip_to_char ('%');
-           }
-         break;
-
-       case SEMICOLON:
-         return;
-
-       default:
-         complain (_("unexpected item: %s"), token_buffer);
-         skip_to_char ('%');
-       }
-
-      prev = t;
-
+      startsymbol = lhs;
+      startsymbol_location = loc;
+      start_flag = 1;
     }
     }
-}
-
 
 
+  /* Start a new rule and record its lhs.  */
+  ++nrules;
+  ++nritems;
 
 
-/* copy the union declaration into fattrs (and fdefines),
-   where it is made into the
-   definition of YYSTYPE, the type of elements of the parser value stack.  */
-
-static void
-parse_union_decl (void)
-{
-  int c;
-  int count = 0;
+  previous_rule_end = grammar_end;
+  grammar_symbol_append (lhs, loc);
+  current_rule = grammar_end;
 
 
-  if (typed)
-    complain (_("multiple %s declarations"), "%union");
+  /* Mark the rule's lhs as a nonterminal if not already so.  */
 
 
-  typed = 1;
-
-  if (!nolinesflag)
-    fprintf (fattrs, "\n#line %d \"%s\"\n", lineno, infile);
-  else
-    fprintf (fattrs, "\n");
-
-  fprintf (fattrs, "typedef union");
-  if (fdefines)
-    fprintf (fdefines, "typedef union");
-
-  c = getc (finput);
-
-  while (c != EOF)
+  if (lhs->class == unknown_sym)
     {
     {
-      putc (c, fattrs);
-      if (fdefines)
-       putc (c, fdefines);
-
-      switch (c)
-       {
-       case '\n':
-         lineno++;
-         break;
-
-       case '/':
-         c = getc (finput);
-         if (c != '*' && c != '/')
-           continue;
-         copy_comment2 (finput, fattrs, fdefines, c);
-         break;
-
-
-       case '{':
-         count++;
-         break;
-
-       case '}':
-         if (count == 0)
-           complain (_("unmatched %s"), "`}'");
-         count--;
-         if (count <= 0)
-           {
-             fprintf (fattrs, " YYSTYPE;\n");
-             if (fdefines)
-               fprintf (fdefines, " YYSTYPE;\n");
-             /* JF don't choke on trailing semi */
-             c = skip_white_space ();
-             if (c != ';')
-               ungetc (c, finput);
-             return;
-           }
-       }
-
-      c = getc (finput);
+      lhs->class = nterm_sym;
+      lhs->number = nvars;
+      ++nvars;
     }
     }
+  else if (lhs->class == token_sym)
+    complain_at (loc, _("rule given for %s, which is a token"), lhs->tag);
 }
 
 }
 
-/* parse the declaration %expect N which says to expect N
-   shift-reduce conflicts.  */
+/* Check that the last rule (CURRENT_RULE) is properly defined.  For
+   instance, there should be no type clash on the default action.  */
 
 static void
 
 static void
-parse_expect_decl (void)
+grammar_current_rule_check (void)
 {
 {
-  int c;
-  int count;
-  char buffer[20];
-
-  c = getc (finput);
-  while (c == ' ' || c == '\t')
-    c = getc (finput);
-
-  count = 0;
-  while (c >= '0' && c <= '9')
-    {
-      if (count < 20)
-       buffer[count++] = c;
-      c = getc (finput);
-    }
-  buffer[count] = 0;
-
-  ungetc (c, finput);
-
-  if (count <= 0 || count > 10)
-    complain ("%s", _("argument of %expect is not an integer"));
-  expected_conflicts = atoi (buffer);
+  symbol *lhs = current_rule->sym;
+  char const *lhs_type = lhs->type_name;
+  symbol *first_rhs = current_rule->next->sym;
+
+  /* If there is an action, then there is nothing we can do: the user
+     is allowed to shoot herself in the foot.  */
+  if (current_rule->action)
+    return;
+
+  /* Don't worry about the default action if $$ is untyped, since $$'s
+     value can't be used.  */
+  if (! lhs_type)
+    return;
+
+  /* If $$ is being set in default way, report if any type mismatch.  */
+  if (first_rhs)
+    {
+      const char *rhs_type = first_rhs->type_name ? first_rhs->type_name : "";
+      if (!UNIQSTR_EQ (lhs_type, rhs_type))
+       warn_at (current_rule->location,
+                _("type clash on default action: <%s> != <%s>"),
+                lhs_type, rhs_type);
+    }
+  /* Warn if there is no default for $$ but we need one.  */
+  else
+    warn_at (current_rule->location,
+            _("empty rule for typed nonterminal, and no action"));
 }
 
 
 }
 
 
-/*-------------------------------------------------------------------.
-| Parse what comes after %thong.  the full syntax is                 |
-|                                                                    |
-|                %thong <type> token number literal                  |
-|                                                                    |
-| the <type> or number may be omitted.  The number specifies the     |
-| user_token_number.                                                 |
-|                                                                    |
-| Two symbols are entered in the table, one for the token symbol and |
-| one for the literal.  Both are given the <type>, if any, from the  |
-| declaration.  The ->user_token_number of the first is SALIAS and   |
-| the ->user_token_number of the second is set to the number, if     |
-| any, from the declaration.  The two symbols are linked via         |
-| pointers in their ->alias fields.                                  |
-|                                                                    |
-| During OUTPUT_DEFINES_TABLE, the symbol is reported thereafter,    |
-| only the literal string is retained it is the literal string that  |
-| is output to yytname                                               |
-`-------------------------------------------------------------------*/
+/*-------------------------------------.
+| End the currently being grown rule.  |
+`-------------------------------------*/
 
 
-static void
-parse_thong_decl (void)
+void
+grammar_rule_end (location loc)
 {
 {
-  int token;
-  struct bucket *symbol;
-  char *typename = 0;
-  int k, usrtoknum;
-
-  translations = 1;
-  token = lex ();              /* fetch typename or first token */
-  if (token == TYPENAME)
-    {
-      k = strlen (token_buffer);
-      typename = NEW2 (k + 1, char);
-      strcpy (typename, token_buffer);
-      value_components_used = 1;
-      token = lex ();          /* fetch first token */
-    }
-
-  /* process first token */
-
-  if (token != IDENTIFIER)
-    {
-      complain (_("unrecognized item %s, expected an identifier"),
-               token_buffer);
-      skip_to_char ('%');
-      return;
-    }
-  symval->class = STOKEN;
-  symval->type_name = typename;
-  symval->user_token_number = SALIAS;
-  symbol = symval;
-
-  token = lex ();              /* get number or literal string */
-
-  if (token == NUMBER)
-    {
-      usrtoknum = numval;
-      token = lex ();          /* okay, did number, now get literal */
-    }
-  else
-    usrtoknum = 0;
-
-  /* process literal string token */
-
-  if (token != IDENTIFIER || *symval->tag != '\"')
-    {
-      complain (_("expected string constant instead of %s"), token_buffer);
-      skip_to_char ('%');
-      return;
-    }
-  symval->class = STOKEN;
-  symval->type_name = typename;
-  symval->user_token_number = usrtoknum;
-
-  symval->alias = symbol;
-  symbol->alias = symval;
-
-  nsyms--;                     /* symbol and symval combined are only one symbol */
+  /* Put an empty link in the list to mark the end of this rule  */
+  grammar_symbol_append (NULL, grammar_end->location);
+  current_rule->location = loc;
+  grammar_current_rule_check ();
 }
 
 }
 
-/*----------------------------------------------------------------.
-| Read from finput until `%%' is seen.  Discard the `%%'.  Handle |
-| any `%' declarations, and copy the contents of any `%{ ... %}'  |
-| groups to fattrs.                                               |
-`----------------------------------------------------------------*/
-
-static void
-read_declarations (void)
-{
-  int c;
-  int tok;
 
 
-  for (;;)
-    {
-      c = skip_white_space ();
-
-      if (c == '%')
-       {
-         tok = parse_percent_token ();
-
-         switch (tok)
-           {
-           case TWO_PERCENTS:
-             return;
-
-           case PERCENT_LEFT_CURLY:
-             copy_definition ();
-             break;
-
-           case TOKEN:
-             parse_token_decl (STOKEN, SNTERM);
-             break;
-
-           case NTERM:
-             parse_token_decl (SNTERM, STOKEN);
-             break;
-
-           case TYPE:
-             parse_type_decl ();
-             break;
-
-           case START:
-             parse_start_decl ();
-             break;
-
-           case UNION:
-             parse_union_decl ();
-             break;
-
-           case EXPECT:
-             parse_expect_decl ();
-             break;
-           case THONG:
-             parse_thong_decl ();
-             break;
-           case LEFT:
-             parse_assoc_decl (LEFT_ASSOC);
-             break;
-
-           case RIGHT:
-             parse_assoc_decl (RIGHT_ASSOC);
-             break;
-
-           case NONASSOC:
-             parse_assoc_decl (NON_ASSOC);
-             break;
-
-           case SEMANTIC_PARSER:
-             if (semantic_parser == 0)
-               {
-                 semantic_parser = 1;
-                 open_extra_files ();
-               }
-             break;
-
-           case PURE_PARSER:
-             pure_parser = 1;
-             break;
-
-           case NOOP:
-             break;
-
-           default:
-             complain (_("unrecognized: %s"), token_buffer);
-             skip_to_char ('%');
-           }
-       }
-      else if (c == EOF)
-       fatal (_("no input grammar"));
-      else
-       {
-         complain (_("unknown character: %s"), printable_version (c));
-         skip_to_char ('%');
-       }
-    }
-}
-\f
 /*-------------------------------------------------------------------.
 /*-------------------------------------------------------------------.
-| Assuming that a `{' has just been seen, copy everything up to the  |
-| matching `}' into the actions file.  STACK_OFFSET is the number of |
-| values in the current rule so far, which says where to find `$0'   |
-| with respect to the top of the stack.                              |
+| The previous action turns out the be a mid-rule action.  Attach it |
+| to the current rule, i.e., create a dummy symbol, attach it this   |
+| mid-rule action, and append this dummy nonterminal to the current  |
+| rule.                                                              |
 `-------------------------------------------------------------------*/
 
 `-------------------------------------------------------------------*/
 
-static void
-copy_action (symbol_list * rule, int stack_offset)
+void
+grammar_midrule_action (void)
 {
 {
-  int c;
-  int n;
-  int count;
-  char *type_name;
-
-  /* offset is always 0 if parser has already popped the stack pointer */
-  if (semantic_parser)
-    stack_offset = 0;
-
-  fprintf (faction, "\ncase %d:\n", nrules);
-  if (!nolinesflag)
-    fprintf (faction, "#line %d \"%s\"\n", lineno, infile);
-  putc ('{', faction);
-
-  count = 1;
-  c = getc (finput);
-
-  while (count > 0)
-    {
-      while (c != '}')
-       {
-         switch (c)
-           {
-           case '\n':
-             putc (c, faction);
-             lineno++;
-             break;
-
-           case '{':
-             putc (c, faction);
-             count++;
-             break;
-
-           case '\'':
-           case '"':
-             copy_string (finput, faction, c);
-             break;
-
-           case '/':
-             putc (c, faction);
-             c = getc (finput);
-             if (c != '*' && c != '/')
-               continue;
-             copy_comment (finput, faction, c);
-             break;
-
-           case '$':
-             c = getc (finput);
-             type_name = NULL;
-
-             if (c == '<')
-               {
-                 char *cp = token_buffer;
-
-                 while ((c = getc (finput)) != '>' && c > 0)
-                   {
-                     if (cp == token_buffer + maxtoken)
-                       cp = grow_token_buffer (cp);
-
-                     *cp++ = c;
-                   }
-                 *cp = 0;
-                 type_name = token_buffer;
-                 value_components_used = 1;
-
-                 c = getc (finput);
-               }
-             if (c == '$')
-               {
-                 fprintf (faction, "yyval");
-                 if (!type_name)
-                   type_name = get_type_name (0, rule);
-                 if (type_name)
-                   fprintf (faction, ".%s", type_name);
-                 if (!type_name && typed)
-                   complain (_("$$ of `%s' has no declared type"),
-                             rule->sym->tag);
-               }
-             else if (isdigit (c) || c == '-')
-               {
-                 ungetc (c, finput);
-                 n = read_signed_integer (finput);
-                 c = getc (finput);
-
-                 if (!type_name && n > 0)
-                   type_name = get_type_name (n, rule);
-
-                 fprintf (faction, "yyvsp[%d]", n - stack_offset);
-                 if (type_name)
-                   fprintf (faction, ".%s", type_name);
-                 if (!type_name && typed)
-                   complain (_("$%d of `%s' has no declared type"),
-                             n, rule->sym->tag);
-                 continue;
-               }
-             else
-               complain (_("$%s is invalid"), printable_version (c));
-
-             break;
-
-           case '@':
-             copy_at (finput, faction, stack_offset);
-             break;
-
-           case EOF:
-             fatal (_("unmatched %s"), "`{'");
-
-           default:
-             putc (c, faction);
-           }
-
-         c = getc (finput);
-       }
+  /* Since the action was written out with this rule's number, we must
+     give the new rule this number by inserting the new rule before
+     it.  */
+
+  /* Make a DUMMY nonterminal, whose location is that of the midrule
+     action.  Create the MIDRULE.  */
+  location dummy_location = current_rule->action_location;
+  symbol *dummy = dummy_symbol_get (dummy_location);
+  symbol_list *midrule = symbol_list_new (dummy, dummy_location);
+
+  /* Make a new rule, whose body is empty, before the current one, so
+     that the action just read can belong to it.  */
+  ++nrules;
+  ++nritems;
+  /* Attach its location and actions to that of the DUMMY.  */
+  midrule->location = dummy_location;
+  midrule->action = current_rule->action;
+  midrule->action_location = dummy_location;
+  current_rule->action = NULL;
+
+  if (previous_rule_end)
+    previous_rule_end->next = midrule;
+  else
+    grammar = midrule;
 
 
-      /* above loop exits when c is '}' */
+  /* End the dummy's rule.  */
+  previous_rule_end = symbol_list_new (NULL, dummy_location);
+  previous_rule_end->next = current_rule;
 
 
-      if (--count)
-       {
-         putc (c, faction);
-         c = getc (finput);
-       }
-    }
+  midrule->next = previous_rule_end;
 
 
-  fprintf (faction, ";\n    break;}");
+  /* Insert the dummy nonterminal replacing the midrule action into
+     the current rule.  */
+  grammar_current_rule_symbol_append (dummy, dummy_location);
 }
 }
-\f
-/*-------------------------------------------------------------------.
-| After `%guard' is seen in the input file, copy the actual guard    |
-| into the guards file.  If the guard is followed by an action, copy |
-| that into the actions file.  STACK_OFFSET is the number of values  |
-| in the current rule so far, which says where to find `$0' with     |
-| respect to the top of the stack, for the simple parser in which    |
-| the stack is not popped until after the guard is run.              |
-`-------------------------------------------------------------------*/
-
-static void
-copy_guard (symbol_list * rule, int stack_offset)
-{
-  int c;
-  int n;
-  int count;
-  char *type_name;
-  int brace_flag = 0;
-
-  /* offset is always 0 if parser has already popped the stack pointer */
-  if (semantic_parser)
-    stack_offset = 0;
-
-  fprintf (fguard, "\ncase %d:\n", nrules);
-  if (!nolinesflag)
-    fprintf (fguard, "#line %d \"%s\"\n", lineno, infile);
-  putc ('{', fguard);
-
-  count = 0;
-  c = getc (finput);
-
-  while (brace_flag ? (count > 0) : (c != ';'))
-    {
-      switch (c)
-       {
-       case '\n':
-         putc (c, fguard);
-         lineno++;
-         break;
-
-       case '{':
-         putc (c, fguard);
-         brace_flag = 1;
-         count++;
-         break;
-
-       case '}':
-         putc (c, fguard);
-         if (count > 0)
-           count--;
-         else
-           {
-             complain (_("unmatched %s"), "`}'");
-             c = getc (finput);        /* skip it */
-           }
-         break;
-
-       case '\'':
-       case '"':
-         copy_string (finput, fguard, c);
-         break;
-
-       case '/':
-         putc (c, fguard);
-         c = getc (finput);
-         if (c != '*' && c != '/')
-           continue;
-         copy_comment (finput, fguard, c);
-         break;
-
-       case '$':
-         c = getc (finput);
-         type_name = NULL;
-
-         if (c == '<')
-           {
-             char *cp = token_buffer;
-
-             while ((c = getc (finput)) != '>' && c > 0)
-               {
-                 if (cp == token_buffer + maxtoken)
-                   cp = grow_token_buffer (cp);
-
-                 *cp++ = c;
-               }
-             *cp = 0;
-             type_name = token_buffer;
-
-             c = getc (finput);
-           }
-
-         if (c == '$')
-           {
-             fprintf (fguard, "yyval");
-             if (!type_name)
-               type_name = rule->sym->type_name;
-             if (type_name)
-               fprintf (fguard, ".%s", type_name);
-             if (!type_name && typed)
-               complain (_("$$ of `%s' has no declared type"),
-                         rule->sym->tag);
-           }
-         else if (isdigit (c) || c == '-')
-           {
-             ungetc (c, finput);
-             n = read_signed_integer (finput);
-             c = getc (finput);
-
-             if (!type_name && n > 0)
-               type_name = get_type_name (n, rule);
-
-             fprintf (fguard, "yyvsp[%d]", n - stack_offset);
-             if (type_name)
-               fprintf (fguard, ".%s", type_name);
-             if (!type_name && typed)
-               complain (_("$%d of `%s' has no declared type"),
-                         n, rule->sym->tag);
-             continue;
-           }
-         else
-           complain (_("$%s is invalid"), printable_version (c));
-         break;
-
-       case '@':
-         copy_at (finput, fguard, stack_offset);
-         break;
-
-       case EOF:
-         fatal ("%s", _("unterminated %guard clause"));
-
-       default:
-         putc (c, fguard);
-       }
-
-      if (c != '}' || count != 0)
-       c = getc (finput);
-    }
-
-  c = skip_white_space ();
 
 
-  fprintf (fguard, ";\n    break;}");
-  if (c == '{')
-    copy_action (rule, stack_offset);
-  else if (c == '=')
-    {
-      c = getc (finput);       /* why not skip_white_space -wjh */
-      if (c == '{')
-       copy_action (rule, stack_offset);
-    }
-  else
-    ungetc (c, finput);
-}
-\f
+/* Set the precedence symbol of the current rule to PRECSYM. */
 
 
-static void
-record_rule_line (void)
+void
+grammar_current_rule_prec_set (symbol *precsym, location loc)
 {
 {
-  /* Record each rule's source line number in rline table.  */
-
-  if (nrules >= rline_allocated)
-    {
-      rline_allocated = nrules * 2;
-      rline = (short *) xrealloc ((char *) rline,
-                                 rline_allocated * sizeof (short));
-    }
-  rline[nrules] = lineno;
+  if (current_rule->ruleprec)
+    complain_at (loc, _("only one %s allowed per rule"), "%prec");
+  current_rule->ruleprec = precsym;
 }
 
 }
 
+/* Attach dynamic precedence DPREC to the current rule. */
 
 
-/*-------------------------------------------------------------------.
-| Generate a dummy symbol, a nonterminal, whose name cannot conflict |
-| with the user's names.                                             |
-`-------------------------------------------------------------------*/
-
-static bucket *
-gensym (void)
+void
+grammar_current_rule_dprec_set (int dprec, location loc)
 {
 {
-  bucket *sym;
-
-  sprintf (token_buffer, "@%d", ++gensym_count);
-  sym = getsym (token_buffer);
-  sym->class = SNTERM;
-  sym->value = nvars++;
-  return sym;
+  if (! glr_parser)
+    warn_at (loc, _("%s affects only GLR parsers"), "%dprec");
+  if (dprec <= 0)
+    complain_at (loc, _("%s must be followed by positive number"), "%dprec");
+  else if (current_rule->dprec != 0)
+    complain_at (loc, _("only one %s allowed per rule"), "%dprec");
+  current_rule->dprec = dprec;
 }
 
 }
 
-#if 0
-/*------------------------------------------------------------------.
-| read in a %type declaration and record its information for        |
-| get_type_name to access.  This is unused.  It is only called from |
-| the #if 0 part of readgram                                        |
-`------------------------------------------------------------------*/
+/* Attach a merge function NAME with argument type TYPE to current
+   rule. */
 
 
-static int
-get_type (void)
+void
+grammar_current_rule_merge_set (uniqstr name, location loc)
 {
 {
-  int k;
-  int t;
-  char *name;
-
-  t = lex ();
-
-  if (t != TYPENAME)
-    {
-      complain (_("invalid %s declaration"), "%type");
-      return t;
-    }
-
-  k = strlen (token_buffer);
-  name = NEW2 (k + 1, char);
-  strcpy (name, token_buffer);
-
-  for (;;)
-    {
-      t = lex ();
-
-      switch (t)
-       {
-       case SEMICOLON:
-         return lex ();
-
-       case COMMA:
-         break;
-
-       case IDENTIFIER:
-         if (symval->type_name == NULL)
-           symval->type_name = name;
-         else if (strcmp (name, symval->type_name) != 0)
-           complain (_("type redeclaration for %s"), symval->tag);
-
-         break;
-
-       default:
-         return t;
-       }
-    }
+  if (! glr_parser)
+    warn_at (loc, _("%s affects only GLR parsers"), "%merge");
+  if (current_rule->merger != 0)
+    complain_at (loc, _("only one %s allowed per rule"), "%merge");
+  current_rule->merger =
+    get_merge_function (name, current_rule->sym->type_name, loc);
 }
 
 }
 
-#endif
-\f
-/*------------------------------------------------------------------.
-| Parse the input grammar into a one symbol_list structure.  Each   |
-| rule is represented by a sequence of symbols: the left hand side  |
-| followed by the contents of the right hand side, followed by a    |
-| null pointer instead of a symbol to terminate the rule.  The next |
-| symbol is the lhs of the following rule.                          |
-|                                                                   |
-| All guards and actions are copied out to the appropriate files,   |
-| labelled by the rule number they apply to.                        |
-`------------------------------------------------------------------*/
-
-static void
-readgram (void)
-{
-  int t;
-  bucket *lhs = NULL;
-  symbol_list *p;
-  symbol_list *p1;
-  bucket *bp;
-
-  symbol_list *crule;          /* points to first symbol_list of current rule.  */
-  /* its symbol is the lhs of the rule.   */
-  symbol_list *crule1;         /* points to the symbol_list preceding crule.  */
+/* Attach SYM to the current rule.  If needed, move the previous
+   action as a mid-rule action.  */
 
 
-  p1 = NULL;
-
-  t = lex ();
-
-  while (t != TWO_PERCENTS && t != ENDFILE)
-    {
-      if (t == IDENTIFIER || t == BAR)
-       {
-         int actionflag = 0;
-         int rulelength = 0;   /* number of symbols in rhs of this rule so far  */
-         int xactions = 0;     /* JF for error checking */
-         bucket *first_rhs = 0;
-
-         if (t == IDENTIFIER)
-           {
-             lhs = symval;
-
-             if (!start_flag)
-               {
-                 startval = lhs;
-                 start_flag = 1;
-               }
-
-             t = lex ();
-             if (t != COLON)
-               {
-                 complain (_("ill-formed rule: initial symbol not followed by colon"));
-                 unlex (t);
-               }
-           }
-
-         if (nrules == 0 && t == BAR)
-           {
-             complain (_("grammar starts with vertical bar"));
-             lhs = symval;     /* BOGUS: use a random symval */
-           }
-         /* start a new rule and record its lhs.  */
-
-         nrules++;
-         nitems++;
-
-         record_rule_line ();
-
-         p = NEW (symbol_list);
-         p->sym = lhs;
-
-         crule1 = p1;
-         if (p1)
-           p1->next = p;
-         else
-           grammar = p;
-
-         p1 = p;
-         crule = p;
-
-         /* mark the rule's lhs as a nonterminal if not already so.  */
-
-         if (lhs->class == SUNKNOWN)
-           {
-             lhs->class = SNTERM;
-             lhs->value = nvars;
-             nvars++;
-           }
-         else if (lhs->class == STOKEN)
-           complain (_("rule given for %s, which is a token"), lhs->tag);
-
-         /* read the rhs of the rule.  */
-
-         for (;;)
-           {
-             t = lex ();
-             if (t == PREC)
-               {
-                 t = lex ();
-                 crule->ruleprec = symval;
-                 t = lex ();
-               }
-
-             if (!(t == IDENTIFIER || t == LEFT_CURLY))
-               break;
-
-             /* If next token is an identifier, see if a colon follows it.
-                If one does, exit this rule now.  */
-             if (t == IDENTIFIER)
-               {
-                 bucket *ssave;
-                 int t1;
-
-                 ssave = symval;
-                 t1 = lex ();
-                 unlex (t1);
-                 symval = ssave;
-                 if (t1 == COLON)
-                   break;
-
-                 if (!first_rhs)       /* JF */
-                   first_rhs = symval;
-                 /* Not followed by colon =>
-                    process as part of this rule's rhs.  */
-               }
-
-             /* If we just passed an action, that action was in the middle
-                of a rule, so make a dummy rule to reduce it to a
-                non-terminal.  */
-             if (actionflag)
-               {
-                 bucket *sdummy;
-
-                 /* Since the action was written out with this rule's */
-                 /* number, we must give the new rule this number */
-                 /* by inserting the new rule before it.  */
-
-                 /* Make a dummy nonterminal, a gensym.  */
-                 sdummy = gensym ();
-
-                 /* Make a new rule, whose body is empty,
-                    before the current one, so that the action
-                    just read can belong to it.  */
-                 nrules++;
-                 nitems++;
-                 record_rule_line ();
-                 p = NEW (symbol_list);
-                 if (crule1)
-                   crule1->next = p;
-                 else
-                   grammar = p;
-                 p->sym = sdummy;
-                 crule1 = NEW (symbol_list);
-                 p->next = crule1;
-                 crule1->next = crule;
-
-                 /* insert the dummy generated by that rule into this rule.  */
-                 nitems++;
-                 p = NEW (symbol_list);
-                 p->sym = sdummy;
-                 p1->next = p;
-                 p1 = p;
-
-                 actionflag = 0;
-               }
-
-             if (t == IDENTIFIER)
-               {
-                 nitems++;
-                 p = NEW (symbol_list);
-                 p->sym = symval;
-                 p1->next = p;
-                 p1 = p;
-               }
-             else              /* handle an action.  */
-               {
-                 copy_action (crule, rulelength);
-                 actionflag = 1;
-                 xactions++;   /* JF */
-               }
-             rulelength++;
-           }                   /* end of  read rhs of rule */
-
-         /* Put an empty link in the list to mark the end of this rule  */
-         p = NEW (symbol_list);
-         p1->next = p;
-         p1 = p;
-
-         if (t == PREC)
-           {
-             complain (_("two @prec's in a row"));
-             t = lex ();
-             crule->ruleprec = symval;
-             t = lex ();
-           }
-         if (t == GUARD)
-           {
-             if (!semantic_parser)
-               complain ("%s",
-                         _
-                         ("%guard present but %semantic_parser not specified"));
-
-             copy_guard (crule, rulelength);
-             t = lex ();
-           }
-         else if (t == LEFT_CURLY)
-           {
-             /* This case never occurs -wjh */
-             if (actionflag)
-               complain (_("two actions at end of one rule"));
-             copy_action (crule, rulelength);
-             actionflag = 1;
-             xactions++;       /* -wjh */
-             t = lex ();
-           }
-         /* If $$ is being set in default way, report if any type
-            mismatch.  */
-         else if (!xactions
-                  && first_rhs && lhs->type_name != first_rhs->type_name)
-           {
-             if (lhs->type_name == 0
-                 || first_rhs->type_name == 0
-                 || strcmp (lhs->type_name, first_rhs->type_name))
-               complain (_("type clash (`%s' `%s') on default action"),
-                         lhs->type_name ? lhs->type_name : "",
-                         first_rhs->type_name ? first_rhs->type_name : "");
-           }
-         /* Warn if there is no default for $$ but we need one.  */
-         else if (!xactions && !first_rhs && lhs->type_name != 0)
-           complain (_("empty rule for typed nonterminal, and no action"));
-         if (t == SEMICOLON)
-           t = lex ();
-       }
-#if 0
-      /* these things can appear as alternatives to rules.  */
-/* NO, they cannot.
-       a) none of the documentation allows them
-       b) most of them scan forward until finding a next %
-               thus they may swallow lots of intervening rules
-*/
-      else if (t == TOKEN)
-       {
-         parse_token_decl (STOKEN, SNTERM);
-         t = lex ();
-       }
-      else if (t == NTERM)
-       {
-         parse_token_decl (SNTERM, STOKEN);
-         t = lex ();
-       }
-      else if (t == TYPE)
-       {
-         t = get_type ();
-       }
-      else if (t == UNION)
-       {
-         parse_union_decl ();
-         t = lex ();
-       }
-      else if (t == EXPECT)
-       {
-         parse_expect_decl ();
-         t = lex ();
-       }
-      else if (t == START)
-       {
-         parse_start_decl ();
-         t = lex ();
-       }
-#endif
-
-      else
-       {
-         complain (_("invalid input: %s"), token_buffer);
-         t = lex ();
-       }
-    }
-
-  /* grammar has been read.  Do some checking */
-
-  if (nsyms > MAXSHORT)
-    fatal (_("too many symbols (tokens plus nonterminals); maximum %d"),
-          MAXSHORT);
-  if (nrules == 0)
-    fatal (_("no rules in the input grammar"));
-
-  if (typed == 0               /* JF put out same default YYSTYPE as YACC does */
-      && !value_components_used)
-    {
-      /* We used to use `unsigned long' as YYSTYPE on MSDOS,
-         but it seems better to be consistent.
-         Most programs should declare their own type anyway.  */
-      fprintf (fattrs, "#ifndef YYSTYPE\n#define YYSTYPE int\n#endif\n");
-      if (fdefines)
-       fprintf (fdefines, "#ifndef YYSTYPE\n#define YYSTYPE int\n#endif\n");
-    }
-
-  /* Report any undefined symbols and consider them nonterminals.  */
-
-  for (bp = firstsymbol; bp; bp = bp->next)
-    if (bp->class == SUNKNOWN)
-      {
-       complain (_
-                 ("symbol %s is used, but is not defined as a token and has no rules"),
-bp->tag);
-       bp->class = SNTERM;
-       bp->value = nvars++;
-      }
-
-  ntokens = nsyms - nvars;
-}
-\f
-/*--------------------------------------------------------------.
-| For named tokens, but not literal ones, define the name.  The |
-| value is the user token number.                               |
-`--------------------------------------------------------------*/
-
-static void
-output_token_defines (FILE *file)
+void
+grammar_current_rule_symbol_append (symbol *sym, location loc)
 {
 {
-  bucket *bp;
-  char *cp, *symbol;
-  char c;
-
-  for (bp = firstsymbol; bp; bp = bp->next)
-    {
-      symbol = bp->tag;                /* get symbol */
-
-      if (bp->value >= ntokens)
-       continue;
-      if (bp->user_token_number == SALIAS)
-       continue;
-      if ('\'' == *symbol)
-       continue;               /* skip literal character */
-      if (bp == errtoken)
-       continue;               /* skip error token */
-      if ('\"' == *symbol)
-       {
-         /* use literal string only if given a symbol with an alias */
-         if (bp->alias)
-           symbol = bp->alias->tag;
-         else
-           continue;
-       }
-
-      /* Don't #define nonliteral tokens whose names contain periods.  */
-      cp = symbol;
-      while ((c = *cp++) && c != '.');
-      if (c != '\0')
-       continue;
-
-      fprintf (file, "#define\t%s\t%d\n", symbol,
-              ((translations && !rawtoknumflag)
-               ? bp->user_token_number : bp->value));
-      if (semantic_parser)
-       fprintf (file, "#define\tT%s\t%d\n", symbol, bp->value);
-    }
-
-  putc ('\n', file);
+  if (current_rule->action)
+    grammar_midrule_action ();
+  ++nritems;
+  grammar_symbol_append (sym, loc);
 }
 
 }
 
+/* Attach an ACTION to the current rule.  If needed, move the previous
+   action as a mid-rule action.  */
 
 
-/*------------------------------------------------------------------.
-| Assign symbol numbers, and write definition of token names into   |
-| fdefines.  Set up vectors tags and sprec of names and precedences |
-| of symbols.                                                       |
-`------------------------------------------------------------------*/
-
-static void
-packsymbols (void)
+void
+grammar_current_rule_action_append (const char *action, location loc)
 {
 {
-  bucket *bp;
-  int tokno = 1;
-  int i;
-  int last_user_token_number;
-  static char DOLLAR[] = "$";
-
-  /* int lossage = 0; JF set but not used */
-
-  tags = NEW2 (nsyms + 1, char *);
-  tags[0] = DOLLAR;
-  user_toknums = NEW2 (nsyms + 1, short);
-  user_toknums[0] = 0;
-
-  sprec = NEW2 (nsyms, short);
-  sassoc = NEW2 (nsyms, short);
-
-  max_user_token_number = 256;
-  last_user_token_number = 256;
-
-  for (bp = firstsymbol; bp; bp = bp->next)
-    {
-      if (bp->class == SNTERM)
-       {
-         bp->value += ntokens;
-       }
-      else if (bp->alias)
-       {
-         /* this symbol and its alias are a single token defn.
-            allocate a tokno, and assign to both check agreement of
-            ->prec and ->assoc fields and make both the same */
-         if (bp->value == 0)
-           bp->value = bp->alias->value = tokno++;
-
-         if (bp->prec != bp->alias->prec)
-           {
-             if (bp->prec != 0 && bp->alias->prec != 0
-                 && bp->user_token_number == SALIAS)
-               complain (_("conflicting precedences for %s and %s"),
-                         bp->tag, bp->alias->tag);
-             if (bp->prec != 0)
-               bp->alias->prec = bp->prec;
-             else
-               bp->prec = bp->alias->prec;
-           }
-
-         if (bp->assoc != bp->alias->assoc)
-           {
-             if (bp->assoc != 0 && bp->alias->assoc != 0
-                 && bp->user_token_number == SALIAS)
-               complain (_("conflicting assoc values for %s and %s"),
-                         bp->tag, bp->alias->tag);
-             if (bp->assoc != 0)
-               bp->alias->assoc = bp->assoc;
-             else
-               bp->assoc = bp->alias->assoc;
-           }
-
-         if (bp->user_token_number == SALIAS)
-           continue;           /* do not do processing below for SALIASs */
-
-       }
-      else                     /* bp->class == STOKEN */
-       {
-         bp->value = tokno++;
-       }
-
-      if (bp->class == STOKEN)
-       {
-         if (translations && !(bp->user_token_number))
-           bp->user_token_number = ++last_user_token_number;
-         if (bp->user_token_number > max_user_token_number)
-           max_user_token_number = bp->user_token_number;
-       }
-
-      tags[bp->value] = bp->tag;
-      user_toknums[bp->value] = bp->user_token_number;
-      sprec[bp->value] = bp->prec;
-      sassoc[bp->value] = bp->assoc;
-
-    }
-
-  if (translations)
-    {
-      int j;
-
-      token_translations = NEW2 (max_user_token_number + 1, short);
-
-      /* initialize all entries for literal tokens to 2, the internal
-         token number for $undefined., which represents all invalid
-         inputs.  */
-      for (j = 0; j <= max_user_token_number; j++)
-       token_translations[j] = 2;
-
-      for (bp = firstsymbol; bp; bp = bp->next)
-       {
-         if (bp->value >= ntokens)
-           continue;           /* non-terminal */
-         if (bp->user_token_number == SALIAS)
-           continue;
-         if (token_translations[bp->user_token_number] != 2)
-           complain (_("tokens %s and %s both assigned number %d"),
-                     tags[token_translations[bp->user_token_number]],
-                     bp->tag, bp->user_token_number);
-         token_translations[bp->user_token_number] = bp->value;
-       }
-    }
-
-  error_token_number = errtoken->value;
-
-  if (!noparserflag)
-    output_token_defines (ftable);
-
-  if (startval->class == SUNKNOWN)
-    fatal (_("the start symbol %s is undefined"), startval->tag);
-  else if (startval->class == STOKEN)
-    fatal (_("the start symbol %s is a token"), startval->tag);
-
-  start_symbol = startval->value;
-
-  if (definesflag)
-    {
-      output_token_defines (fdefines);
-
-      if (!pure_parser)
-       {
-         if (spec_name_prefix)
-           fprintf (fdefines, "\nextern YYSTYPE %slval;\n",
-                    spec_name_prefix);
-         else
-           fprintf (fdefines, "\nextern YYSTYPE yylval;\n");
-       }
-
-      if (semantic_parser)
-       for (i = ntokens; i < nsyms; i++)
-         {
-           /* don't make these for dummy nonterminals made by gensym.  */
-           if (*tags[i] != '@')
-             fprintf (fdefines, "#define\tNT%s\t%d\n", tags[i], i);
-         }
-#if 0
-      /* `fdefines' is now a temporary file, so we need to copy its
-         contents in `done', so we can't close it here.  */
-      fclose (fdefines);
-      fdefines = NULL;
-#endif
-    }
+  if (current_rule->action)
+    grammar_midrule_action ();
+  current_rule->action = action;
+  current_rule->action_location = loc;
 }
 
 }
 
-
+\f
 /*---------------------------------------------------------------.
 | Convert the rules into the representation using RRHS, RLHS and |
 /*---------------------------------------------------------------.
 | Convert the rules into the representation using RRHS, RLHS and |
-| RITEMS.                                                        |
+| RITEM                                                        |
 `---------------------------------------------------------------*/
 
 static void
 packgram (void)
 {
 `---------------------------------------------------------------*/
 
 static void
 packgram (void)
 {
-  int itemno;
-  int ruleno;
-  symbol_list *p;
+  unsigned int itemno = 0;
+  rule_number ruleno = 0;
+  symbol_list *p = grammar;
 
 
-  bucket *ruleprec;
+  CALLOC (ritem, nritems);
+  CALLOC (rules, nrules);
 
 
-  ritem = NEW2 (nitems + 1, short);
-  rlhs = NEW2 (nrules, short) - 1;
-  rrhs = NEW2 (nrules, short) - 1;
-  rprec = NEW2 (nrules, short) - 1;
-  rprecsym = NEW2 (nrules, short) - 1;
-  rassoc = NEW2 (nrules, short) - 1;
-
-  itemno = 0;
-  ruleno = 1;
-
-  p = grammar;
   while (p)
     {
   while (p)
     {
-      rlhs[ruleno] = p->sym->value;
-      rrhs[ruleno] = itemno;
-      ruleprec = p->ruleprec;
+      symbol *ruleprec = p->ruleprec;
+      rules[ruleno].user_number = ruleno;
+      rules[ruleno].number = ruleno;
+      rules[ruleno].lhs = p->sym;
+      rules[ruleno].rhs = ritem + itemno;
+      rules[ruleno].location = p->location;
+      rules[ruleno].useful = true;
+      rules[ruleno].action = p->action;
+      rules[ruleno].action_location = p->action_location;
+      rules[ruleno].dprec = p->dprec;
+      rules[ruleno].merger = p->merger;
 
       p = p->next;
       while (p && p->sym)
        {
 
       p = p->next;
       while (p && p->sym)
        {
-         ritem[itemno++] = p->sym->value;
+         /* item_number = symbol_number.
+            But the former needs to contain more: negative rule numbers. */
+         ritem[itemno++] = symbol_number_as_item_number (p->sym->number);
          /* A rule gets by default the precedence and associativity
             of the last token in it.  */
          /* A rule gets by default the precedence and associativity
             of the last token in it.  */
-         if (p->sym->class == STOKEN)
-           {
-             rprec[ruleno] = p->sym->prec;
-             rassoc[ruleno] = p->sym->assoc;
-           }
+         if (p->sym->class == token_sym)
+           rules[ruleno].prec = p->sym;
          if (p)
            p = p->next;
        }
          if (p)
            p = p->next;
        }
@@ -1874,114 +442,114 @@ packgram (void)
          the specified symbol's precedence replaces the default.  */
       if (ruleprec)
        {
          the specified symbol's precedence replaces the default.  */
       if (ruleprec)
        {
-         rprec[ruleno] = ruleprec->prec;
-         rassoc[ruleno] = ruleprec->assoc;
-         rprecsym[ruleno] = ruleprec->value;
+         rules[ruleno].precsym = ruleprec;
+         rules[ruleno].prec = ruleprec;
        }
        }
-
-      ritem[itemno++] = -ruleno;
-      ruleno++;
+      ritem[itemno++] = rule_number_as_item_number (ruleno);
+      ++ruleno;
 
       if (p)
        p = p->next;
     }
 
 
       if (p)
        p = p->next;
     }
 
-  ritem[itemno] = 0;
+  if (itemno != nritems)
+    abort ();
+
+  if (trace_flag & trace_sets)
+    ritem_print (stderr);
 }
 \f
 }
 \f
-/*-------------------------------------------------------------------.
-| Read in the grammar specification and record it in the format      |
-| described in gram.h.  All guards are copied into the FGUARD file   |
-| and all actions into FACTION, in each case forming the body of a C |
-| function (YYGUARD or YYACTION) which contains a switch statement   |
-| to decide which guard or action to execute.                        |
-`-------------------------------------------------------------------*/
+/*------------------------------------------------------------------.
+| Read in the grammar specification and record it in the format     |
+| described in gram.h.  All actions are copied into ACTION_OBSTACK, |
+| in each case forming the body of a C function (YYACTION) which    |
+| contains a switch statement to decide which action to execute.    |
+`------------------------------------------------------------------*/
 
 void
 reader (void)
 {
 
 void
 reader (void)
 {
-  start_flag = 0;
-  startval = NULL;             /* start symbol not specified yet. */
+  /* Initialize the symbol table.  */
+  symbols_new ();
 
 
-#if 0
-  /* initially assume token number translation not needed.  */
-  translations = 0;
-#endif
-  /* Nowadays translations is always set to 1, since we give `error' a
-     user-token-number to satisfy the Posix demand for YYERRCODE==256.
-   */
-  translations = 1;
+  /* Construct the accept symbol. */
+  accept = symbol_get ("$accept", empty_location);
+  accept->class = nterm_sym;
+  accept->number = nvars++;
 
 
-  nsyms = 1;
-  nvars = 0;
-  nrules = 0;
-  nitems = 0;
-  rline_allocated = 10;
-  rline = NEW2 (rline_allocated, short);
+  /* Construct the error token */
+  errtoken = symbol_get ("error", empty_location);
+  errtoken->class = token_sym;
+  errtoken->number = ntokens++;
 
 
-  typed = 0;
-  lastprec = 0;
+  /* Construct a token that represents all undefined literal tokens.
+     It is always token number 2.  */
+  undeftoken = symbol_get ("$undefined", empty_location);
+  undeftoken->class = token_sym;
+  undeftoken->number = ntokens++;
 
 
-  gensym_count = 0;
+  /* Initialize the obstacks. */
+  obstack_init (&pre_prologue_obstack);
+  obstack_init (&post_prologue_obstack);
 
 
-  semantic_parser = 0;
-  pure_parser = 0;
-  yylsp_needed = 0;
+  finput = xfopen (grammar_file, "r");
+  gram_in = finput;
 
 
-  grammar = NULL;
+  gram__flex_debug = trace_flag & trace_scan;
+  gram_debug = trace_flag & trace_parse;
+  scanner_initialize ();
+  gram_parse ();
 
 
-  init_lex ();
-  lineno = 1;
+  /* If something went wrong during the parsing, don't try to
+     continue.  */
+  if (complaint_issued)
+    return;
+
+  /* Grammar has been read.  Do some checking */
+  if (nrules == 0)
+    fatal (_("no rules in the input grammar"));
+
+  /* Report any undefined symbols and consider them nonterminals.  */
+  symbols_check_defined ();
+
+  /* If the user did not define her ENDTOKEN, do it now. */
+  if (!endtoken)
+    {
+      endtoken = symbol_get ("$end", empty_location);
+      endtoken->class = token_sym;
+      endtoken->number = 0;
+      /* Value specified by POSIX.  */
+      endtoken->user_token_number = 0;
+    }
+
+  /* Insert the initial rule, which line is that of the first rule
+     (not that of the start symbol):
+
+     accept: %start EOF.  */
+  {
+    symbol_list *p = symbol_list_new (accept, empty_location);
+    p->location = grammar->location;
+    p->next = symbol_list_new (startsymbol, empty_location);
+    p->next->next = symbol_list_new (endtoken, empty_location);
+    p->next->next->next = symbol_list_new (NULL, empty_location);
+    p->next->next->next->next = grammar;
+    nrules += 1;
+    nritems += 3;
+    grammar = p;
+  }
+
+  if (! (nsyms <= SYMBOL_NUMBER_MAXIMUM && nsyms == ntokens + nvars))
+    abort ();
+
+  xfclose (finput);
 
 
-  /* Initialize the symbol table.  */
-  tabinit ();
-  /* Construct the error token */
-  errtoken = getsym ("error");
-  errtoken->class = STOKEN;
-  errtoken->user_token_number = 256;   /* Value specified by POSIX.  */
-  /* Construct a token that represents all undefined literal tokens.
-     It is always token number 2.  */
-  undeftoken = getsym ("$undefined.");
-  undeftoken->class = STOKEN;
-  undeftoken->user_token_number = 2;
-
-  /* Read the declaration section.  Copy %{ ... %} groups to FTABLE
-     and FDEFINES file.  Also notice any %token, %left, etc. found
-     there.  */
-  putc ('\n', ftable);
-  fprintf (ftable, "\
-/* %s, made from %s\n\
-   by GNU bison %s.  */\n\
-\n", noparserflag ? "Bison-generated parse tables" : "A Bison parser", infile, VERSION);
-
-  fputs ("#define YYBISON 1  /* Identify Bison output.  */\n\n", ftable);
-  read_declarations ();
-  /* Start writing the guard and action files, if they are needed.  */
-  output_headers ();
-  /* Read in the grammar, build grammar in list form.  Write out
-     guards and actions.  */
-  readgram ();
-  /* Now we know whether we need the line-number stack.  If we do,
-     write its type into the .tab.h file.  */
-  if (fdefines)
-    reader_output_yylsp (fdefines);
-  /* Write closing delimiters for actions and guards.  */
-  output_trailers ();
-  if (yylsp_needed)
-    fputs ("#define YYLSP_NEEDED\n\n", ftable);
   /* Assign the symbols their symbol numbers.  Write #defines for the
      token symbols into FDEFINES if requested.  */
   /* Assign the symbols their symbol numbers.  Write #defines for the
      token symbols into FDEFINES if requested.  */
-  packsymbols ();
+  symbols_pack ();
+
   /* Convert the grammar into the format described in gram.h.  */
   packgram ();
   /* Convert the grammar into the format described in gram.h.  */
   packgram ();
-  /* Free the symbol table data structure since symbols are now all
-     referred to by symbol number.  */
-  free_symtab ();
-}
 
 
-void
-reader_output_yylsp (FILE *f)
-{
-  if (yylsp_needed)
-    fprintf (f, LTYPESTR);
+  /* The grammar as a symbol_list is no longer needed. */
+  LIST_FREE (symbol_list, grammar);
 }
 }