]> git.saurik.com Git - bison.git/blobdiff - src/reader.c
* src/symtab.h (SALIAS, SUNDEF): Rename as...
[bison.git] / src / reader.c
index cc8f90a0eea7bdfb72d21b6cc4d482bce1ca5171..75957010632f83d9c95c4132521535c48eaec0a3 100644 (file)
@@ -1,5 +1,5 @@
 /* Input parser for bison
 /* Input parser for bison
-   Copyright 1984, 1986, 1989, 1992, 1998, 2000
+   Copyright (C) 1984, 1986, 1989, 1992, 1998, 2000, 2001, 2002
    Free Software Foundation, Inc.
 
    This file is part of Bison, the GNU Compiler Compiler.
    Free Software Foundation, Inc.
 
    This file is part of Bison, the GNU Compiler Compiler.
 
 
 #include "system.h"
 
 
 #include "system.h"
-#include "obstack.h"
 #include "quotearg.h"
 #include "quote.h"
 #include "getargs.h"
 #include "files.h"
 #include "quotearg.h"
 #include "quote.h"
 #include "getargs.h"
 #include "files.h"
-#include "xalloc.h"
 #include "symtab.h"
 #include "symtab.h"
+#include "options.h"
 #include "lex.h"
 #include "gram.h"
 #include "complain.h"
 #include "output.h"
 #include "reader.h"
 #include "conflicts.h"
 #include "lex.h"
 #include "gram.h"
 #include "complain.h"
 #include "output.h"
 #include "reader.h"
 #include "conflicts.h"
-#include "macrotab.h"
-
-/* Number of slots allocated (but not necessarily used yet) in `rline'  */
-static int rline_allocated;
+#include "muscle_tab.h"
 
 typedef struct symbol_list
 {
   struct symbol_list *next;
 
 typedef struct symbol_list
 {
   struct symbol_list *next;
-  bucket *sym;
-  bucket *ruleprec;
-}
-symbol_list;
+  symbol_t *sym;
+  int line;
+
+  /* The action is attached to the LHS of a rule. */
+  const char *action;
+  int action_line;
+
+  symbol_t *ruleprec;
+} symbol_list;
 
 int lineno;
 
 int lineno;
-char **tags;
-short *user_toknums;
-static symbol_list *grammar;
-static int start_flag;
-static bucket *startval;
+static symbol_list *grammar = NULL;
+static int start_flag = 0;
+static symbol_t *startval = NULL;
 
 /* Nonzero if components of semantic values are used, implying
    they must be unions.  */
 static int value_components_used;
 
 /* Nonzero if %union has been seen.  */
 
 /* Nonzero if components of semantic values are used, implying
    they must be unions.  */
 static int value_components_used;
 
 /* Nonzero if %union has been seen.  */
-static int typed;
+static int typed = 0;
 
 /* Incremented for each %left, %right or %nonassoc seen */
 
 /* Incremented for each %left, %right or %nonassoc seen */
-static int lastprec;
+static int lastprec = 0;
+
+symbol_t *errtoken = NULL;
+symbol_t *undeftoken = NULL;
+symbol_t *eoftoken = NULL;
+symbol_t *axiom = NULL;
+
+static symbol_list *
+symbol_list_new (symbol_t *sym)
+{
+  symbol_list *res = XMALLOC (symbol_list, 1);
+  res->next = NULL;
+  res->sym = sym;
+  res->line = lineno;
+  res->action = NULL;
+  res->action_line = 0;
+  res->ruleprec = NULL;
+  return res;
+}
+
+/*------------------------.
+| Operations on symbols.  |
+`------------------------*/
+
+
+/*-----------------------------------------------------------.
+| If THIS is not defined, report an error, and consider it a |
+| nonterminal.                                               |
+`-----------------------------------------------------------*/
+
+static bool
+symbol_check_defined (symbol_t *this)
+{
+  if (this->class == unknown_sym)
+    {
+      complain
+       (_("symbol %s is used, but is not defined as a token and has no rules"),
+        this->tag);
+      this->class = nterm_sym;
+      this->number = nvars++;
+    }
+
+  return TRUE;
+}
+
+
+/*-------------------------------------------------------------------.
+| Assign a symbol number, and write the definition of the token name |
+| into FDEFINES.  Put in SYMBOLS.                                    |
+`-------------------------------------------------------------------*/
+
+static bool
+symbol_make_alias (symbol_t *symbol, char *typename)
+{
+  if (symval->alias)
+    warn (_("symbol `%s' used more than once as a literal string"),
+         symval->tag);
+  else if (symbol->alias)
+    warn (_("symbol `%s' given more than one literal string"),
+         symbol->tag);
+  else
+    {
+      symval->class = token_sym;
+      symval->type_name = typename;
+      symval->user_token_number = symbol->user_token_number;
+      symbol->user_token_number = USER_NUMBER_ALIAS;
+      symval->alias = symbol;
+      symbol->alias = symval;
+      /* symbol and symval combined are only one symbol */
+      nsyms--;
+      ntokens--;
+      assert (ntokens == symbol->number || ntokens == symval->number);
+      symbol->number = symval->number =
+       (symval->number < symbol->number) ? symval->number : symbol->number;
+    }
+
+  return TRUE;
+}
+
+/*---------------------------------------------------------.
+| Check that THIS, and its alias, have same precedence and |
+| associativity.                                           |
+`---------------------------------------------------------*/
+
+static bool
+symbol_check_alias_consistence (symbol_t *this)
+{
+  /* Check only those who _are_ the aliases. */
+  if (this->alias && this->user_token_number == USER_NUMBER_ALIAS)
+    {
+      if (this->prec != this->alias->prec)
+       {
+         if (this->prec != 0 && this->alias->prec != 0)
+           complain (_("conflicting precedences for %s and %s"),
+                     this->tag, this->alias->tag);
+         if (this->prec != 0)
+           this->alias->prec = this->prec;
+         else
+           this->prec = this->alias->prec;
+       }
+
+      if (this->assoc != this->alias->assoc)
+       {
+         if (this->assoc != 0 && this->alias->assoc != 0)
+           complain (_("conflicting assoc values for %s and %s"),
+                     this->tag, this->alias->tag);
+         if (this->assoc != 0)
+           this->alias->assoc = this->assoc;
+         else
+           this->assoc = this->alias->assoc;
+       }
+    }
+  return TRUE;
+}
+
+
+/*-------------------------------------------------------------------.
+| Assign a symbol number, and write the definition of the token name |
+| into FDEFINES.  Put in SYMBOLS.                                    |
+`-------------------------------------------------------------------*/
+
+static bool
+symbol_pack (symbol_t *this)
+{
+  if (this->class == nterm_sym)
+    {
+      this->number += ntokens;
+    }
+  else if (this->alias)
+    {
+      /* This symbol and its alias are a single token defn.
+        Allocate a tokno, and assign to both check agreement of
+        prec and assoc fields and make both the same */
+      if (this->number == NUMBER_UNDEFINED)
+       {
+         if (this == eoftoken || this->alias == eoftoken)
+           this->number = this->alias->number = 0;
+         else
+           {
+             assert (this->alias->number != NUMBER_UNDEFINED);
+             this->number = this->alias->number;
+           }
+       }
+      /* Do not do processing below for USER_NUMBER_ALIASs.  */
+      if (this->user_token_number == USER_NUMBER_ALIAS)
+       return TRUE;
+    }
+  else /* this->class == token_sym */
+    {
+      assert (this->number != NUMBER_UNDEFINED);
+    }
+
+  symbols[this->number] = this;
+  return TRUE;
+}
+
+
+
+
+/*--------------------------------------------------.
+| Put THIS in TOKEN_TRANSLATIONS if it is a token.  |
+`--------------------------------------------------*/
+
+static bool
+symbol_translation (symbol_t *this)
+{
+  /* Non-terminal? */
+  if (this->class == token_sym
+      && this->user_token_number != USER_NUMBER_ALIAS)
+    {
+      /* A token which translation has already been set? */
+      if (token_translations[this->user_token_number] != undeftoken->number)
+       complain (_("tokens %s and %s both assigned number %d"),
+                 symbols[token_translations[this->user_token_number]]->tag,
+                 this->tag, this->user_token_number);
+
+      token_translations[this->user_token_number] = this->number;
+    }
 
 
-static bucket *errtoken;
-static bucket *undeftoken;
+  return TRUE;
+}
 \f
 
 /*===================\
 \f
 
 /*===================\
@@ -123,7 +299,7 @@ read_signed_integer (FILE *stream)
 `--------------------------------------------------------------*/
 
 static char *
 `--------------------------------------------------------------*/
 
 static char *
-get_type_name (int n, symbol_list * rule)
+get_type_name (int n, symbol_list *rule)
 {
   int i;
   symbol_list *rp;
 {
   int i;
   symbol_list *rp;
@@ -145,12 +321,34 @@ get_type_name (int n, symbol_list * rule)
          complain (_("invalid $ value"));
          return NULL;
        }
          complain (_("invalid $ value"));
          return NULL;
        }
-      i++;
+      ++i;
     }
 
   return rp->sym->type_name;
 }
 \f
     }
 
   return rp->sym->type_name;
 }
 \f
+/*------------------------------------------------------------------.
+| Copy the character C to OOUT, and insert quadigraphs when needed. |
+`------------------------------------------------------------------*/
+
+static inline void
+copy_character (struct obstack *oout, int c)
+{
+  switch (c)
+    {
+    case '[':
+      obstack_sgrow (oout, "@<:@");
+      break;
+
+    case ']':
+      obstack_sgrow (oout, "@:>@");
+      break;
+
+    default:
+      obstack_1grow (oout, c);
+    }
+}
+
 /*------------------------------------------------------------.
 | Dump the string from FIN to OOUT if non null.  MATCH is the |
 | delimiter of the string (either ' or ").                    |
 /*------------------------------------------------------------.
 | Dump the string from FIN to OOUT if non null.  MATCH is the |
 | delimiter of the string (either ' or ").                    |
@@ -178,17 +376,17 @@ copy_string2 (FILE *fin, struct obstack *oout, int match, int store)
          continue;
        }
 
          continue;
        }
 
-      obstack_1grow (oout, c);
+      copy_character (oout, c);
 
       if (c == '\\')
        {
          c = getc (fin);
          if (c == EOF)
            fatal (_("unterminated string at end of file"));
 
       if (c == '\\')
        {
          c = getc (fin);
          if (c == EOF)
            fatal (_("unterminated string at end of file"));
-         obstack_1grow (oout, c);
+         copy_character (oout, c);
 
          if (c == '\n')
 
          if (c == '\n')
-           lineno++;
+           ++lineno;
        }
 
       c = getc (fin);
        }
 
       c = getc (fin);
@@ -219,25 +417,22 @@ copy_identifier (FILE *fin, struct obstack *oout)
   ungetc (c, fin);
 }
 
   ungetc (c, fin);
 }
 
-/*-----------------------------------------------------------------.
-| Dump the wannabee comment from IN to OUT1 and OUT2 (which can be |
-| NULL).  In fact we just saw a `/', which might or might not be a |
-| comment.  In any case, copy what we saw.                         |
-|                                                                  |
-| OUT2 might be NULL.                                              |
-`-----------------------------------------------------------------*/
+
+/*------------------------------------------------------------------.
+| Dump the wannabee comment from IN to OOUT.  In fact we just saw a |
+| `/', which might or might not be a comment.  In any case, copy    |
+| what we saw.                                                      |
+`------------------------------------------------------------------*/
 
 static inline void
 
 static inline void
-copy_comment2 (FILE *fin, struct obstack *oout1, struct obstack *oout2)
+copy_comment (FILE *fin, struct obstack *oout)
 {
   int cplus_comment;
   int ended;
   int c;
 
   /* We read a `/', output it. */
 {
   int cplus_comment;
   int ended;
   int c;
 
   /* We read a `/', output it. */
-  obstack_1grow (oout1, '/');
-  if (oout2)
-    obstack_1grow (oout2, '/');
+  obstack_1grow (oout, '/');
 
   switch ((c = getc (fin)))
     {
 
   switch ((c = getc (fin)))
     {
@@ -252,9 +447,7 @@ copy_comment2 (FILE *fin, struct obstack *oout1, struct obstack *oout2)
       return;
     }
 
       return;
     }
 
-  obstack_1grow (oout1, c);
-  if (oout2)
-    obstack_1grow (oout2, c);
+  obstack_1grow (oout, c);
   c = getc (fin);
 
   ended = 0;
   c = getc (fin);
 
   ended = 0;
@@ -264,26 +457,20 @@ copy_comment2 (FILE *fin, struct obstack *oout1, struct obstack *oout2)
        {
          while (c == '*')
            {
        {
          while (c == '*')
            {
-             obstack_1grow (oout1, c);
-             if (oout2)
-               obstack_1grow (oout2, c);
+             obstack_1grow (oout, c);
              c = getc (fin);
            }
 
          if (c == '/')
            {
              c = getc (fin);
            }
 
          if (c == '/')
            {
-             obstack_1grow (oout1, c);
-             if (oout2)
-               obstack_1grow (oout2, c);
+             obstack_1grow (oout, c);
              ended = 1;
            }
        }
       else if (c == '\n')
        {
              ended = 1;
            }
        }
       else if (c == '\n')
        {
-         lineno++;
-         obstack_1grow (oout1, c);
-         if (oout2)
-           obstack_1grow (oout2, c);
+         ++lineno;
+         obstack_1grow (oout, c);
          if (cplus_comment)
            ended = 1;
          else
          if (cplus_comment)
            ended = 1;
          else
@@ -293,9 +480,7 @@ copy_comment2 (FILE *fin, struct obstack *oout1, struct obstack *oout2)
        fatal (_("unterminated comment"));
       else
        {
        fatal (_("unterminated comment"));
       else
        {
-         obstack_1grow (oout1, c);
-         if (oout2)
-           obstack_1grow (oout2, c);
+         copy_character (oout, c);
          c = getc (fin);
        }
     }
          c = getc (fin);
        }
     }
@@ -303,34 +488,21 @@ copy_comment2 (FILE *fin, struct obstack *oout1, struct obstack *oout2)
 
 
 /*-------------------------------------------------------------------.
 
 
 /*-------------------------------------------------------------------.
-| Dump the comment (actually the current string starting with a `/') |
-| from FIN to OOUT.                                                  |
+| FIN is pointing to a location (i.e., a `@').  Output to OOUT a     |
+| reference to this location. RULE_LENGTH is the number of values in |
+| the current rule so far, which says where to find `$0' with        |
+| respect to the top of the stack.                                   |
 `-------------------------------------------------------------------*/
 
 static inline void
 `-------------------------------------------------------------------*/
 
 static inline void
-copy_comment (FILE *fin, struct obstack *oout)
+copy_at (FILE *fin, struct obstack *oout, int rule_length)
 {
 {
-  copy_comment2 (fin, oout, NULL);
-}
-
-
-/*-----------------------------------------------------------------.
-| FIN is pointing to a location (i.e., a `@').  Output to OOUT a   |
-| reference to this location. STACK_OFFSET is the number of values |
-| in the current rule so far, which says where to find `$0' with   |
-| respect to the top of the stack.                                 |
-`-----------------------------------------------------------------*/
-
-static inline void
-copy_at (FILE *fin, struct obstack *oout, int stack_offset)
-{
-  int c;
+  int c = getc (fin);
+  locations_flag = 1;
 
 
-  c = getc (fin);
   if (c == '$')
     {
   if (c == '$')
     {
-      obstack_sgrow (oout, "yyloc");
-      locations_flag = 1;
+      obstack_sgrow (oout, "]b4_lhs_location[");
     }
   else if (isdigit (c) || c == '-')
     {
     }
   else if (isdigit (c) || c == '-')
     {
@@ -338,9 +510,11 @@ copy_at (FILE *fin, struct obstack *oout, int stack_offset)
 
       ungetc (c, fin);
       n = read_signed_integer (fin);
 
       ungetc (c, fin);
       n = read_signed_integer (fin);
-
-      obstack_fgrow1 (oout, "yylsp[%d]", n - stack_offset);
-      locations_flag = 1;
+      if (n > rule_length)
+       complain (_("invalid value: %s%d"), "@", n);
+      else
+       obstack_fgrow2 (oout, "]b4_rhs_location([%d], [%d])[",
+                       rule_length, n);
     }
   else
     {
     }
   else
     {
@@ -351,19 +525,19 @@ copy_at (FILE *fin, struct obstack *oout, int stack_offset)
 }
 
 
 }
 
 
-/*-------------------------------------------------------------------.
-| FIN is pointing to a wannabee semantic value (i.e., a `$').        |
-|                                                                    |
-| Possible inputs: $[<TYPENAME>]($|integer)                          |
-|                                                                    |
-| Output to OOUT a reference to this semantic value. STACK_OFFSET is |
-| the number of values in the current rule so far, which says where  |
-| to find `$0' with respect to the top of the stack.                 |
-`-------------------------------------------------------------------*/
+/*------------------------------------------------------------------.
+| FIN is pointing to a wannabee semantic value (i.e., a `$').       |
+|                                                                   |
+| Possible inputs: $[<TYPENAME>]($|integer)                         |
+|                                                                   |
+| Output to OOUT a reference to this semantic value. RULE_LENGTH is |
+| the number of values in the current rule so far, which says where |
+| to find `$0' with respect to the top of the stack.                |
+`------------------------------------------------------------------*/
 
 static inline void
 copy_dollar (FILE *fin, struct obstack *oout,
 
 static inline void
 copy_dollar (FILE *fin, struct obstack *oout,
-            symbol_list *rule, int stack_offset)
+            symbol_list *rule, int rule_length)
 {
   int c = getc (fin);
   const char *type_name = NULL;
 {
   int c = getc (fin);
   const char *type_name = NULL;
@@ -379,15 +553,15 @@ copy_dollar (FILE *fin, struct obstack *oout,
 
   if (c == '$')
     {
 
   if (c == '$')
     {
-      obstack_sgrow (oout, "yyval");
-
       if (!type_name)
        type_name = get_type_name (0, rule);
       if (!type_name)
        type_name = get_type_name (0, rule);
-      if (type_name)
-       obstack_fgrow1 (oout, ".%s", type_name);
       if (!type_name && typed)
        complain (_("$$ of `%s' has no declared type"),
                  rule->sym->tag);
       if (!type_name && typed)
        complain (_("$$ of `%s' has no declared type"),
                  rule->sym->tag);
+      if (!type_name)
+       type_name = "";
+      obstack_fgrow1 (oout,
+                     "]b4_lhs_value([%s])[", type_name);
     }
   else if (isdigit (c) || c == '-')
     {
     }
   else if (isdigit (c) || c == '-')
     {
@@ -395,16 +569,20 @@ copy_dollar (FILE *fin, struct obstack *oout,
       ungetc (c, fin);
       n = read_signed_integer (fin);
 
       ungetc (c, fin);
       n = read_signed_integer (fin);
 
-      if (!type_name && n > 0)
-       type_name = get_type_name (n, rule);
-
-      obstack_fgrow1 (oout, "yyvsp[%d]", n - stack_offset);
-
-      if (type_name)
-       obstack_fgrow1 (oout, ".%s", type_name);
-      if (!type_name && typed)
-       complain (_("$%d of `%s' has no declared type"),
-                 n, rule->sym->tag);
+      if (n > rule_length)
+       complain (_("invalid value: %s%d"), "$", n);
+      else
+       {
+         if (!type_name && n > 0)
+           type_name = get_type_name (n, rule);
+         if (!type_name && typed)
+           complain (_("$%d of `%s' has no declared type"),
+                     n, rule->sym->tag);
+         if (!type_name)
+           type_name = "";
+         obstack_fgrow3 (oout, "]b4_rhs_value([%d], [%d], [%s])[",
+                         rule_length, n, type_name);
+       }
     }
   else
     {
     }
   else
     {
@@ -420,17 +598,18 @@ copy_dollar (FILE *fin, struct obstack *oout,
 `-------------------------------------------------------------------*/
 
 static void
 `-------------------------------------------------------------------*/
 
 static void
-copy_definition (void)
+copy_definition (struct obstack *oout)
 {
   int c;
   /* -1 while reading a character if prev char was %. */
   int after_percent;
 
 {
   int c;
   /* -1 while reading a character if prev char was %. */
   int after_percent;
 
-#if 0
   if (!no_lines_flag)
   if (!no_lines_flag)
-    obstack_fgrow2 (&attrs_obstack, "#line %d %s\n",
-                   lineno, quotearg_style (c_quoting_style, infile));
-#endif
+    {
+      obstack_fgrow2 (oout, muscle_find ("linef"),
+                     lineno, quotearg_style (c_quoting_style,
+                                             muscle_find ("filename")));
+    }
 
   after_percent = 0;
 
 
   after_percent = 0;
 
@@ -441,8 +620,8 @@ copy_definition (void)
       switch (c)
        {
        case '\n':
       switch (c)
        {
        case '\n':
-         obstack_1grow (&attrs_obstack, c);
-         lineno++;
+         obstack_1grow (oout, c);
+         ++lineno;
          break;
 
        case '%':
          break;
 
        case '%':
@@ -451,18 +630,18 @@ copy_definition (void)
 
        case '\'':
        case '"':
 
        case '\'':
        case '"':
-         copy_string (finput, &attrs_obstack, c);
+         copy_string (finput, oout, c);
          break;
 
        case '/':
          break;
 
        case '/':
-         copy_comment (finput, &attrs_obstack);
+         copy_comment (finput, oout);
          break;
 
        case EOF:
          fatal ("%s", _("unterminated `%{' definition"));
 
        default:
          break;
 
        case EOF:
          fatal ("%s", _("unterminated `%{' definition"));
 
        default:
-         obstack_1grow (&attrs_obstack, c);
+         copy_character (oout, c);
        }
 
       c = getc (finput);
        }
 
       c = getc (finput);
@@ -471,7 +650,7 @@ copy_definition (void)
        {
          if (c == '}')
            return;
        {
          if (c == '}')
            return;
-         obstack_1grow (&attrs_obstack, '%');
+         obstack_1grow (oout, '%');
        }
       after_percent = 0;
     }
        }
       after_percent = 0;
     }
@@ -487,11 +666,11 @@ copy_definition (void)
 static void
 parse_token_decl (symbol_class what_is, symbol_class what_is_not)
 {
 static void
 parse_token_decl (symbol_class what_is, symbol_class what_is_not)
 {
-  token_t token = 0;
-  char *typename = 0;
+  token_t token = tok_undef;
+  char *typename = NULL;
 
   /* The symbol being defined.  */
 
   /* The symbol being defined.  */
-  struct bucket *symbol = NULL;
+  symbol_t *symbol = NULL;
 
   /* After `%token' and `%nterm', any number of symbols maybe be
      defined.  */
 
   /* After `%token' and `%nterm', any number of symbols maybe be
      defined.  */
@@ -520,24 +699,7 @@ parse_token_decl (symbol_class what_is, symbol_class what_is_not)
        }
       else if (token == tok_identifier && *symval->tag == '\"' && symbol)
        {
        }
       else if (token == tok_identifier && *symval->tag == '\"' && symbol)
        {
-         if (symval->alias)
-           warn (_("symbol `%s' used more than once as a literal string"),
-                 symval->tag);
-         else if (symbol->alias)
-           warn (_("symbol `%s' given more than one literal string"),
-                 symbol->tag);
-         else
-           {
-             symval->class = token_sym;
-             symval->type_name = typename;
-             symval->user_token_number = symbol->user_token_number;
-             symbol->user_token_number = SALIAS;
-             symval->alias = symbol;
-             symbol->alias = symval;
-             /* symbol and symval combined are only one symbol */
-             nsyms--;
-           }
-         translations = 1;
+         symbol_make_alias (symbol, typename);
          symbol = NULL;
        }
       else if (token == tok_identifier)
          symbol = NULL;
        }
       else if (token == tok_identifier)
@@ -549,7 +711,9 @@ parse_token_decl (symbol_class what_is, symbol_class what_is_not)
            complain (_("symbol %s redefined"), symbol->tag);
          symbol->class = what_is;
          if (what_is == nterm_sym && oldclass != nterm_sym)
            complain (_("symbol %s redefined"), symbol->tag);
          symbol->class = what_is;
          if (what_is == nterm_sym && oldclass != nterm_sym)
-           symbol->value = nvars++;
+           symbol->number = nvars++;
+         if (what_is == token_sym && symbol->number == NUMBER_UNDEFINED)
+           symbol->number = ntokens++;
 
          if (typename)
            {
 
          if (typename)
            {
@@ -562,12 +726,21 @@ parse_token_decl (symbol_class what_is, symbol_class what_is_not)
       else if (symbol && token == tok_number)
        {
          symbol->user_token_number = numval;
       else if (symbol && token == tok_number)
        {
          symbol->user_token_number = numval;
-         translations = 1;
+         /* User defined EOF token? */
+         if (numval == 0)
+           {
+             eoftoken = symbol;
+             eoftoken->number = 0;
+             /* It is always mapped to 0, so it was already counted in
+                NTOKENS.  */
+             --ntokens;
+           }
        }
       else
        {
          complain (_("`%s' is invalid in %s"),
        }
       else
        {
          complain (_("`%s' is invalid in %s"),
-                   token_buffer, (what_is == token_sym) ? "%token" : "%nterm");
+                   token_buffer,
+                   (what_is == token_sym) ? "%token" : "%nterm");
          skip_to_char ('%');
        }
     }
          skip_to_char ('%');
        }
     }
@@ -660,7 +833,8 @@ parse_assoc_decl (associativity assoc)
   char *name = NULL;
   int prev = 0;
 
   char *name = NULL;
   int prev = 0;
 
-  lastprec++;                  /* Assign a new precedence level, never 0.  */
+  /* Assign a new precedence level, never 0.  */
+  ++lastprec;
 
   for (;;)
     {
 
   for (;;)
     {
@@ -690,7 +864,11 @@ parse_assoc_decl (associativity assoc)
          symval->assoc = assoc;
          if (symval->class == nterm_sym)
            complain (_("symbol %s redefined"), symval->tag);
          symval->assoc = assoc;
          if (symval->class == nterm_sym)
            complain (_("symbol %s redefined"), symval->tag);
-         symval->class = token_sym;
+         if (symval->number == NUMBER_UNDEFINED)
+           {
+             symval->number = ntokens++;
+             symval->class = token_sym;
+           }
          if (name)
            {                   /* record the type, if one is specified */
              if (symval->type_name == NULL)
          if (name)
            {                   /* record the type, if one is specified */
              if (symval->type_name == NULL)
@@ -704,13 +882,12 @@ parse_assoc_decl (associativity assoc)
          if (prev == tok_identifier)
            {
              symval->user_token_number = numval;
          if (prev == tok_identifier)
            {
              symval->user_token_number = numval;
-             translations = 1;
            }
          else
            {
            }
          else
            {
-             complain (_
-                       ("invalid text (%s) - number should be after identifier"),
-token_buffer);
+             complain
+               (_("invalid text (%s) - number should be after identifier"),
+                token_buffer);
              skip_to_char ('%');
            }
          break;
              skip_to_char ('%');
            }
          break;
@@ -724,16 +901,15 @@ token_buffer);
        }
 
       prev = t;
        }
 
       prev = t;
-
     }
 }
 
 
 
 /*--------------------------------------------------------------.
     }
 }
 
 
 
 /*--------------------------------------------------------------.
-| Copy the union declaration into ATTRS_OBSTACK (and fdefines), |
-| where it is made into the definition of YYSTYPE, the type of  |
-| elements of the parser value stack.                           |
+| Copy the union declaration into the stype muscle             |
+| (and fdefines),  where it is made into the definition of     |
+| YYSTYPE, the type of elements of the parser value stack.     |
 `--------------------------------------------------------------*/
 
 static void
 `--------------------------------------------------------------*/
 
 static void
@@ -741,63 +917,56 @@ parse_union_decl (void)
 {
   int c;
   int count = 0;
 {
   int c;
   int count = 0;
-
+  bool done = FALSE;
+  struct obstack union_obstack;
   if (typed)
     complain (_("multiple %s declarations"), "%union");
 
   typed = 1;
 
   if (typed)
     complain (_("multiple %s declarations"), "%union");
 
   typed = 1;
 
-  if (!no_lines_flag)
-    obstack_fgrow2 (&attrs_obstack, "\n#line %d %s\n",
-                   lineno, quotearg_style (c_quoting_style, infile));
-  else
-    obstack_1grow (&attrs_obstack, '\n');
-
-  obstack_sgrow (&attrs_obstack, "typedef union");
-  if (defines_flag)
-    obstack_sgrow (&defines_obstack, "typedef union");
+  MUSCLE_INSERT_INT ("stype_line", lineno);
+  obstack_init (&union_obstack);
+  obstack_sgrow (&union_obstack, "union");
 
 
-  c = getc (finput);
-
-  while (c != EOF)
+  while (!done)
     {
     {
-      obstack_1grow (&attrs_obstack, c);
-      if (defines_flag)
-       obstack_1grow (&defines_obstack, c);
+      c = xgetc (finput);
+
+      /* If C contains '/', it is output by copy_comment ().  */
+      if (c != '/')
+       obstack_1grow (&union_obstack, c);
 
       switch (c)
        {
        case '\n':
 
       switch (c)
        {
        case '\n':
-         lineno++;
+         ++lineno;
          break;
 
        case '/':
          break;
 
        case '/':
-         copy_comment2 (finput, &defines_obstack, &attrs_obstack);
+         copy_comment (finput, &union_obstack);
          break;
 
        case '{':
          break;
 
        case '{':
-         count++;
+         ++count;
          break;
 
        case '}':
          break;
 
        case '}':
+         /* FIXME: Errr.  How could this happen???. --akim */
          if (count == 0)
            complain (_("unmatched %s"), "`}'");
          count--;
          if (count == 0)
            complain (_("unmatched %s"), "`}'");
          count--;
-         if (count <= 0)
-           {
-             obstack_sgrow (&attrs_obstack, " YYSTYPE;\n");
-             if (defines_flag)
-               obstack_sgrow (&defines_obstack, " YYSTYPE;\n");
-             /* JF don't choke on trailing semi */
-             c = skip_white_space ();
-             if (c != ';')
-               ungetc (c, finput);
-             return;
-           }
+         if (!count)
+           done = TRUE;
+         break;
        }
        }
-
-      c = getc (finput);
     }
     }
+
+  /* JF don't choke on trailing semi */
+  c = skip_white_space ();
+  if (c != ';')
+    ungetc (c, finput);
+  obstack_1grow (&union_obstack, 0);
+  muscle_insert ("stype", obstack_finish (&union_obstack));
 }
 
 
 }
 
 
@@ -829,10 +998,10 @@ parse_expect_decl (void)
 |                                                                    |
 | Two symbols are entered in the table, one for the token symbol and |
 | one for the literal.  Both are given the <type>, if any, from the  |
 |                                                                    |
 | Two symbols are entered in the table, one for the token symbol and |
 | one for the literal.  Both are given the <type>, if any, from the  |
-| declaration.  The ->user_token_number of the first is SALIAS and   |
-| the ->user_token_number of the second is set to the number, if     |
-| any, from the declaration.  The two symbols are linked via         |
-| pointers in their ->alias fields.                                  |
+| declaration.  The ->user_token_number of the first is              |
+| USER_NUMBER_ALIAS and the ->user_token_number of the second is set |
+| to the number, if any, from the declaration.  The two symbols are  |
+| linked via pointers in their ->alias fields.                       |
 |                                                                    |
 | During OUTPUT_DEFINES_TABLE, the symbol is reported thereafter,    |
 | only the literal string is retained it is the literal string that  |
 |                                                                    |
 | During OUTPUT_DEFINES_TABLE, the symbol is reported thereafter,    |
 | only the literal string is retained it is the literal string that  |
@@ -843,11 +1012,10 @@ static void
 parse_thong_decl (void)
 {
   token_t token;
 parse_thong_decl (void)
 {
   token_t token;
-  struct bucket *symbol;
+  symbol_t *symbol;
   char *typename = 0;
   char *typename = 0;
-  int usrtoknum;
+  int usrtoknum = USER_NUMBER_UNDEFINED;
 
 
-  translations = 1;
   token = lex ();              /* fetch typename or first token */
   if (token == tok_typename)
     {
   token = lex ();              /* fetch typename or first token */
   if (token == tok_typename)
     {
@@ -867,7 +1035,7 @@ parse_thong_decl (void)
     }
   symval->class = token_sym;
   symval->type_name = typename;
     }
   symval->class = token_sym;
   symval->type_name = typename;
-  symval->user_token_number = SALIAS;
+  symval->user_token_number = USER_NUMBER_ALIAS;
   symbol = symval;
 
   token = lex ();              /* get number or literal string */
   symbol = symval;
 
   token = lex ();              /* get number or literal string */
@@ -877,8 +1045,6 @@ parse_thong_decl (void)
       usrtoknum = numval;
       token = lex ();          /* okay, did number, now get literal */
     }
       usrtoknum = numval;
       token = lex ();          /* okay, did number, now get literal */
     }
-  else
-    usrtoknum = 0;
 
   /* process literal string token */
 
 
   /* process literal string token */
 
@@ -899,17 +1065,13 @@ parse_thong_decl (void)
   nsyms--;
 }
 
   nsyms--;
 }
 
-/* FIXME. */
 
 static void
 
 static void
-parse_macro_decl (void)
+parse_muscle_decl (void)
 {
   int ch = ungetc (skip_white_space (), finput);
 {
   int ch = ungetc (skip_white_space (), finput);
-  char* macro_key;
-  char* macro_value;
-  struct obstack macro_obstack;
-
-  obstack_init (&macro_obstack);
+  char *muscle_key;
+  char *muscle_value;
 
   /* Read key. */
   if (!isalpha (ch) && ch != '_')
 
   /* Read key. */
   if (!isalpha (ch) && ch != '_')
@@ -918,9 +1080,10 @@ parse_macro_decl (void)
       skip_to_char ('%');
       return;
     }
       skip_to_char ('%');
       return;
     }
-  copy_identifier (finput, &macro_obstack);
-  macro_key = obstack_finish (&macro_obstack);
-  
+  copy_identifier (finput, &muscle_obstack);
+  obstack_1grow (&muscle_obstack, 0);
+  muscle_key = obstack_finish (&muscle_obstack);
+
   /* Read value. */
   ch = skip_white_space ();
   if (ch != '"')
   /* Read value. */
   ch = skip_white_space ();
   if (ch != '"')
@@ -935,64 +1098,82 @@ parse_macro_decl (void)
       else
        fatal (_("Premature EOF after %s"), "\"");
     }
       else
        fatal (_("Premature EOF after %s"), "\"");
     }
-  copy_string (finput, &macro_obstack, '"');
-  macro_value = obstack_finish (&macro_obstack);
-
-  obstack_free (&macro_obstack, 0);
+  copy_string2 (finput, &muscle_obstack, '"', 0);
+  obstack_1grow (&muscle_obstack, 0);
+  muscle_value = obstack_finish (&muscle_obstack);
 
   /* Store the (key, value) pair in the environment. */
 
   /* Store the (key, value) pair in the environment. */
-  macro_insert (macro_key, macro_value);
+  muscle_insert (muscle_key, muscle_value);
 }
 
 }
 
-/*------------------------------------------.
-| Parse what comes after %header_extension. |
-`------------------------------------------*/
 
 
-static void
-parse_header_extension_decl (void)
+
+/*---------------------------------.
+| Parse a double quoted parameter. |
+`---------------------------------*/
+
+static const char *
+parse_dquoted_param (const char *from)
 {
 {
-  char buff[32];
+  struct obstack param_obstack;
+  const char *param = NULL;
+  int c;
+
+  obstack_init (&param_obstack);
+  c = skip_white_space ();
+
+  if (c != '"')
+    {
+      complain (_("invalid %s declaration"), from);
+      ungetc (c, finput);
+      skip_to_char ('%');
+      return NULL;
+    }
+
+  while ((c = literalchar ()) != '"')
+    obstack_1grow (&param_obstack, c);
+
+  obstack_1grow (&param_obstack, '\0');
+  param = obstack_finish (&param_obstack);
 
 
-  if (header_extension)
-    complain (_("multiple %%header_extension declarations"));
-  fscanf (finput, "%s", buff);
-  header_extension = xstrdup (buff);
+  if (c != '"' || strlen (param) == 0)
+    {
+      complain (_("invalid %s declaration"), from);
+      if (c != '"')
+       ungetc (c, finput);
+      skip_to_char ('%');
+      return NULL;
+    }
+
+  return param;
 }
 
 }
 
-/*------------------------------------------.
-| Parse what comes after %source_extension. |
-`------------------------------------------*/
+/*----------------------------------.
+| Parse what comes after %skeleton. |
+`----------------------------------*/
 
 static void
 
 static void
-parse_source_extension_decl (void)
+parse_skel_decl (void)
 {
 {
-  char buff[32];
-
-  if (src_extension)
-    complain (_("multiple %%source_extension declarations"));
-  fscanf (finput, "%s", buff);
-  src_extension = xstrdup (buff);
+  skeleton = parse_dquoted_param ("%skeleton");
 }
 
 /*----------------------------------------------------------------.
 | Read from finput until `%%' is seen.  Discard the `%%'.  Handle |
 | any `%' declarations, and copy the contents of any `%{ ... %}'  |
 }
 
 /*----------------------------------------------------------------.
 | Read from finput until `%%' is seen.  Discard the `%%'.  Handle |
 | any `%' declarations, and copy the contents of any `%{ ... %}'  |
-| groups to ATTRS_OBSTACK.                                        |
+| groups to PRE_PROLOGUE_OBSTACK or POST_PROLOGUE_OBSTACK.        |
 `----------------------------------------------------------------*/
 
 static void
 read_declarations (void)
 {
 `----------------------------------------------------------------*/
 
 static void
 read_declarations (void)
 {
-  int c;
-  int tok;
-
   for (;;)
     {
   for (;;)
     {
-      c = skip_white_space ();
+      int c = skip_white_space ();
 
       if (c == '%')
        {
 
       if (c == '%')
        {
-         tok = parse_percent_token ();
+         token_t tok = parse_percent_token ();
 
          switch (tok)
            {
 
          switch (tok)
            {
@@ -1000,7 +1181,10 @@ read_declarations (void)
              return;
 
            case tok_percent_left_curly:
              return;
 
            case tok_percent_left_curly:
-             copy_definition ();
+              if (!typed)
+               copy_definition (&pre_prologue_obstack);
+             else
+               copy_definition (&post_prologue_obstack);
              break;
 
            case tok_token:
              break;
 
            case tok_token:
@@ -1043,21 +1227,24 @@ read_declarations (void)
              parse_assoc_decl (non_assoc);
              break;
 
              parse_assoc_decl (non_assoc);
              break;
 
-           case tok_hdrext:
-             parse_header_extension_decl ();
+           case tok_define:
+             parse_muscle_decl ();
              break;
 
              break;
 
-           case tok_srcext:
-             parse_source_extension_decl ();
+           case tok_skel:
+             parse_skel_decl ();
              break;
 
              break;
 
-           case tok_define:
-             parse_macro_decl ();
+           case tok_noop:
              break;
 
              break;
 
-           case tok_noop:
+           case tok_stropt:
+           case tok_intopt:
+           case tok_obsolete:
+             assert (0);
              break;
 
              break;
 
+           case tok_illegal:
            default:
              complain (_("unrecognized: %s"), token_buffer);
              skip_to_char ('%');
            default:
              complain (_("unrecognized: %s"), token_buffer);
              skip_to_char ('%');
@@ -1075,819 +1262,475 @@ read_declarations (void)
     }
 }
 \f
     }
 }
 \f
-/*-------------------------------------------------------------------.
-| Assuming that a `{' has just been seen, copy everything up to the  |
-| matching `}' into the actions file.  STACK_OFFSET is the number of |
-| values in the current rule so far, which says where to find `$0'   |
-| with respect to the top of the stack.                              |
-`-------------------------------------------------------------------*/
+/*------------------------------------------------------------------.
+| Assuming that a `{' has just been seen, copy everything up to the |
+| matching `}' into ACTION_OBSTACK.                                 |
+|                                                                   |
+| RULE_LENGTH is the number of values in the current rule so far,   |
+| which says where to find `$0' with respect to the top of the      |
+| stack.  It is not the same as the rule->length in the case of mid |
+| rule actions.                                                     |
+|                                                                   |
+| This routine is used for actions.                                 |
+`------------------------------------------------------------------*/
 
 static void
 
 static void
-copy_action (symbol_list *rule, int stack_offset)
+parse_action (symbol_list *rule, int rule_length)
 {
 {
-  int c;
-  int count;
-  char buf[4096];
-
-  /* offset is always 0 if parser has already popped the stack pointer */
-  if (semantic_parser)
-    stack_offset = 0;
-
-  sprintf (buf, "\ncase %d:\n", nrules);
-  obstack_grow (&action_obstack, buf, strlen (buf));
-
-  if (!no_lines_flag)
-    {
-      sprintf (buf, "#line %d %s\n",
-              lineno, quotearg_style (c_quoting_style, infile));
-      obstack_grow (&action_obstack, buf, strlen (buf));
-    }
-  obstack_1grow (&action_obstack, '{');
-
-  count = 1;
-  c = getc (finput);
-
+  int count = 1;
+  rule->action_line = lineno;
   while (count > 0)
     {
   while (count > 0)
     {
-      while (c != '}')
-       {
-         switch (c)
-           {
-           case '\n':
-             obstack_1grow (&action_obstack, c);
-             lineno++;
-             break;
-
-           case '{':
-             obstack_1grow (&action_obstack, c);
-             count++;
-             break;
-
-           case '\'':
-           case '"':
-             copy_string (finput, &action_obstack, c);
-             break;
-
-           case '/':
-             copy_comment (finput, &action_obstack);
-             break;
-
-           case '$':
-             copy_dollar (finput, &action_obstack,
-                          rule, stack_offset);
-             break;
-
-           case '@':
-             copy_at (finput, &action_obstack,
-                      stack_offset);
-             break;
-
-           case EOF:
-             fatal (_("unmatched %s"), "`{'");
-
-           default:
-             obstack_1grow (&action_obstack, c);
-           }
-
-         c = getc (finput);
-       }
-
-      /* above loop exits when c is '}' */
+      int c;
+      while ((c = getc (finput)) != '}')
+       switch (c)
+         {
+         case '\n':
+           obstack_1grow (&action_obstack, c);
+           ++lineno;
+           break;
+
+         case '{':
+           obstack_1grow (&action_obstack, c);
+           ++count;
+           break;
+
+         case '\'':
+         case '"':
+           copy_string (finput, &action_obstack, c);
+           break;
+
+         case '/':
+           copy_comment (finput, &action_obstack);
+           break;
+
+         case '$':
+           copy_dollar (finput, &action_obstack, rule, rule_length);
+           break;
+
+         case '@':
+           copy_at (finput, &action_obstack, rule_length);
+           break;
+
+         case EOF:
+           fatal (_("unmatched %s"), "`{'");
+
+         default:
+           obstack_1grow (&action_obstack, c);
+         }
 
 
+      /* Above loop exits when C is '}'.  */
       if (--count)
       if (--count)
-       {
-         obstack_1grow (&action_obstack, c);
-         c = getc (finput);
-       }
+       obstack_1grow (&action_obstack, c);
     }
 
     }
 
-  obstack_sgrow (&action_obstack, ";\n    break;}");
+  obstack_1grow (&action_obstack, '\0');
+  rule->action = obstack_finish (&action_obstack);
 }
 }
-\f
-/*-------------------------------------------------------------------.
-| After `%guard' is seen in the input file, copy the actual guard    |
-| into the guards file.  If the guard is followed by an action, copy |
-| that into the actions file.  STACK_OFFSET is the number of values  |
-| in the current rule so far, which says where to find `$0' with     |
-| respect to the top of the stack, for the simple parser in which    |
-| the stack is not popped until after the guard is run.              |
-`-------------------------------------------------------------------*/
-
-static void
-copy_guard (symbol_list *rule, int stack_offset)
-{
-  int c;
-  int count;
-  int brace_flag = 0;
-
-  /* offset is always 0 if parser has already popped the stack pointer */
-  if (semantic_parser)
-    stack_offset = 0;
-
-  obstack_fgrow1 (&guard_obstack, "\ncase %d:\n", nrules);
-  if (!no_lines_flag)
-    obstack_fgrow2 (&guard_obstack, "#line %d %s\n",
-                   lineno, quotearg_style (c_quoting_style, infile));
-  obstack_1grow (&guard_obstack, '{');
-
-  count = 0;
-  c = getc (finput);
-
-  while (brace_flag ? (count > 0) : (c != ';'))
-    {
-      switch (c)
-       {
-       case '\n':
-         obstack_1grow (&guard_obstack, c);
-         lineno++;
-         break;
-
-       case '{':
-         obstack_1grow (&guard_obstack, c);
-         brace_flag = 1;
-         count++;
-         break;
-
-       case '}':
-         obstack_1grow (&guard_obstack, c);
-         if (count > 0)
-           count--;
-         else
-           {
-             complain (_("unmatched %s"), "`}'");
-             c = getc (finput);        /* skip it */
-           }
-         break;
 
 
-       case '\'':
-       case '"':
-         copy_string (finput, &guard_obstack, c);
-         break;
-
-       case '/':
-         copy_comment (finput, &guard_obstack);
-         break;
-
-       case '$':
-         copy_dollar (finput, &guard_obstack, rule, stack_offset);
-         break;
-
-       case '@':
-         copy_at (finput, &guard_obstack, stack_offset);
-         break;
-
-       case EOF:
-         fatal ("%s", _("unterminated %guard clause"));
-
-       default:
-         obstack_1grow (&guard_obstack, c);
-       }
-
-      if (c != '}' || count != 0)
-       c = getc (finput);
-    }
-
-  c = skip_white_space ();
-
-  obstack_sgrow (&guard_obstack, ";\n    break;}");
-  if (c == '{')
-    copy_action (rule, stack_offset);
-  else if (c == '=')
-    {
-      c = getc (finput);       /* why not skip_white_space -wjh */
-      if (c == '{')
-       copy_action (rule, stack_offset);
-    }
-  else
-    ungetc (c, finput);
-}
 \f
 
 \f
 
-static void
-record_rule_line (void)
-{
-  /* Record each rule's source line number in rline table.  */
-
-  if (nrules >= rline_allocated)
-    {
-      rline_allocated = nrules * 2;
-      rline = XREALLOC (rline, short, rline_allocated);
-    }
-  rline[nrules] = lineno;
-}
-
-
 /*-------------------------------------------------------------------.
 | Generate a dummy symbol, a nonterminal, whose name cannot conflict |
 | with the user's names.                                             |
 `-------------------------------------------------------------------*/
 
 /*-------------------------------------------------------------------.
 | Generate a dummy symbol, a nonterminal, whose name cannot conflict |
 | with the user's names.                                             |
 `-------------------------------------------------------------------*/
 
-static bucket *
+static symbol_t *
 gensym (void)
 {
   /* Incremented for each generated symbol */
   static int gensym_count = 0;
   static char buf[256];
 
 gensym (void)
 {
   /* Incremented for each generated symbol */
   static int gensym_count = 0;
   static char buf[256];
 
-  bucket *sym;
+  symbol_t *sym;
 
   sprintf (buf, "@%d", ++gensym_count);
   token_buffer = buf;
   sym = getsym (token_buffer);
   sym->class = nterm_sym;
 
   sprintf (buf, "@%d", ++gensym_count);
   token_buffer = buf;
   sym = getsym (token_buffer);
   sym->class = nterm_sym;
-  sym->value = nvars++;
+  sym->number = nvars++;
   return sym;
 }
   return sym;
 }
-
-#if 0
-/*------------------------------------------------------------------.
-| read in a %type declaration and record its information for        |
-| get_type_name to access.  This is unused.  It is only called from |
-| the #if 0 part of readgram                                        |
-`------------------------------------------------------------------*/
-
-static int
-get_type (void)
-{
-  int k;
-  token_t token;
-  char *name;
-
-  token = lex ();
-
-  if (token != tok_typename)
-    {
-      complain (_("invalid %s declaration"), "%type");
-      return t;
-    }
-
-  name = xstrdup (token_buffer);
-
-  for (;;)
-    {
-      token = lex ();
-
-      switch (token)
-       {
-       case tok_semicolon:
-         return lex ();
-
-       case tok_comma:
-         break;
-
-       case tok_identifier:
-         if (symval->type_name == NULL)
-           symval->type_name = name;
-         else if (strcmp (name, symval->type_name) != 0)
-           complain (_("type redeclaration for %s"), symval->tag);
-
-         break;
-
-       default:
-         return token;
-       }
-    }
-}
-
-#endif
 \f
 \f
-/*------------------------------------------------------------------.
-| Parse the input grammar into a one symbol_list structure.  Each   |
-| rule is represented by a sequence of symbols: the left hand side  |
-| followed by the contents of the right hand side, followed by a    |
-| null pointer instead of a symbol to terminate the rule.  The next |
-| symbol is the lhs of the following rule.                          |
-|                                                                   |
-| All guards and actions are copied out to the appropriate files,   |
-| labelled by the rule number they apply to.                        |
-`------------------------------------------------------------------*/
+/*-------------------------------------------------------------------.
+| Parse the input grammar into a one symbol_list structure.  Each    |
+| rule is represented by a sequence of symbols: the left hand side   |
+| followed by the contents of the right hand side, followed by a     |
+| null pointer instead of a symbol to terminate the rule.  The next  |
+| symbol is the lhs of the following rule.                           |
+|                                                                    |
+| All actions are copied out, labelled by the rule number they apply |
+| to.                                                                |
+|                                                                    |
+| Bison used to allow some %directives in the rules sections, but    |
+| this is no longer consider appropriate: (i) the documented grammar |
+| doesn't claim it, (ii), it would promote bad style, (iii), error   |
+| recovery for %directives consists in skipping the junk until a `%' |
+| is seen and helrp synchronizing.  This scheme is definitely wrong  |
+| in the rules section.                                              |
+`-------------------------------------------------------------------*/
 
 static void
 readgram (void)
 {
   token_t t;
 
 static void
 readgram (void)
 {
   token_t t;
-  bucket *lhs = NULL;
-  symbol_list *p;
-  symbol_list *p1;
-  bucket *bp;
+  symbol_t *lhs = NULL;
+  symbol_list *p = NULL;
+  symbol_list *p1 = NULL;
 
   /* Points to first symbol_list of current rule. its symbol is the
      lhs of the rule.  */
 
   /* Points to first symbol_list of current rule. its symbol is the
      lhs of the rule.  */
-  symbol_list *crule;
+  symbol_list *crule = NULL;
   /* Points to the symbol_list preceding crule.  */
   /* Points to the symbol_list preceding crule.  */
-  symbol_list *crule1;
-
-  p1 = NULL;
+  symbol_list *crule1 = NULL;
 
   t = lex ();
 
   while (t != tok_two_percents && t != tok_eof)
 
   t = lex ();
 
   while (t != tok_two_percents && t != tok_eof)
-    {
-      if (t == tok_identifier || t == tok_bar)
-       {
-         int action_flag = 0;
-         /* Number of symbols in rhs of this rule so far */
-         int rulelength = 0;
-         int xactions = 0;     /* JF for error checking */
-         bucket *first_rhs = 0;
-
-         if (t == tok_identifier)
-           {
-             lhs = symval;
-
-             if (!start_flag)
-               {
-                 startval = lhs;
-                 start_flag = 1;
-               }
-
-             t = lex ();
-             if (t != tok_colon)
-               {
-                 complain (_("ill-formed rule: initial symbol not followed by colon"));
-                 unlex (t);
-               }
-           }
+    if (t == tok_identifier || t == tok_bar)
+      {
+       int action_flag = 0;
+       /* Number of symbols in rhs of this rule so far */
+       int rulelength = 0;
+       int xactions = 0;       /* JF for error checking */
+       symbol_t *first_rhs = 0;
 
 
-         if (nrules == 0 && t == tok_bar)
-           {
-             complain (_("grammar starts with vertical bar"));
-             lhs = symval;     /* BOGUS: use a random symval */
-           }
-         /* start a new rule and record its lhs.  */
+       if (t == tok_identifier)
+         {
+           lhs = symval;
 
 
-         nrules++;
-         nitems++;
+           if (!start_flag)
+             {
+               startval = lhs;
+               start_flag = 1;
+             }
 
 
-         record_rule_line ();
+           t = lex ();
+           if (t != tok_colon)
+             {
+               complain (_("ill-formed rule: initial symbol not followed by colon"));
+               unlex (t);
+             }
+         }
 
 
-         p = XCALLOC (symbol_list, 1);
-         p->sym = lhs;
+       if (nrules == 0 && t == tok_bar)
+         {
+           complain (_("grammar starts with vertical bar"));
+           lhs = symval;       /* BOGUS: use a random symval */
+         }
+       /* start a new rule and record its lhs.  */
 
 
-         crule1 = p1;
-         if (p1)
-           p1->next = p;
-         else
-           grammar = p;
+       ++nrules;
+       ++nritems;
 
 
-         p1 = p;
-         crule = p;
+       p = symbol_list_new (lhs);
 
 
-         /* mark the rule's lhs as a nonterminal if not already so.  */
+       crule1 = p1;
+       if (p1)
+         p1->next = p;
+       else
+         grammar = p;
 
 
-         if (lhs->class == unknown_sym)
-           {
-             lhs->class = nterm_sym;
-             lhs->value = nvars;
-             nvars++;
-           }
-         else if (lhs->class == token_sym)
-           complain (_("rule given for %s, which is a token"), lhs->tag);
+       p1 = p;
+       crule = p;
 
 
-         /* read the rhs of the rule.  */
+       /* mark the rule's lhs as a nonterminal if not already so.  */
 
 
-         for (;;)
-           {
-             t = lex ();
-             if (t == tok_prec)
-               {
-                 t = lex ();
-                 crule->ruleprec = symval;
-                 t = lex ();
-               }
-
-             if (!(t == tok_identifier || t == tok_left_curly))
-               break;
-
-             /* If next token is an identifier, see if a colon follows it.
-                If one does, exit this rule now.  */
-             if (t == tok_identifier)
-               {
-                 bucket *ssave;
-                 token_t t1;
-
-                 ssave = symval;
-                 t1 = lex ();
-                 unlex (t1);
-                 symval = ssave;
-                 if (t1 == tok_colon)
-                   break;
+       if (lhs->class == unknown_sym)
+         {
+           lhs->class = nterm_sym;
+           lhs->number = nvars;
+           ++nvars;
+         }
+       else if (lhs->class == token_sym)
+         complain (_("rule given for %s, which is a token"), lhs->tag);
 
 
-                 if (!first_rhs)       /* JF */
-                   first_rhs = symval;
-                 /* Not followed by colon =>
-                    process as part of this rule's rhs.  */
-               }
-
-             /* If we just passed an action, that action was in the middle
-                of a rule, so make a dummy rule to reduce it to a
-                non-terminal.  */
-             if (action_flag)
-               {
-                 bucket *sdummy;
-
-                 /* Since the action was written out with this rule's
-                    number, we must give the new rule this number by
-                    inserting the new rule before it.  */
-
-                 /* Make a dummy nonterminal, a gensym.  */
-                 sdummy = gensym ();
-
-                 /* Make a new rule, whose body is empty,
-                    before the current one, so that the action
-                    just read can belong to it.  */
-                 nrules++;
-                 nitems++;
-                 record_rule_line ();
-                 p = XCALLOC (symbol_list, 1);
-                 if (crule1)
-                   crule1->next = p;
-                 else
-                   grammar = p;
-                 p->sym = sdummy;
-                 crule1 = XCALLOC (symbol_list, 1);
-                 p->next = crule1;
-                 crule1->next = crule;
-
-                 /* Insert the dummy generated by that rule into this
-                    rule.  */
-                 nitems++;
-                 p = XCALLOC (symbol_list, 1);
-                 p->sym = sdummy;
-                 p1->next = p;
-                 p1 = p;
-
-                 action_flag = 0;
-               }
-
-             if (t == tok_identifier)
-               {
-                 nitems++;
-                 p = XCALLOC (symbol_list, 1);
-                 p->sym = symval;
-                 p1->next = p;
-                 p1 = p;
-               }
-             else              /* handle an action.  */
-               {
-                 copy_action (crule, rulelength);
-                 action_flag = 1;
-                 xactions++;   /* JF */
-               }
-             rulelength++;
-           }                   /* end of  read rhs of rule */
-
-         /* Put an empty link in the list to mark the end of this rule  */
-         p = XCALLOC (symbol_list, 1);
-         p1->next = p;
-         p1 = p;
+       /* read the rhs of the rule.  */
 
 
-         if (t == tok_prec)
-           {
-             complain (_("two @prec's in a row"));
-             t = lex ();
-             crule->ruleprec = symval;
-             t = lex ();
-           }
-         if (t == tok_guard)
-           {
-             if (!semantic_parser)
-               complain (_("%%guard present but %%semantic_parser not specified"));
+       for (;;)
+         {
+           t = lex ();
+           if (t == tok_prec)
+             {
+               t = lex ();
+               crule->ruleprec = symval;
+               t = lex ();
+             }
+
+           if (!(t == tok_identifier || t == tok_left_curly))
+             break;
 
 
-             copy_guard (crule, rulelength);
-             t = lex ();
-           }
-         else if (t == tok_left_curly)
-           {
-             /* This case never occurs -wjh */
-             if (action_flag)
-               complain (_("two actions at end of one rule"));
-             copy_action (crule, rulelength);
-             action_flag = 1;
-             xactions++;       /* -wjh */
-             t = lex ();
-           }
-         /* If $$ is being set in default way, report if any type
-            mismatch.  */
-         else if (!xactions
-                  && first_rhs && lhs->type_name != first_rhs->type_name)
-           {
-             if (lhs->type_name == 0
-                 || first_rhs->type_name == 0
-                 || strcmp (lhs->type_name, first_rhs->type_name))
-               complain (_("type clash (`%s' `%s') on default action"),
-                         lhs->type_name ? lhs->type_name : "",
-                         first_rhs->type_name ? first_rhs->type_name : "");
-           }
-         /* Warn if there is no default for $$ but we need one.  */
-         else if (!xactions && !first_rhs && lhs->type_name != 0)
-           complain (_("empty rule for typed nonterminal, and no action"));
-         if (t == tok_semicolon)
+           /* If next token is an identifier, see if a colon follows it.
+              If one does, exit this rule now.  */
+           if (t == tok_identifier)
+             {
+               symbol_t *ssave;
+               token_t t1;
+
+               ssave = symval;
+               t1 = lex ();
+               unlex (t1);
+               symval = ssave;
+               if (t1 == tok_colon)
+                 {
+                   warn (_("previous rule lacks an ending `;'"));
+                   break;
+                 }
+
+               if (!first_rhs) /* JF */
+                 first_rhs = symval;
+               /* Not followed by colon =>
+                  process as part of this rule's rhs.  */
+             }
+
+           /* If we just passed an action, that action was in the middle
+              of a rule, so make a dummy rule to reduce it to a
+              non-terminal.  */
+           if (action_flag)
+             {
+               /* Since the action was written out with this rule's
+                  number, we must give the new rule this number by
+                  inserting the new rule before it.  */
+
+               /* Make a dummy nonterminal, a gensym.  */
+               symbol_t *sdummy = gensym ();
+
+               /* Make a new rule, whose body is empty, before the
+                  current one, so that the action just read can
+                  belong to it.  */
+               ++nrules;
+               ++nritems;
+               p = symbol_list_new (sdummy);
+               /* Attach its lineno to that of the host rule. */
+               p->line = crule->line;
+               /* Move the action from the host rule to this one. */
+               p->action = crule->action;
+               p->action_line = crule->action_line;
+               crule->action = NULL;
+
+               if (crule1)
+                 crule1->next = p;
+               else
+                 grammar = p;
+               /* End of the rule. */
+               crule1 = symbol_list_new (NULL);
+               crule1->next = crule;
+
+               p->next = crule1;
+
+               /* Insert the dummy generated by that rule into this
+                  rule.  */
+               ++nritems;
+               p = symbol_list_new (sdummy);
+               p1->next = p;
+               p1 = p;
+
+               action_flag = 0;
+             }
+
+           if (t == tok_identifier)
+             {
+               ++nritems;
+               p = symbol_list_new (symval);
+               p1->next = p;
+               p1 = p;
+             }
+           else                /* handle an action.  */
+             {
+               parse_action (crule, rulelength);
+               action_flag = 1;
+               ++xactions;     /* JF */
+             }
+           ++rulelength;
+         }                     /* end of  read rhs of rule */
+
+       /* Put an empty link in the list to mark the end of this rule  */
+       p = symbol_list_new (NULL);
+       p1->next = p;
+       p1 = p;
+
+       if (t == tok_prec)
+         {
+           complain (_("two @prec's in a row"));
            t = lex ();
            t = lex ();
-       }
-#if 0
-      /* these things can appear as alternatives to rules.  */
-/* NO, they cannot.
-       a) none of the documentation allows them
-       b) most of them scan forward until finding a next %
-               thus they may swallow lots of intervening rules
-*/
-      else if (t == tok_token)
-       {
-         parse_token_decl (token_sym, nterm_sym);
-         t = lex ();
-       }
-      else if (t == tok_nterm)
-       {
-         parse_token_decl (nterm_sym, token_sym);
-         t = lex ();
-       }
-      else if (t == tok_type)
-       {
-         t = get_type ();
-       }
-      else if (t == tok_union)
-       {
-         parse_union_decl ();
-         t = lex ();
-       }
-      else if (t == tok_expect)
-       {
-         parse_expect_decl ();
-         t = lex ();
-       }
-      else if (t == tok_start)
-       {
-         parse_start_decl ();
-         t = lex ();
-       }
-#endif
+           crule->ruleprec = symval;
+           t = lex ();
+         }
 
 
-      else
-       {
-         complain (_("invalid input: %s"), quote (token_buffer));
+       if (t == tok_left_curly)
+         {
+           /* This case never occurs -wjh */
+           if (action_flag)
+             complain (_("two actions at end of one rule"));
+           parse_action (crule, rulelength);
+           action_flag = 1;
+           ++xactions; /* -wjh */
+           t = lex ();
+         }
+       /* If $$ is being set in default way, report if any type
+          mismatch.  */
+       else if (!xactions
+                && first_rhs && lhs->type_name != first_rhs->type_name)
+         {
+           if (lhs->type_name == 0
+               || first_rhs->type_name == 0
+               || strcmp (lhs->type_name, first_rhs->type_name))
+             complain (_("type clash (`%s' `%s') on default action"),
+                       lhs->type_name ? lhs->type_name : "",
+                       first_rhs->type_name ? first_rhs->type_name : "");
+         }
+       /* Warn if there is no default for $$ but we need one.  */
+       else if (!xactions && !first_rhs && lhs->type_name != 0)
+         complain (_("empty rule for typed nonterminal, and no action"));
+       if (t == tok_two_percents || t == tok_eof)
+         warn (_("previous rule lacks an ending `;'"));
+       if (t == tok_semicolon)
          t = lex ();
          t = lex ();
-       }
-    }
+      }
+    else
+      {
+       complain (_("invalid input: %s"), quote (token_buffer));
+       t = lex ();
+      }
 
   /* grammar has been read.  Do some checking */
 
 
   /* grammar has been read.  Do some checking */
 
-  if (nsyms > MAXSHORT)
-    fatal (_("too many symbols (tokens plus nonterminals); maximum %d"),
-          MAXSHORT);
   if (nrules == 0)
     fatal (_("no rules in the input grammar"));
 
   if (nrules == 0)
     fatal (_("no rules in the input grammar"));
 
-#if 0 /* This code is in the skeleton now.  */
-  /* JF put out same default YYSTYPE as YACC does */
-  if (typed == 0
-      && !value_components_used)
-    {
-      /* We used to use `unsigned long' as YYSTYPE on MSDOS,
-         but it seems better to be consistent.
-         Most programs should declare their own type anyway.  */
-      obstack_sgrow (&attrs_obstack,
-                          "#ifndef YYSTYPE\n#define YYSTYPE int\n#endif\n");
-      if (defines_flag)
-       obstack_sgrow (&defines_obstack, "\
-# ifndef YYSTYPE\n\
-#  define YYSTYPE int\n\
-# endif\n");
-    }
-#endif
-
   /* Report any undefined symbols and consider them nonterminals.  */
   /* Report any undefined symbols and consider them nonterminals.  */
+  symbols_do (symbol_check_defined, NULL);
+
+  /* Insert the initial rule, which line is that of the first rule
+     (not that of the start symbol):
+
+     axiom: %start EOF.  */
+  p = symbol_list_new (axiom);
+  p->line = grammar->line;
+  p->next = symbol_list_new (startval);
+  p->next->next = symbol_list_new (eoftoken);
+  p->next->next->next = symbol_list_new (NULL);
+  p->next->next->next->next = grammar;
+  nrules += 1;
+  nritems += 3;
+  grammar = p;
+  startval = axiom;
+
+  if (nsyms > SHRT_MAX)
+    fatal (_("too many symbols (tokens plus nonterminals); maximum %d"),
+          SHRT_MAX);
 
 
-  for (bp = firstsymbol; bp; bp = bp->next)
-    if (bp->class == unknown_sym)
-      {
-       complain (_
-                 ("symbol %s is used, but is not defined as a token and has no rules"),
-                 bp->tag);
-       bp->class = nterm_sym;
-       bp->value = nvars++;
-      }
-
-  ntokens = nsyms - nvars;
+  assert (nsyms == ntokens + nvars);
 }
 }
-\f
-/*--------------------------------------------------------------.
-| For named tokens, but not literal ones, define the name.  The |
-| value is the user token number.                               |
-`--------------------------------------------------------------*/
 
 
+/* At the end of the grammar file, some C source code must
+   be stored. It is going to be associated to the epilogue
+   directive.  */
 static void
 static void
-output_token_defines (struct obstack *oout)
+read_additionnal_code (void)
 {
 {
-  bucket *bp;
-  char *cp, *symbol;
-  char c;
+  int c;
+  struct obstack el_obstack;
 
 
-  for (bp = firstsymbol; bp; bp = bp->next)
-    {
-      symbol = bp->tag;                /* get symbol */
-
-      if (bp->value >= ntokens)
-       continue;
-      if (bp->user_token_number == SALIAS)
-       continue;
-      if ('\'' == *symbol)
-       continue;               /* skip literal character */
-      if (bp == errtoken)
-       continue;               /* skip error token */
-      if ('\"' == *symbol)
-       {
-         /* use literal string only if given a symbol with an alias */
-         if (bp->alias)
-           symbol = bp->alias->tag;
-         else
-           continue;
-       }
+  obstack_init (&el_obstack);
 
 
-      /* Don't #define nonliteral tokens whose names contain periods.  */
-      cp = symbol;
-      while ((c = *cp++) && c != '.');
-      if (c != '\0')
-       continue;
-
-      obstack_fgrow2 (oout, "# define\t%s\t%d\n",
-                     symbol,
-                     (translations ? bp->user_token_number : bp->value));
-      if (semantic_parser)
-       obstack_fgrow2 (oout, "# define\tT%s\t%d\n", symbol, bp->value);
+  if (!no_lines_flag)
+    {
+      obstack_fgrow2 (&el_obstack, muscle_find ("linef"),
+                     lineno, quotearg_style (c_quoting_style,
+                                             muscle_find ("filename")));
     }
 
     }
 
-  /* obstack_1grow (oout, '\n'); */
-}
+  while ((c = getc (finput)) != EOF)
+    copy_character (&el_obstack, c);
 
 
+  obstack_1grow (&el_obstack, 0);
+  muscle_insert ("epilogue", obstack_finish (&el_obstack));
+}
 
 
+\f
 /*------------------------------------------------------------------.
 /*------------------------------------------------------------------.
-| Assign symbol numbers, and write definition of token names into   |
-| FDEFINES.  Set up vectors TAGS and SPREC of names and precedences |
-| of symbols.                                                       |
+| Set TOKEN_TRANSLATIONS.  Check that no two symbols share the same |
+| number.                                                           |
 `------------------------------------------------------------------*/
 
 static void
 `------------------------------------------------------------------*/
 
 static void
-packsymbols (void)
+token_translations_init (void)
 {
 {
-  bucket *bp;
-  int tokno = 1;
+  int num_256_available_p = TRUE;
   int i;
   int i;
-  int last_user_token_number;
-  static char DOLLAR[] = "$";
 
 
-  /* int lossage = 0; JF set but not used */
-
-  tags = XCALLOC (char *, nsyms + 1);
-  tags[0] = DOLLAR;
-  user_toknums = XCALLOC (short, nsyms + 1);
-  user_toknums[0] = 0;
-
-  sprec = XCALLOC (short, nsyms);
-  sassoc = XCALLOC (short, nsyms);
-
-  max_user_token_number = 256;
-  last_user_token_number = 256;
-
-  for (bp = firstsymbol; bp; bp = bp->next)
+  /* Find the highest user token number, and whether 256, the POSIX
+     preferred user token number for the error token, is used.  */
+  max_user_token_number = 0;
+  for (i = 0; i < ntokens; ++i)
     {
     {
-      if (bp->class == nterm_sym)
-       {
-         bp->value += ntokens;
-       }
-      else if (bp->alias)
-       {
-         /* this symbol and its alias are a single token defn.
-            allocate a tokno, and assign to both check agreement of
-            ->prec and ->assoc fields and make both the same */
-         if (bp->value == 0)
-           bp->value = bp->alias->value = tokno++;
-
-         if (bp->prec != bp->alias->prec)
-           {
-             if (bp->prec != 0 && bp->alias->prec != 0
-                 && bp->user_token_number == SALIAS)
-               complain (_("conflicting precedences for %s and %s"),
-                         bp->tag, bp->alias->tag);
-             if (bp->prec != 0)
-               bp->alias->prec = bp->prec;
-             else
-               bp->prec = bp->alias->prec;
-           }
-
-         if (bp->assoc != bp->alias->assoc)
-           {
-             if (bp->assoc != 0 && bp->alias->assoc != 0
-                 && bp->user_token_number == SALIAS)
-               complain (_("conflicting assoc values for %s and %s"),
-                         bp->tag, bp->alias->tag);
-             if (bp->assoc != 0)
-               bp->alias->assoc = bp->assoc;
-             else
-               bp->assoc = bp->alias->assoc;
-           }
-
-         if (bp->user_token_number == SALIAS)
-           continue;           /* do not do processing below for SALIASs */
-
-       }
-      else                     /* bp->class == token_sym */
+      symbol_t *this = symbols[i];
+      if (this->user_token_number != USER_NUMBER_UNDEFINED)
        {
        {
-         bp->value = tokno++;
+         if (this->user_token_number > max_user_token_number)
+           max_user_token_number = this->user_token_number;
+         if (this->user_token_number == 256)
+           num_256_available_p = FALSE;
        }
        }
+    }
 
 
-      if (bp->class == token_sym)
-       {
-         if (translations && !(bp->user_token_number))
-           bp->user_token_number = ++last_user_token_number;
-         if (bp->user_token_number > max_user_token_number)
-           max_user_token_number = bp->user_token_number;
-       }
+  /* If 256 is not used, assign it to error, to follow POSIX.  */
+  if (num_256_available_p
+      && errtoken->user_token_number == USER_NUMBER_UNDEFINED)
+    errtoken->user_token_number = 256;
 
 
-      tags[bp->value] = bp->tag;
-      user_toknums[bp->value] = bp->user_token_number;
-      sprec[bp->value] = bp->prec;
-      sassoc[bp->value] = bp->assoc;
+  /* Set the missing user numbers. */
+  if (max_user_token_number < 256)
+    max_user_token_number = 256;
 
 
+  for (i = 0; i < ntokens; ++i)
+    {
+      symbol_t *this = symbols[i];
+      if (this->user_token_number == USER_NUMBER_UNDEFINED)
+       this->user_token_number = ++max_user_token_number;
+      if (this->user_token_number > max_user_token_number)
+       max_user_token_number = this->user_token_number;
     }
 
     }
 
-  if (translations)
-    {
-      int j;
+  token_translations = XCALLOC (token_number_t, max_user_token_number + 1);
 
 
-      token_translations = XCALLOC (short, max_user_token_number + 1);
+  /* Initialize all entries for literal tokens to 2, the internal
+     token number for $undefined., which represents all invalid
+     inputs.  */
+  for (i = 0; i < max_user_token_number + 1; i++)
+    token_translations[i] = undeftoken->number;
+  symbols_do (symbol_translation, NULL);
+}
 
 
-      /* initialize all entries for literal tokens to 2, the internal
-         token number for $undefined., which represents all invalid
-         inputs.  */
-      for (j = 0; j <= max_user_token_number; j++)
-       token_translations[j] = 2;
 
 
-      for (bp = firstsymbol; bp; bp = bp->next)
-       {
-         if (bp->value >= ntokens)
-           continue;           /* non-terminal */
-         if (bp->user_token_number == SALIAS)
-           continue;
-         if (token_translations[bp->user_token_number] != 2)
-           complain (_("tokens %s and %s both assigned number %d"),
-                     tags[token_translations[bp->user_token_number]],
-                     bp->tag, bp->user_token_number);
-         token_translations[bp->user_token_number] = bp->value;
-       }
-    }
+/*----------------------------------------------------------------.
+| Assign symbol numbers, and write definition of token names into |
+| FDEFINES.  Set up vectors SYMBOL_TABLE, TAGS of symbols.        |
+`----------------------------------------------------------------*/
 
 
-  error_token_number = errtoken->value;
+static void
+packsymbols (void)
+{
+  symbols = XCALLOC (symbol_t *, nsyms);
 
 
-  output_token_defines (&output_obstack);
-  obstack_1grow (&output_obstack, 0);
-  macro_insert ("tokendef", obstack_finish (&output_obstack));
+  symbols_do (symbol_check_alias_consistence, NULL);
+  symbols_do (symbol_pack, NULL);
 
 
-  /* if (!no_parser_flag)
-     output_token_defines (&table_obstack); */
+  token_translations_init ();
 
   if (startval->class == unknown_sym)
     fatal (_("the start symbol %s is undefined"), startval->tag);
   else if (startval->class == token_sym)
     fatal (_("the start symbol %s is a token"), startval->tag);
 
 
   if (startval->class == unknown_sym)
     fatal (_("the start symbol %s is undefined"), startval->tag);
   else if (startval->class == token_sym)
     fatal (_("the start symbol %s is a token"), startval->tag);
 
-  start_symbol = startval->value;
-
-  if (defines_flag)
-    {
-      output_token_defines (&defines_obstack);
-
-      if (!pure_parser)
-       {
-         if (spec_name_prefix)
-           obstack_fgrow1 (&defines_obstack, "\nextern YYSTYPE %slval;\n",
-                           spec_name_prefix);
-         else
-           obstack_sgrow (&defines_obstack,
-                                "\nextern YYSTYPE yylval;\n");
-       }
-
-      if (semantic_parser)
-       for (i = ntokens; i < nsyms; i++)
-         {
-           /* don't make these for dummy nonterminals made by gensym.  */
-           if (*tags[i] != '@')
-              obstack_fgrow2 (&defines_obstack,
-                              "# define\tNT%s\t%d\n", tags[i], i);
-         }
-#if 0
-      /* `fdefines' is now a temporary file, so we need to copy its
-         contents in `done', so we can't close it here.  */
-      fclose (fdefines);
-      fdefines = NULL;
-#endif
-    }
+  start_symbol = startval->number;
 }
 
 
 /*---------------------------------------------------------------.
 | Convert the rules into the representation using RRHS, RLHS and |
 }
 
 
 /*---------------------------------------------------------------.
 | Convert the rules into the representation using RRHS, RLHS and |
-| RITEMS.                                                        |
+| RITEM                                                        |
 `---------------------------------------------------------------*/
 
 static void
 `---------------------------------------------------------------*/
 
 static void
@@ -1897,14 +1740,8 @@ packgram (void)
   int ruleno;
   symbol_list *p;
 
   int ruleno;
   symbol_list *p;
 
-  bucket *ruleprec;
-
-  ritem = XCALLOC (short, nitems + 1);
-  rlhs = XCALLOC (short, nrules) - 1;
-  rrhs = XCALLOC (short, nrules) - 1;
-  rprec = XCALLOC (short, nrules) - 1;
-  rprecsym = XCALLOC (short, nrules) - 1;
-  rassoc = XCALLOC (short, nrules) - 1;
+  ritem = XCALLOC (item_number_t, nritems + 1);
+  rules = XCALLOC (rule_t, nrules) - 1;
 
   itemno = 0;
   ruleno = 1;
 
   itemno = 0;
   ruleno = 1;
@@ -1912,21 +1749,26 @@ packgram (void)
   p = grammar;
   while (p)
     {
   p = grammar;
   while (p)
     {
-      rlhs[ruleno] = p->sym->value;
-      rrhs[ruleno] = itemno;
-      ruleprec = p->ruleprec;
+      symbol_t *ruleprec = p->ruleprec;
+      rules[ruleno].user_number = ruleno;
+      rules[ruleno].number = ruleno;
+      rules[ruleno].lhs = p->sym;
+      rules[ruleno].rhs = ritem + itemno;
+      rules[ruleno].line = p->line;
+      rules[ruleno].useful = TRUE;
+      rules[ruleno].action = p->action;
+      rules[ruleno].action_line = p->action_line;
 
       p = p->next;
       while (p && p->sym)
        {
 
       p = p->next;
       while (p && p->sym)
        {
-         ritem[itemno++] = p->sym->value;
+         /* item_number_t = token_number_t.
+            But the former needs to contain more: negative rule numbers. */
+         ritem[itemno++] = token_number_as_item_number (p->sym->number);
          /* A rule gets by default the precedence and associativity
             of the last token in it.  */
          if (p->sym->class == token_sym)
          /* A rule gets by default the precedence and associativity
             of the last token in it.  */
          if (p->sym->class == token_sym)
-           {
-             rprec[ruleno] = p->sym->prec;
-             rassoc[ruleno] = p->sym->assoc;
-           }
+           rules[ruleno].prec = p->sym;
          if (p)
            p = p->next;
        }
          if (p)
            p = p->next;
        }
@@ -1935,101 +1777,106 @@ packgram (void)
          the specified symbol's precedence replaces the default.  */
       if (ruleprec)
        {
          the specified symbol's precedence replaces the default.  */
       if (ruleprec)
        {
-         rprec[ruleno] = ruleprec->prec;
-         rassoc[ruleno] = ruleprec->assoc;
-         rprecsym[ruleno] = ruleprec->value;
+         rules[ruleno].precsym = ruleprec;
+         rules[ruleno].prec = ruleprec;
        }
        }
-
       ritem[itemno++] = -ruleno;
       ritem[itemno++] = -ruleno;
-      ruleno++;
+      ++ruleno;
 
       if (p)
        p = p->next;
     }
 
   ritem[itemno] = 0;
 
       if (p)
        p = p->next;
     }
 
   ritem[itemno] = 0;
+  assert (itemno == nritems);
+
+  if (trace_flag)
+    ritem_print (stderr);
 }
 \f
 }
 \f
-/*-------------------------------------------------------------------.
-| Read in the grammar specification and record it in the format      |
-| described in gram.h.  All guards are copied into the GUARD_OBSTACK |
-| and all actions into ACTION_OBSTACK, in each case forming the body |
-| of a C function (YYGUARD or YYACTION) which contains a switch      |
-| statement to decide which guard or action to execute.              |
-`-------------------------------------------------------------------*/
+/*------------------------------------------------------------------.
+| Read in the grammar specification and record it in the format     |
+| described in gram.h.  All actions are copied into ACTION_OBSTACK, |
+| in each case forming the body of a C function (YYACTION) which    |
+| contains a switch statement to decide which action to execute.    |
+`------------------------------------------------------------------*/
 
 void
 reader (void)
 {
 
 void
 reader (void)
 {
-  start_flag = 0;
-  startval = NULL;             /* start symbol not specified yet. */
-
-#if 0
-  /* initially assume token number translation not needed.  */
-  translations = 0;
-#endif
-  /* Nowadays translations is always set to 1, since we give `error' a
-     user-token-number to satisfy the Posix demand for YYERRCODE==256.
-   */
-  translations = 1;
-
-  nsyms = 1;
-  nvars = 0;
-  nrules = 0;
-  nitems = 0;
-  rline_allocated = 10;
-  rline = XCALLOC (short, rline_allocated);
-
-  typed = 0;
-  lastprec = 0;
-
-  semantic_parser = 0;
-  pure_parser = 0;
-
-  grammar = NULL;
-
-  init_lex ();
+  lex_init ();
   lineno = 1;
 
   lineno = 1;
 
+  /* Initialize the muscle obstack.  */
+  obstack_init (&muscle_obstack);
+
   /* Initialize the symbol table.  */
   /* Initialize the symbol table.  */
-  tabinit ();
+  symbols_new ();
+
+  /* Construct the axiom symbol. */
+  axiom = getsym ("$axiom");
+  axiom->class = nterm_sym;
+  axiom->number = nvars++;
 
   /* Construct the error token */
   errtoken = getsym ("error");
   errtoken->class = token_sym;
 
   /* Construct the error token */
   errtoken = getsym ("error");
   errtoken->class = token_sym;
-  errtoken->user_token_number = 256;   /* Value specified by POSIX.  */
+  errtoken->number = ntokens++;
 
   /* Construct a token that represents all undefined literal tokens.
      It is always token number 2.  */
   undeftoken = getsym ("$undefined.");
   undeftoken->class = token_sym;
 
   /* Construct a token that represents all undefined literal tokens.
      It is always token number 2.  */
   undeftoken = getsym ("$undefined.");
   undeftoken->class = token_sym;
-  undeftoken->user_token_number = 2;
+  undeftoken->number = ntokens++;
+
+  /* Initialize the obstacks. */
+  obstack_init (&action_obstack);
+  obstack_init (&output_obstack);
+  obstack_init (&pre_prologue_obstack);
+  obstack_init (&post_prologue_obstack);
+
+  finput = xfopen (infile, "r");
 
   /* Read the declaration section.  Copy %{ ... %} groups to
      TABLE_OBSTACK and FDEFINES file.  Also notice any %token, %left,
      etc. found there.  */
 
   /* Read the declaration section.  Copy %{ ... %} groups to
      TABLE_OBSTACK and FDEFINES file.  Also notice any %token, %left,
      etc. found there.  */
-  /* obstack_1grow (&table_obstack, '\n'); */
-
   read_declarations ();
   read_declarations ();
-  /* Start writing the guard and action files, if they are needed.  */
-  /* output_headers (); */
+
+  /* If the user did not define her EOFTOKEN, do it now. */
+  if (!eoftoken)
+    {
+      eoftoken = getsym ("$");
+      eoftoken->class = token_sym;
+      eoftoken->number = 0;
+      /* Value specified by POSIX.  */
+      eoftoken->user_token_number = 0;
+    }
+
   /* Read in the grammar, build grammar in list form.  Write out
   /* Read in the grammar, build grammar in list form.  Write out
-     guards and actions.  */
+     actions.  */
   readgram ();
   readgram ();
-  /* Now we know whether we need the line-number stack.  If we do,
-     write its type into the .tab.h file.  */
-  /* if (defines_flag)
-     reader_output_yylsp (&defines_obstack); */
-  /* Write closing delimiters for actions and guards.  */
-  /* output_trailers (); */
-  /* if (locations_flag)
-     obstack_sgrow (&table_obstack, "#define YYLSP_NEEDED 1\n\n"); */
+  /* Some C code is given at the end of the grammar file. */
+  read_additionnal_code ();
+
+  lex_free ();
+  xfclose (finput);
+
   /* Assign the symbols their symbol numbers.  Write #defines for the
      token symbols into FDEFINES if requested.  */
   packsymbols ();
   /* Assign the symbols their symbol numbers.  Write #defines for the
      token symbols into FDEFINES if requested.  */
   packsymbols ();
+
   /* Convert the grammar into the format described in gram.h.  */
   packgram ();
   /* Convert the grammar into the format described in gram.h.  */
   packgram ();
-  /* Free the symbol table data structure since symbols are now all
-     referred to by symbol number.  */
-  free_symtab ();
+
+  /* The grammar as a symbol_list is no longer needed. */
+  LIST_FREE (symbol_list, grammar);
+}
+
+void
+grammar_free (void)
+{
+  XFREE (ritem);
+  free (rules + 1);
+  /* Free the symbol table data structure.  */
+  symbols_free ();
 }
 }