Really add m4sugar to the repo.
[bison.git] / src / output.c
index b58f0ec043c19d0d6b7b387814880446ecd7e332..702f0cb18bf8f95608f8e0e79013272fb1f8be0f 100644 (file)
@@ -1,5 +1,6 @@
 /* Output the generated parsing program for bison,
-   Copyright 1984, 1986, 1989, 1992, 2000, 2001 Free Software Foundation, Inc.
+   Copyright (C) 1984, 1986, 1989, 1992, 2000, 2001, 2002
+   Free Software Foundation, Inc.
 
    This file is part of Bison, the GNU Compiler Compiler.
 
    02111-1307, USA.  */
 
 
-/* The parser tables consist of these tables.
-   Starred ones needed only for the semantic parser.
-   Double starred are output only if switches are set.
+/* The parser tables consist of these tables.  Marked ones needed only
+   for the semantic parser.  Double marked are output only if switches
+   are set.
 
-   yytranslate = vector mapping yylex's token numbers into bison's token
-   numbers.
+   YYTRANSLATE = vector mapping yylex's token numbers into bison's
+   token numbers.
 
-   ** yytname = vector of string-names indexed by bison token number
+   ++ YYTNAME = vector of string-names indexed by bison token number.
 
-   ** yytoknum = vector of yylex token numbers corresponding to entries
-   in yytname
+   ++ YYTOKNUM = vector of yylex token numbers corresponding to
+   entries in YYTNAME.
 
-   yyrline = vector of line-numbers of all rules.  For yydebug printouts.
+   YYRLINE = vector of line-numbers of all rules.  For yydebug
+   printouts.
 
-   yyrhs = vector of items of all rules.
-   This is exactly what ritems contains.  For yydebug and for semantic
-   parser.
+   YYRHS = vector of items of all rules.  This is exactly what RITEMS
+   contains.  For yydebug and for semantic parser.
 
-   yyprhs[r] = index in yyrhs of first item for rule r.
+   YYPRHS[R] = index in YYRHS of first item for rule R.
 
-   yyr1[r] = symbol number of symbol that rule r derives.
+   YYR1[R] = symbol number of symbol that rule R derives.
 
-   yyr2[r] = number of symbols composing right hand side of rule r.
+   YYR2[R] = number of symbols composing right hand side of rule R.
 
-   * yystos[s] = the symbol number of the symbol that leads to state s.
+   + YYSTOS[S] = the symbol number of the symbol that leads to state
+   S.
 
-   yydefact[s] = default rule to reduce with in state s,
-   when yytable doesn't specify something else to do.
-   Zero means the default is an error.
+   YYDEFACT[S] = default rule to reduce with in state s, when YYTABLE
+   doesn't specify something else to do.  Zero means the default is an
+   error.
 
-   yydefgoto[i] = default state to go to after a reduction of a rule that
-   generates variable ntokens + i, except when yytable
-   specifies something else to do.
+   YYDEFGOTO[I] = default state to go to after a reduction of a rule
+   that generates variable NTOKENS + I, except when YYTABLE specifies
+   something else to do.
 
-   yypact[s] = index in yytable of the portion describing state s.
-   The lookahead token's type is used to index that portion
-   to find out what to do.
+   YYPACT[S] = index in YYTABLE of the portion describing state S.
+   The lookahead token's type is used to index that portion to find
+   out what to do.
 
-   If the value in yytable is positive,
-   we shift the token and go to that state.
+   If the value in YYTABLE is positive, we shift the token and go to
+   that state.
 
    If the value is negative, it is minus a rule number to reduce by.
 
-   If the value is zero, the default action from yydefact[s] is used.
+   If the value is zero, the default action from YYDEFACT[S] is used.
 
-   yypgoto[i] = the index in yytable of the portion describing
-   what to do after reducing a rule that derives variable i + ntokens.
-   This portion is indexed by the parser state number, s,
-   as of before the text for this nonterminal was read.
-   The value from yytable is the state to go to if
-   the corresponding value in yycheck is s.
+   YYPGOTO[I] = the index in YYTABLE of the portion describing what to
+   do after reducing a rule that derives variable I + NTOKENS.  This
+   portion is indexed by the parser state number, S, as of before the
+   text for this nonterminal was read.  The value from YYTABLE is the
+   state to go to if the corresponding value in YYCHECK is S.
 
-   yytable = a vector filled with portions for different uses,
-   found via yypact and yypgoto.
+   YYTABLE = a vector filled with portions for different uses, found
+   via YYPACT and YYPGOTO.
 
-   yycheck = a vector indexed in parallel with yytable.
-   It indicates, in a roundabout way, the bounds of the
-   portion you are trying to examine.
+   YYCHECK = a vector indexed in parallel with YYTABLE.  It indicates,
+   in a roundabout way, the bounds of the portion you are trying to
+   examine.
 
-   Suppose that the portion of yytable starts at index p
-   and the index to be examined within the portion is i.
-   Then if yycheck[p+i] != i, i is outside the bounds
-   of what is actually allocated, and the default
-   (from yydefact or yydefgoto) should be used.
-   Otherwise, yytable[p+i] should be used.
+   Suppose that the portion of yytable starts at index P and the index
+   to be examined within the portion is I.  Then if YYCHECK[P+I] != I,
+   I is outside the bounds of what is actually allocated, and the
+   default (from YYDEFACT or YYDEFGOTO) should be used.  Otherwise,
+   YYTABLE[P+I] should be used.
 
-   YYFINAL = the state number of the termination state.
-   YYFLAG = most negative short int.  Used to flag ??
-   YYNTBASE = ntokens.
-*/
+   YYFINAL = the state number of the termination state.  YYFLAG = most
+   negative short int.  Used to flag ??  */
 
 #include "system.h"
-#include "obstack.h"
 #include "quotearg.h"
+#include "error.h"
 #include "getargs.h"
-#include "xalloc.h"
 #include "files.h"
 #include "gram.h"
 #include "LR0.h"
 #include "output.h"
 #include "lalr.h"
 #include "reader.h"
+#include "symtab.h"
 #include "conflicts.h"
-#include "macrotab.h"
+#include "muscle_tab.h"
 
-extern void berror PARAMS((const char *));
+/* From lib/readpipe.h.  */
+FILE *readpipe PARAMS ((const char *, ...));
+
+/* From src/scan-skel.l. */
+int skel_lex PARAMS ((void));
+extern FILE *skel_in;
 
 static int nvectors;
 static int nentries;
-static short **froms;
-static short **tos;
-static short *tally;
-static short *width;
-static short *actrow;
-static short *state_count;
-static short *order;
-static short *base;
-static short *pos;
-static short *table;
-static short *check;
+static short **froms = NULL;
+static short **tos = NULL;
+static short *tally = NULL;
+static short *width = NULL;
+static short *actrow = NULL;
+static short *state_count = NULL;
+static short *order = NULL;
+static short *base = NULL;
+static short *pos = NULL;
+static short *table = NULL;
+static short *check = NULL;
 static int lowzero;
 static int high;
 
-struct obstack macro_obstack;
-struct obstack output_obstack;
+struct obstack muscle_obstack;
+static struct obstack format_obstack;
+
+int error_verbose = 0;
+
+/* Returns the number of lines of S.  */
+size_t
+get_lines_number (const char *s)
+{
+  size_t lines = 0;
+
+  size_t i;
+  for (i = 0; s[i]; ++i)
+    if (s[i] == '\n')
+      ++lines;
+
+  return lines;
+}
+
 
 /* FIXME. */
 
 static inline void
-output_table_data (struct obstack* oout, 
-                  short* table, 
-                  short first, 
-                  short begin, 
-                  short end)
+output_table_data (struct obstack *oout,
+                  short *table_data,
+                  short first,
+                  int begin,
+                  int end)
 {
   int i;
   int j = 1;
-  
+
   obstack_fgrow1 (oout, "%6d", first);
   for (i = begin; i < end; ++i)
     {
@@ -149,7 +169,7 @@ output_table_data (struct obstack* oout,
        }
       else
        ++j;
-      obstack_fgrow1 (oout, "%6d", table[i]);
+      obstack_fgrow1 (oout, "%6d", table_data[i]);
     }
   obstack_1grow (oout, 0);
 }
@@ -158,40 +178,46 @@ output_table_data (struct obstack* oout,
 static void
 output_token_translations (void)
 {
-  output_table_data (&output_obstack, token_translations, 
+  output_table_data (&format_obstack, token_translations,
                     0, 1, max_user_token_number + 1);
-  macro_insert ("translate", obstack_finish (&output_obstack));
+  muscle_insert ("translate", obstack_finish (&format_obstack));
+  XFREE (token_translations);
 }
 
 
 static void
 output_gram (void)
 {
-  output_table_data (&output_obstack, rrhs, 
-                    0, 1, nrules + 1);
-  macro_insert ("prhs", obstack_finish (&output_obstack));
-  
   {
-    size_t yyrhs_size = 1;
-    short *yyrhs, *sp;
+    int i;
+    short *values = XCALLOC (short, nrules + 1);
+    for (i = 0; i < nrules + 1; ++i)
+      values[i] = rules[i].rhs;
+    output_table_data (&format_obstack, values,
+                      0, 1, nrules + 1);
+    XFREE (values);
+  }
+
+  muscle_insert ("prhs", obstack_finish (&format_obstack));
+
+  {
+    short *yyrhs;
     int i;
 
-    for (sp = ritem + 1; *sp; sp++)
-      ++yyrhs_size;
-    yyrhs = XMALLOC (short, yyrhs_size);
+    yyrhs = XMALLOC (short, nritems);
 
-    for (sp = ritem + 1, i = 1; *sp; ++sp, ++i)
-      yyrhs[i] = *sp > 0 ? *sp : 0;
+    for (i = 1; i < nritems; ++i)
+      yyrhs[i] = ritem[i] >= 0 ? ritem[i] : -1;
 
-    output_table_data (&output_obstack, yyrhs, 
-                      ritem[0], 1, yyrhs_size);
-    macro_insert ("rhs", obstack_finish (&output_obstack));
+    output_table_data (&format_obstack, yyrhs,
+                      ritem[0], 1, nritems);
+    muscle_insert ("rhs", obstack_finish (&format_obstack));
 
     XFREE (yyrhs);
   }
 
 #if 0
-  if (!semantic_parser && !no_parser_flag)
+  if (!semantic_parser)
     obstack_sgrow (&table_obstack, "\n#endif\n");
 #endif
 }
@@ -200,9 +226,13 @@ output_gram (void)
 static void
 output_stos (void)
 {
-  output_table_data (&output_obstack, accessing_symbol, 
+  int i;
+  short *values = (short *) alloca (sizeof (short) * nstates);
+  for (i = 0; i < nstates; ++i)
+    values[i] = states[i]->accessing_symbol;
+  output_table_data (&format_obstack, values,
                     0, 1, nstates);
-  macro_insert ("stos", obstack_finish (&output_obstack));
+  muscle_insert ("stos", obstack_finish (&format_obstack));
 }
 
 
@@ -213,84 +243,77 @@ output_rule_data (void)
   int j;
   short *short_tab = NULL;
 
-  output_table_data (&output_obstack, rline,
-                    0, 1, nrules + 1);
-  macro_insert ("rline", obstack_finish (&output_obstack));
+  {
+    short *values = XCALLOC (short, nrules + 1);
+    for (i = 0; i < nrules + 1; ++i)
+      values[i] = rules[i].line;
+    output_table_data (&format_obstack, values,
+                      0, 1, nrules + 1);
+    muscle_insert ("rline", obstack_finish (&format_obstack));
+    XFREE (values);
+  }
+
 
   j = 0;
   for (i = 0; i < nsyms; i++)
-    /* this used to be i<=nsyms, but that output a final "" symbol
-       almost by accident */
     {
+      /* Be sure not to use twice the same quotearg slot. */
+      const char *cp =
+       quotearg_n_style (1, c_quoting_style,
+                         quotearg_style (escape_quoting_style, symbols[i]->tag));
       /* Width of the next token, including the two quotes, the coma
         and the space.  */
-      int strsize = 4;
-      char *p;
-
-      for (p = tags[i]; p && *p; p++)
-       if (*p == '"' || *p == '\\' || *p == '\n' || *p == '\t'
-           || *p == '\b')
-         strsize += 2;
-       else if (*p < 040 || *p >= 0177)
-         strsize += 4;
-       else
-         strsize++;
+      int strsize = strlen (cp) + 2;
 
       if (j + strsize > 75)
        {
-         obstack_sgrow (&output_obstack, "\n  ");
+         obstack_sgrow (&format_obstack, "\n  ");
          j = 2;
        }
 
-      obstack_1grow (&output_obstack, '\"');
-      for (p = tags[i]; p && *p; p++)
-       {
-         if (*p == '"' || *p == '\\')
-           obstack_fgrow1 (&output_obstack, "\\%c", *p);
-         else if (*p == '\n')
-           obstack_sgrow (&output_obstack, "\\n");
-         else if (*p == '\t')
-           obstack_sgrow (&output_obstack, "\\t");
-         else if (*p == '\b')
-           obstack_sgrow (&output_obstack, "\\b");
-         else if (*p < 040 || *p >= 0177)
-           obstack_fgrow1 (&output_obstack, "\\%03o", *p);
-         else
-           obstack_1grow (&output_obstack, *p);
-       }
-
-      obstack_sgrow (&output_obstack, "\", ");
+      obstack_sgrow (&format_obstack, cp);
+      obstack_sgrow (&format_obstack, ", ");
       j += strsize;
     }
   /* add a NULL entry to list of tokens */
-  obstack_sgrow (&output_obstack, "NULL");
+  obstack_sgrow (&format_obstack, "NULL");
 
   /* Finish table and store. */
-  obstack_1grow (&output_obstack, 0);
-  macro_insert ("tname", obstack_finish (&output_obstack));
+  obstack_1grow (&format_obstack, 0);
+  muscle_insert ("tname", obstack_finish (&format_obstack));
 
   /* Output YYTOKNUM. */
-  output_table_data (&output_obstack, user_toknums,
-                    0, 1, ntokens + 1);
-  macro_insert ("toknum", obstack_finish (&output_obstack));
+  {
+    short *values = XCALLOC (short, ntokens + 1);
+    for (i = 0; i < ntokens + 1; ++i)
+      values[i] = symbols[i]->user_token_number;
+    output_table_data (&format_obstack, values,
+                      0, 1, ntokens + 1);
+    muscle_insert ("toknum", obstack_finish (&format_obstack));
+    XFREE (values);
+  }
+
 
   /* Output YYR1. */
-  output_table_data (&output_obstack, rlhs, 
-                    0, 1, nrules + 1);
-  macro_insert ("r1", obstack_finish (&output_obstack));
-  XFREE (rlhs + 1);
+  {
+    short *values = XCALLOC (short, nrules + 1);
+    for (i = 0; i < nrules + 1; ++i)
+      values[i] = rules[i].lhs;
+    output_table_data (&format_obstack, values,
+                      0, 1, nrules + 1);
+    muscle_insert ("r1", obstack_finish (&format_obstack));
+    XFREE (values);
+  }
 
   /* Output YYR2. */
   short_tab = XMALLOC (short, nrules + 1);
   for (i = 1; i < nrules; i++)
-    short_tab[i] = rrhs[i + 1] - rrhs[i] - 1;
-  short_tab[nrules] = nitems - rrhs[nrules] - 1;
-  output_table_data (&output_obstack, short_tab, 
+    short_tab[i] = rules[i + 1].rhs - rules[i].rhs - 1;
+  short_tab[nrules] =  nritems - rules[nrules].rhs - 1;
+  output_table_data (&format_obstack, short_tab,
                     0, 1, nrules + 1);
-  macro_insert ("r2", obstack_finish (&output_obstack));
+  muscle_insert ("r2", obstack_finish (&format_obstack));
   XFREE (short_tab);
-
-  XFREE (rrhs + 1);
 }
 
 /*------------------------------------------------------------------.
@@ -308,137 +331,84 @@ output_rule_data (void)
 `------------------------------------------------------------------*/
 
 static int
-action_row (int state)
+action_row (state_t *state)
 {
   int i;
-  int j;
-  int k;
-  int m = 0;
-  int n = 0;
-  int count;
-  int default_rule;
-  int nreds;
-  int max;
-  int rule;
-  int shift_state;
-  int symbol;
-  unsigned mask;
-  unsigned *wordp;
-  reductions *redp;
-  shifts *shiftp;
-  errs *errp;
-  int nodefault = 0;           /* set nonzero to inhibit having any default reduction */
+  int default_rule = 0;
+  reductions *redp = state->reductions;
+  shifts *shiftp = state->shifts;
+  errs *errp = state->errs;
+  /* set nonzero to inhibit having any default reduction */
+  int nodefault = 0;
 
   for (i = 0; i < ntokens; i++)
     actrow[i] = 0;
 
-  default_rule = 0;
-  nreds = 0;
-  redp = reduction_table[state];
-
-  if (redp)
+  if (redp->nreds >= 1)
     {
-      nreds = redp->nreds;
-
-      if (nreds >= 1)
-       {
-         /* loop over all the rules available here which require
-            lookahead */
-         m = lookaheads[state];
-         n = lookaheads[state + 1];
-
-         for (i = n - 1; i >= m; i--)
-           {
-             rule = -LAruleno[i];
-             wordp = LA + i * tokensetsize;
-             mask = 1;
-
-             /* and find each token which the rule finds acceptable
-                to come next */
-             for (j = 0; j < ntokens; j++)
-               {
-                 /* and record this rule as the rule to use if that
-                    token follows.  */
-                 if (mask & *wordp)
-                   actrow[j] = rule;
-
-                 mask <<= 1;
-                 if (mask == 0)
-                   {
-                     mask = 1;
-                     wordp++;
-                   }
-               }
-           }
-       }
+      int j;
+      /* loop over all the rules available here which require
+        lookahead */
+      for (i = state->nlookaheads - 1; i >= 0; --i)
+       /* and find each token which the rule finds acceptable
+          to come next */
+       for (j = 0; j < ntokens; j++)
+         /* and record this rule as the rule to use if that
+            token follows.  */
+         if (BITISSET (LA (state->lookaheadsp + i), j))
+           actrow[j] = -LAruleno[state->lookaheadsp + i];
     }
 
-  shiftp = shift_table[state];
-
   /* Now see which tokens are allowed for shifts in this state.  For
      them, record the shift as the thing to do.  So shift is preferred
      to reduce.  */
-
-  if (shiftp)
+  for (i = 0; i < shiftp->nshifts; i++)
     {
-      k = shiftp->nshifts;
+      int symbol;
+      int shift_state = shiftp->shifts[i];
+      if (!shift_state)
+       continue;
 
-      for (i = 0; i < k; i++)
-       {
-         shift_state = shiftp->shifts[i];
-         if (!shift_state)
-           continue;
-
-         symbol = accessing_symbol[shift_state];
+      symbol = states[shift_state]->accessing_symbol;
 
-         if (ISVAR (symbol))
-           break;
+      if (ISVAR (symbol))
+       break;
 
-         actrow[symbol] = shift_state;
+      actrow[symbol] = shift_state;
 
-         /* Do not use any default reduction if there is a shift for
-            error */
-         if (symbol == error_token_number)
-           nodefault = 1;
-       }
+      /* Do not use any default reduction if there is a shift for
+        error */
+      if (symbol == error_token_number)
+       nodefault = 1;
     }
 
-  errp = err_table[state];
-
   /* See which tokens are an explicit error in this state (due to
      %nonassoc).  For them, record MINSHORT as the action.  */
-
-  if (errp)
+  for (i = 0; i < errp->nerrs; i++)
     {
-      k = errp->nerrs;
-
-      for (i = 0; i < k; i++)
-       {
-         symbol = errp->errs[i];
-         actrow[symbol] = MINSHORT;
-       }
+      int symbol = errp->errs[i];
+      actrow[symbol] = MINSHORT;
     }
 
   /* Now find the most common reduction and make it the default action
      for this state.  */
 
-  if (nreds >= 1 && !nodefault)
+  if (redp->nreds >= 1 && !nodefault)
     {
-      if (consistent[state])
+      if (state->consistent)
        default_rule = redp->rules[0];
       else
        {
-         max = 0;
-         for (i = m; i < n; i++)
+         int max = 0;
+         for (i = 0; i < state->nlookaheads; i++)
            {
-             count = 0;
-             rule = -LAruleno[i];
+             int count = 0;
+             int rule = -LAruleno[state->lookaheadsp + i];
+             int j;
 
              for (j = 0; j < ntokens; j++)
-               {
-                 if (actrow[j] == rule)
-                   count++;
-               }
+               if (actrow[j] == rule)
+                 count++;
 
              if (count > max)
                {
@@ -452,11 +422,10 @@ action_row (int state)
 
          if (max > 0)
            {
+             int j;
              for (j = 0; j < ntokens; j++)
-               {
-                 if (actrow[j] == default_rule)
-                   actrow[j] = 0;
-               }
+               if (actrow[j] == default_rule)
+                 actrow[j] = 0;
 
              default_rule = -default_rule;
            }
@@ -467,11 +436,9 @@ action_row (int state)
      So replace any action which says "error" with "use default".  */
 
   if (default_rule == 0)
-    for (j = 0; j < ntokens; j++)
-      {
-       if (actrow[j] == MINSHORT)
-         actrow[j] = 0;
-      }
+    for (i = 0; i < ntokens; i++)
+      if (actrow[i] == MINSHORT)
+       actrow[i] = 0;
 
   return default_rule;
 }
@@ -488,10 +455,8 @@ save_row (int state)
 
   count = 0;
   for (i = 0; i < ntokens; i++)
-    {
-      if (actrow[i] != 0)
-       count++;
-    }
+    if (actrow[i] != 0)
+      count++;
 
   if (count == 0)
     return;
@@ -500,13 +465,11 @@ save_row (int state)
   tos[state] = sp2 = XCALLOC (short, count);
 
   for (i = 0; i < ntokens; i++)
-    {
-      if (actrow[i] != 0)
-       {
-         *sp1++ = i;
-         *sp2++ = actrow[i];
-       }
-    }
+    if (actrow[i] != 0)
+      {
+       *sp1++ = i;
+       *sp2++ = actrow[i];
+      }
 
   tally[state] = count;
   width[state] = sp1[-1] - sp[0] + 1;
@@ -530,50 +493,115 @@ token_actions (void)
   actrow = XCALLOC (short, ntokens);
   for (i = 0; i < nstates; ++i)
     {
-      yydefact[i] = action_row (i);
+      yydefact[i] = action_row (states[i]);
       save_row (i);
     }
 
-  output_table_data (&output_obstack, yydefact, 
+  output_table_data (&format_obstack, yydefact,
                     yydefact[0], 1, nstates);
-  macro_insert ("defact", obstack_finish (&output_obstack));
-  
+  muscle_insert ("defact", obstack_finish (&format_obstack));
+
   XFREE (actrow);
   XFREE (yydefact);
 }
 
 
-static void
-free_shifts (void)
+/*-----------------------------.
+| Output the actions to OOUT.  |
+`-----------------------------*/
+
+void
+actions_output (FILE *out)
 {
-  shifts *sp, *sptmp;  /* JF derefrenced freed ptr */
+  int rule;
+  for (rule = 1; rule < nrules + 1; ++rule)
+    if (rules[rule].action)
+      {
+       fprintf (out, "  case %d:\n", rule);
+
+       if (!no_lines_flag)
+         fprintf (out, muscle_find ("linef"),
+                  rules[rule].action_line,
+                  quotearg_style (c_quoting_style,
+                                  muscle_find ("filename")));
+       /* As a Bison extension, add the ending semicolon.  Since some
+          Yacc don't do that, help people using bison as a Yacc
+          finding their missing semicolons.  */
+       fprintf (out, "{ %s%s }\n    break;\n\n",
+                rules[rule].action,
+                yacc_flag ? ";" : "");
+      }
+}
 
-  XFREE (shift_table);
 
-  for (sp = first_shift; sp; sp = sptmp)
-    {
-      sptmp = sp->next;
-      XFREE (sp);
-    }
+/*----------------------------.
+| Output the guards to OOUT.  |
+`----------------------------*/
+
+void
+guards_output (FILE *out)
+{
+  int rule;
+  for (rule = 1; rule < nrules + 1; ++rule)
+    if (rules[rule].guard)
+      {
+       fprintf (out, "  case %d:\n", rule);
+
+       if (!no_lines_flag)
+         fprintf (out, muscle_find ("linef"),
+                  rules[rule].guard_line,
+                  quotearg_style (c_quoting_style,
+                                  muscle_find ("filename")));
+       fprintf (out, "{ %s; }\n    break;\n\n",
+                rules[rule].guard);
+      }
 }
 
 
-static void
-free_reductions (void)
+/*---------------------------------------.
+| Output the tokens definition to OOUT.  |
+`---------------------------------------*/
+
+void
+token_definitions_output (FILE *out)
 {
-  reductions *rp, *rptmp;      /* JF fixed freed ptr */
+  int i;
+  for (i = 0; i < ntokens; ++i)
+    {
+      bucket *symbol = symbols[i];
+      int number = symbol->user_token_number;
+
+      if (number == SALIAS)
+       continue;
+      /* Skip error token.  */
+      if (symbol->value == error_token_number)
+       continue;
+      if (symbol->tag[0] == '\'')
+       continue;               /* skip literal character */
+      if (symbol->tag[0] == '\"')
+       {
+         /* use literal string only if given a symbol with an alias */
+         if (symbol->alias)
+           symbol = symbol->alias;
+         else
+           continue;
+       }
 
-  XFREE (reduction_table);
+      /* Don't #define nonliteral tokens whose names contain periods
+        or '$' (as does the default value of the EOF token).  */
+      if (strchr (symbol->tag, '.') || strchr (symbol->tag, '$'))
+       continue;
 
-  for (rp = first_reduction; rp; rp = rptmp)
-    {
-      rptmp = rp->next;
-      XFREE (rp);
+      fprintf (out, "# define %s\t%d\n",
+              symbol->tag, number);
+      if (semantic_parser)
+       /* FIXME: This is probably wrong, and should be just as
+          above. --akim.  */
+       fprintf (out, "# define T%s\t%d\n", symbol->tag, symbol->value);
     }
 }
 
 
-
 static void
 save_column (int symbol, int default_state)
 {
@@ -582,34 +610,28 @@ save_column (int symbol, int default_state)
   short *sp1;
   short *sp2;
   int count;
-  int symno;
+  int symno = symbol - ntokens + nstates;
 
   short begin = goto_map[symbol];
   short end = goto_map[symbol + 1];
 
   count = 0;
   for (i = begin; i < end; i++)
-    {
-      if (to_state[i] != default_state)
-       count++;
-    }
+    if (to_state[i] != default_state)
+      count++;
 
   if (count == 0)
     return;
 
-  symno = symbol - ntokens + nstates;
-
   froms[symno] = sp1 = sp = XCALLOC (short, count);
   tos[symno] = sp2 = XCALLOC (short, count);
 
   for (i = begin; i < end; i++)
-    {
-      if (to_state[i] != default_state)
-       {
-         *sp1++ = from_state[i];
-         *sp2++ = to_state[i];
-       }
-    }
+    if (to_state[i] != default_state)
+      {
+       *sp1++ = from_state[i];
+       *sp2++ = to_state[i];
+      }
 
   tally[symno] = count;
   width[symno] = sp1[-1] - sp[0] + 1;
@@ -619,13 +641,10 @@ static int
 default_goto (int symbol)
 {
   int i;
-  int m;
-  int n;
-  int default_state;
-  int max;
-
-  m = goto_map[symbol];
-  n = goto_map[symbol + 1];
+  int m = goto_map[symbol];
+  int n = goto_map[symbol + 1];
+  int default_state = -1;
+  int max = 0;
 
   if (m == n)
     return -1;
@@ -636,17 +655,12 @@ default_goto (int symbol)
   for (i = m; i < n; i++)
     state_count[to_state[i]]++;
 
-  max = 0;
-  default_state = -1;
-
   for (i = 0; i < nstates; i++)
-    {
-      if (state_count[i] > max)
-       {
-         max = state_count[i];
-         default_state = i;
-       }
-    }
+    if (state_count[i] > max)
+      {
+       max = state_count[i];
+       default_state = i;
+      }
 
   return default_state;
 }
@@ -675,9 +689,9 @@ goto_actions (void)
       yydefgoto[i - ntokens] = default_state;
     }
 
-  output_table_data (&output_obstack, yydefgoto, 
+  output_table_data (&format_obstack, yydefgoto,
                     yydefgoto[0], 1, nsyms - ntokens);
-  macro_insert ("defgoto", obstack_finish (&output_obstack));
+  muscle_insert ("defgoto", obstack_finish (&format_obstack));
 
   XFREE (state_count);
   XFREE (yydefgoto);
@@ -691,50 +705,41 @@ static void
 sort_actions (void)
 {
   int i;
-  int j;
-  int k;
-  int t;
-  int w;
 
   order = XCALLOC (short, nvectors);
   nentries = 0;
 
   for (i = 0; i < nvectors; i++)
-    {
-      if (tally[i] > 0)
-       {
-         t = tally[i];
-         w = width[i];
-         j = nentries - 1;
+    if (tally[i] > 0)
+      {
+       int k;
+       int t = tally[i];
+       int w = width[i];
+       int j = nentries - 1;
 
-         while (j >= 0 && (width[order[j]] < w))
-           j--;
+       while (j >= 0 && (width[order[j]] < w))
+         j--;
 
-         while (j >= 0 && (width[order[j]] == w) && (tally[order[j]] < t))
-           j--;
+       while (j >= 0 && (width[order[j]] == w) && (tally[order[j]] < t))
+         j--;
 
-         for (k = nentries - 1; k > j; k--)
-           order[k + 1] = order[k];
+       for (k = nentries - 1; k > j; k--)
+         order[k + 1] = order[k];
 
-         order[j + 1] = i;
-         nentries++;
-       }
-    }
+       order[j + 1] = i;
+       nentries++;
+      }
 }
 
 
 static int
 matching_state (int vector)
 {
-  int i;
-  int j;
-  int k;
+  int i = order[vector];
   int t;
   int w;
-  int match;
   int prev;
 
-  i = order[vector];
   if (i >= nstates)
     return -1;
 
@@ -743,16 +748,16 @@ matching_state (int vector)
 
   for (prev = vector - 1; prev >= 0; prev--)
     {
-      j = order[prev];
+      int j = order[prev];
+      int k;
+      int match = 1;
+
       if (width[j] != w || tally[j] != t)
        return -1;
 
-      match = 1;
       for (k = 0; match && k < t; k++)
-       {
-         if (tos[j][k] != tos[i][k] || froms[j][k] != froms[i][k])
-           match = 0;
-       }
+       if (tos[j][k] != tos[i][k] || froms[j][k] != froms[i][k])
+         match = 0;
 
       if (match)
        return j;
@@ -765,26 +770,19 @@ matching_state (int vector)
 static int
 pack_vector (int vector)
 {
-  int i;
+  int i = order[vector];
   int j;
-  int k;
-  int t;
+  int t = tally[i];
   int loc = 0;
-  int ok;
-  short *from;
-  short *to;
-
-  i = order[vector];
-  t = tally[i];
+  short *from = froms[i];
+  short *to = tos[i];
 
   assert (t);
 
-  from = froms[i];
-  to = tos[i];
-
   for (j = lowzero - from[0]; j < MAXTABLE; j++)
     {
-      ok = 1;
+      int k;
+      int ok = 1;
 
       for (k = 0; ok && k < t; k++)
        {
@@ -797,10 +795,8 @@ pack_vector (int vector)
        }
 
       for (k = 0; ok && k < vector; k++)
-       {
-         if (pos[k] == j)
-           ok = 0;
-       }
+       if (pos[k] == j)
+         ok = 0;
 
       if (ok)
        {
@@ -820,9 +816,9 @@ pack_vector (int vector)
          return j;
        }
     }
-
-  berror ("pack_vector");
-  return 0;                    /* JF keep lint happy */
+#define pack_vector_succeeded 0
+  assert (pack_vector_succeeded);
+  return 0;
 }
 
 
@@ -862,10 +858,8 @@ pack_table (void)
 
   for (i = 0; i < nvectors; i++)
     {
-      if (froms[i])
-       XFREE (froms[i]);
-      if (tos[i])
-       XFREE (tos[i]);
+      XFREE (froms[i]);
+      XFREE (tos[i]);
     }
 
   XFREE (froms);
@@ -880,14 +874,14 @@ static void
 output_base (void)
 {
   /* Output pact. */
-  output_table_data (&output_obstack, base, 
+  output_table_data (&format_obstack, base,
                     base[0], 1, nstates);
-  macro_insert ("pact", obstack_finish (&output_obstack));
+  muscle_insert ("pact", obstack_finish (&format_obstack));
 
   /* Output pgoto. */
-  output_table_data (&output_obstack, base, 
+  output_table_data (&format_obstack, base,
                     base[nstates], nstates + 1, nvectors);
-  macro_insert ("pgoto", obstack_finish (&output_obstack));
+  muscle_insert ("pgoto", obstack_finish (&format_obstack));
 
   XFREE (base);
 }
@@ -896,9 +890,9 @@ output_base (void)
 static void
 output_table (void)
 {
-  output_table_data (&output_obstack, table, 
+  output_table_data (&format_obstack, table,
                     table[0], 1, high + 1);
-  macro_insert ("table", obstack_finish (&output_obstack));
+  muscle_insert ("table", obstack_finish (&format_obstack));
   XFREE (table);
 }
 
@@ -906,9 +900,9 @@ output_table (void)
 static void
 output_check (void)
 {
-  output_table_data (&output_obstack, check, 
+  output_table_data (&format_obstack, check,
                     check[0], 1, high + 1);
-  macro_insert ("check", obstack_finish (&output_obstack));
+  muscle_insert ("check", obstack_finish (&format_obstack));
   XFREE (check);
 }
 
@@ -918,6 +912,7 @@ output_check (void)
 static void
 output_actions (void)
 {
+  int i;
   nvectors = nstates + nvars;
 
   froms = XCALLOC (short *, nvectors);
@@ -926,12 +921,8 @@ output_actions (void)
   width = XCALLOC (short, nvectors);
 
   token_actions ();
-  free_shifts ();
-  free_reductions ();
-  XFREE (lookaheads);
   XFREE (LA);
   XFREE (LAruleno);
-  XFREE (accessing_symbol);
 
   goto_actions ();
   XFREE (goto_map + ntokens);
@@ -945,157 +936,172 @@ output_actions (void)
   output_table ();
 
   output_check ();
+
+  for (i = 0; i < nstates; ++i)
+    {
+      free (states[i]->shifts);
+      XFREE (states[i]->reductions);
+      free (states[i]->errs);
+      free (states[i]);
+    }
+  XFREE (states);
 }
 
-/*------------------------------------------.
-| Copy the parser code into TABLE_OBSTACK.  |
-`------------------------------------------*/
+\f
+/*---------------------------.
+| Call the skeleton parser.  |
+`---------------------------*/
 
 static void
-output_parser (void)
+output_skeleton (void)
 {
-  int c;
-  FILE *fskel;
-  size_t line;
-  int actions_dumped = 0;
-
-  /* Loop over lines in the standard parser file.  */
+  /* Find the right skeleton file.  */
   if (!skeleton)
     {
       if (semantic_parser)
-       skeleton = skeleton_find ("BISON_HAIRY", BISON_HAIRY);
-      else
-       skeleton = skeleton_find ("BISON_SIMPLE", BISON_SIMPLE);
-    }
-  fskel = xfopen (skeleton, "r");
-
-  /* New output code. */
-  line = 1;
-  c = getc (fskel);
-  while (c != EOF)
-    {
-      if (c != '%')
-       {
-         if (c == '\n')
-           ++line;
-         obstack_1grow (&table_obstack, c);
-         c = getc (fskel);
-       }
-      else if ((c = getc (fskel)) == '%')
-       {
-         /* Read the macro. */
-         char* macro_key = 0;
-         char* macro_value = 0;
-         while (isalnum (c = getc (fskel)) || c == '_')
-           obstack_1grow (&macro_obstack, c);
-         obstack_1grow (&macro_obstack, 0);
-
-         /* Output the right value, or see if it's something special. */
-         macro_key = obstack_finish (&macro_obstack);
-         macro_value = macro_find (macro_key);
-         if (macro_value)
-           obstack_sgrow (&table_obstack, macro_value);
-         else if (!strcmp (macro_key, "line"))
-           obstack_fgrow1 (&table_obstack, "%d", line + 1);
-         else if (!strcmp (macro_key, "action"))
-           {
-             size_t size = obstack_object_size (&action_obstack);
-             obstack_grow (&table_obstack, 
-                           obstack_finish (&action_obstack), size);
-           }
-         else
-           {
-             obstack_sgrow (&table_obstack, "%%");
-             obstack_sgrow (&table_obstack, macro_key);
-           }
-       }
+       skeleton = "bison.hairy";
       else
-       obstack_1grow (&table_obstack, '%');
+       skeleton = "bison.simple";
     }
 
-  /* End. */
-  xfclose (fskel);
-}
+  /* Parse the skeleton file and output the needed parsers.  */
+  muscle_insert ("skeleton", skeleton);
 
-static void
-output_program (void)
-{
-  int c;
+  /* Store the definition of all the muscles. */
+  {
+    FILE *muscles_m4 = xfopen ("/tmp/muscles.m4", "w");
+    /* There are no comments, especially not `#': we do want M4 expansion
+       after `#': think of CPP macros!  */
+    fprintf (muscles_m4, "m4_changecom()\n");
+    fprintf (muscles_m4, "m4_init()\n");
 
-  while ((c = getc (finput)) != EOF)
-    obstack_1grow (&table_obstack, c);
-}
+    fprintf (muscles_m4, "m4_define([b4_actions], \n[[");
+    actions_output (muscles_m4);
+    fprintf (muscles_m4, "]])\n\n");
 
+    fprintf (muscles_m4, "m4_define([b4_guards], \n[[");
+    guards_output (muscles_m4);
+    fprintf (muscles_m4, "]])\n\n");
 
-static void
-free_itemsets (void)
-{
-  core *cp, *cptmp;
+    fprintf (muscles_m4, "m4_define([b4_tokendef], \n[[");
+    token_definitions_output (muscles_m4);
+    fprintf (muscles_m4, "]])\n\n");
 
-  XFREE (state_table);
+    muscles_m4_output (muscles_m4);
 
-  for (cp = first_state; cp; cp = cptmp)
-    {
-      cptmp = cp->next;
-      XFREE (cp);
-    }
-}
-
-/* FIXME. */
+    fprintf (muscles_m4, "m4_wrap([m4_divert_pop(0)])\n");
+    fprintf (muscles_m4, "m4_divert_push(0)dnl\n");
+    xfclose (muscles_m4);
+  }
 
-#define MACRO_INSERT_INT(Key, Value)                   \
-{                                                      \
-  obstack_fgrow1 (&macro_obstack, "%d", Value);                \
-  obstack_1grow (&macro_obstack, 0);                   \
-  macro_insert (Key, obstack_finish (&macro_obstack)); \
+  /* Invoke m4 on the definition of the muscles, and the skeleton. */
+  {
+    const char *bison_pkgdatadir = getenv ("BISON_PKGDATADIR");
+    if (!bison_pkgdatadir)
+      bison_pkgdatadir = PKGDATADIR;
+    skel_in = readpipe ("m4",
+                       "-I",
+                       bison_pkgdatadir,
+                       "m4sugar/m4sugar.m4",
+                       "/tmp/muscles.m4",
+                       skeleton,
+                       NULL);
+    if (!skel_in)
+      error (EXIT_FAILURE, errno, "cannot run m4");
+    skel_lex ();
+  }
 }
 
-#define MACRO_INSERT_STRING(Key, Value)                        \
-{                                                      \
-  obstack_sgrow (&macro_obstack, Value);               \
-  obstack_1grow (&macro_obstack, 0);                   \
-  macro_insert (Key, obstack_finish (&macro_obstack)); \
+static void
+prepare (void)
+{
+  MUSCLE_INSERT_INT ("last", high);
+  MUSCLE_INSERT_INT ("flag", MINSHORT);
+  MUSCLE_INSERT_INT ("pure", pure_parser);
+  MUSCLE_INSERT_INT ("nsym", nsyms);
+  MUSCLE_INSERT_INT ("debug", debug_flag);
+  MUSCLE_INSERT_INT ("final", final_state);
+  MUSCLE_INSERT_INT ("maxtok", max_user_token_number);
+  MUSCLE_INSERT_INT ("error_verbose", error_verbose);
+  MUSCLE_INSERT_STRING ("prefix", spec_name_prefix ? spec_name_prefix : "yy");
+
+  /* FIXME: This is wrong: the muscles should decide whether they hold
+     a copy or not, but the situation is too obscure currently.  */
+  MUSCLE_INSERT_STRING ("output_infix", output_infix ? output_infix : "");
+  MUSCLE_INSERT_STRING ("output_prefix", short_base_name);
+  MUSCLE_INSERT_STRING ("output_parser_name", parser_file_name);
+  MUSCLE_INSERT_STRING ("output_header_name", spec_defines_file);
+
+  MUSCLE_INSERT_INT ("nnts", nvars);
+  MUSCLE_INSERT_INT ("nrules", nrules);
+  MUSCLE_INSERT_INT ("nstates", nstates);
+  MUSCLE_INSERT_INT ("ntokens", ntokens);
+
+  MUSCLE_INSERT_INT ("locations_flag", locations_flag);
+  MUSCLE_INSERT_INT ("defines_flag", defines_flag);
 }
 
-#define MACRO_INSERT_PREFIX(Key, Value)                                        \
-{                                                                      \
-  obstack_fgrow2 (&macro_obstack, "%s%s", spec_name_prefix, Value);    \
-  obstack_1grow (&macro_obstack, 0);                                   \
-  macro_insert (Key, obstack_finish (&macro_obstack));                 \
-}
+/*-------------------------.
+| Output the header file.  |
+`-------------------------*/
 
 static void
-prepare (void)
+header_output (void)
 {
-  MACRO_INSERT_INT ("last", high);
-  MACRO_INSERT_INT ("flag", MINSHORT);
-  MACRO_INSERT_INT ("pure", pure_parser);
-  MACRO_INSERT_INT ("nsym", nsyms);
-  MACRO_INSERT_INT ("debug", debug_flag);
-  MACRO_INSERT_INT ("final", final_state);
-  MACRO_INSERT_INT ("maxtok", max_user_token_number);
-  MACRO_INSERT_INT ("ntbase", ntokens);
-  MACRO_INSERT_INT ("verbose", 0);
-
-  MACRO_INSERT_STRING ("filename", infile);
-
-  MACRO_INSERT_INT ("nnts", nvars);
-  MACRO_INSERT_INT ("nrules", nrules);
-  MACRO_INSERT_INT ("nstates", nstates);
-  MACRO_INSERT_INT ("ntokens", ntokens);
-
-  if (spec_name_prefix)
+  FILE *out = xfopen (spec_defines_file, "w");
+  char *macro_name = compute_header_macro ();
+
+  fprintf (out, "#ifndef %s\n", macro_name);
+  fprintf (out, "# define %s\n\n", macro_name);
+
+  token_definitions_output (out);
+  fprintf (out, "\
+#ifndef YYSTYPE\n\
+typedef %s
+yystype;\n\
+# define YYSTYPE yystype\n\
+#endif\n",
+                   muscle_find ("stype"));
+
+  if (!pure_parser)
+    fprintf (out, "\nextern YYSTYPE %slval;\n",
+            spec_name_prefix ? spec_name_prefix : "yy");
+
+  if (locations_flag)
     {
-      MACRO_INSERT_PREFIX ("yylex", "lex");
-      MACRO_INSERT_PREFIX ("yychar", "char");
-      MACRO_INSERT_PREFIX ("yylval", "lval");
-      MACRO_INSERT_PREFIX ("yydebug", "debug");
-      MACRO_INSERT_PREFIX ("yyerror", "error");
-      MACRO_INSERT_PREFIX ("yynerrs", "nerrs");
-      MACRO_INSERT_PREFIX ("yyparse", "parse");
+      fputs ("\n\n", out);
+      fprintf (out, "\
+#ifndef YYLTYPE\n\
+typedef struct yyltype\n\
+{\n\
+  int first_line;\n\
+  int first_column;\n\
+  int last_line;\n\
+  int last_column;\n\
+} yyltype;\n\
+# define YYLTYPE yyltype\n\
+#endif\n");
+      if (!pure_parser)
+       fprintf (out, "\nextern YYLTYPE %slloc;\n",
+                spec_name_prefix ? spec_name_prefix : "yy");
     }
+
+  if (semantic_parser)
+    {
+      int i;
+
+      for (i = ntokens; i < nsyms; i++)
+       /* don't make these for dummy nonterminals made by gensym.  */
+       if (*symbols[i]->tag != '@')
+         fprintf (out, "# define NT%s\t%d\n", symbols[i]->tag, i);
+    }
+
+  fprintf (out, "\n#endif /* not %s */\n", macro_name);
+  free (macro_name);
+  xfclose (out);
 }
 
+
 /*----------------------------------------------------------.
 | Output the parsing tables and the parser code to ftable.  |
 `----------------------------------------------------------*/
@@ -1103,10 +1109,7 @@ prepare (void)
 void
 output (void)
 {
-  obstack_init (&output_obstack);
-
-  /* reader_output_yylsp (&table_obstack); */
-  free_itemsets ();
+  obstack_init (&format_obstack);
 
   output_token_translations ();
   output_gram ();
@@ -1117,13 +1120,22 @@ output (void)
   output_rule_data ();
   output_actions ();
 
-  /* if (!no_parser_flag) */
   prepare ();
   /* Copy definitions in directive.  */
-  macro_insert ("definitions", obstack_finish (&attrs_obstack));
-  output_parser ();
-  output_program ();
+  obstack_1grow (&attrs_obstack, 0);
+  muscle_insert ("prologue", obstack_finish (&attrs_obstack));
+
+  /* Process the selected skeleton file.  */
+  output_skeleton ();
+
+  /* Output the header if needed. */
+
+  if (0)
+    header_output ();
 
-  obstack_free (&macro_obstack, 0);
-  obstack_free (&output_obstack, 0);
+  free (rules + 1);
+  obstack_free (&muscle_obstack, NULL);
+  obstack_free (&format_obstack, NULL);
+  obstack_free (&action_obstack, NULL);
+  obstack_free (&attrs_obstack, NULL);
 }