]> git.saurik.com Git - bison.git/blobdiff - src/reader.c
* src/reader.c (gensym): `gensym_count' is your own.
[bison.git] / src / reader.c
index ee72dfec5f34b050c685993485fdec3f5f902319..fdd483aef6cf9ef2c0d18d8906134bca930402e5 100644 (file)
@@ -22,6 +22,8 @@
 
 #include "system.h"
 #include "obstack.h"
+#include "quotearg.h"
+#include "quote.h"
 #include "getargs.h"
 #include "files.h"
 #include "xalloc.h"
@@ -32,7 +34,6 @@
 #include "output.h"
 #include "reader.h"
 #include "conflicts.h"
-#include "quote.h"
 
 /* Number of slots allocated (but not necessarily used yet) in `rline'  */
 static int rline_allocated;
@@ -62,9 +63,6 @@ static int typed;
 /* Incremented for each %left, %right or %nonassoc seen */
 static int lastprec;
 
-/* Incremented for each generated symbol */
-static int gensym_count;
-
 static bucket *errtoken;
 static bucket *undeftoken;
 \f
@@ -152,20 +150,17 @@ get_type_name (int n, symbol_list * rule)
   return rp->sym->type_name;
 }
 \f
-/*-----------------------------------------------------------------.
-| Dump the string from FIN to FOUT and OOUT if non null.  MATCH is |
-| the delimiter of the string (either ' or ").                     |
-`-----------------------------------------------------------------*/
+/*------------------------------------------------------------.
+| Dump the string from FIN to OOUT if non null.  MATCH is the |
+| delimiter of the string (either ' or ").                    |
+`------------------------------------------------------------*/
 
 static inline void
-copy_string (FILE *fin, FILE *fout, struct obstack *oout, int match)
+copy_string (FILE *fin, struct obstack *oout, int match)
 {
   int c;
 
-  if (fout)
-    putc (match, fout);
-  if (oout)
-    obstack_1grow (oout, match);
+  obstack_1grow (oout, match);
 
   c = getc (fin);
 
@@ -181,20 +176,14 @@ copy_string (FILE *fin, FILE *fout, struct obstack *oout, int match)
          continue;
        }
 
-      if (fout)
-       putc (c, fout);
-      if (oout)
-       obstack_1grow (oout, c);
+      obstack_1grow (oout, c);
 
       if (c == '\\')
        {
          c = getc (fin);
          if (c == EOF)
            fatal (_("unterminated string at end of file"));
-         if (fout)
-           putc (c, fout);
-         if (oout)
-           obstack_1grow (oout, c);
+         obstack_1grow (oout, c);
 
          if (c == '\n')
            lineno++;
@@ -203,34 +192,27 @@ copy_string (FILE *fin, FILE *fout, struct obstack *oout, int match)
       c = getc (fin);
     }
 
-  if (fout)
-    putc (c, fout);
-  if (oout)
-    obstack_1grow (oout, c);
+  obstack_1grow (oout, c);
 }
 
 
-/*----------------------------------------------------------------.
-| Dump the wannabee comment from IN to OUT1 and OUT2.  In fact we |
-| just saw a `/', which might or might not be a comment.  In any  |
-| case, copy what we saw.                                         |
-|                                                                 |
-| OUT2 might be NULL.                                             |
-`----------------------------------------------------------------*/
+/*-----------------------------------------------------------------.
+| Dump the wannabee comment from IN to OUT1 and OUT2 (which can be |
+| NULL).  In fact we just saw a `/', which might or might not be a |
+| comment.  In any case, copy what we saw.                         |
+|                                                                  |
+| OUT2 might be NULL.                                              |
+`-----------------------------------------------------------------*/
 
 static inline void
-copy_comment2 (FILE *fin, FILE *out1,
-              struct obstack *oout2, struct obstack *oout)
+copy_comment2 (FILE *fin, struct obstack *oout1, struct obstack *oout2)
 {
   int cplus_comment;
   int ended;
   int c;
 
   /* We read a `/', output it. */
-  if (out1)
-    putc ('/', out1);
-  if (oout)
-    obstack_1grow (oout, '/');
+  obstack_1grow (oout1, '/');
   if (oout2)
     obstack_1grow (oout2, '/');
 
@@ -247,10 +229,7 @@ copy_comment2 (FILE *fin, FILE *out1,
       return;
     }
 
-  if (out1)
-    putc (c, out1);
-  if (oout)
-    obstack_1grow (oout, c);
+  obstack_1grow (oout1, c);
   if (oout2)
     obstack_1grow (oout2, c);
   c = getc (fin);
@@ -262,10 +241,7 @@ copy_comment2 (FILE *fin, FILE *out1,
        {
          while (c == '*')
            {
-             if (out1)
-               putc (c, out1);
-             if (oout)
-               obstack_1grow (oout, c);
+             obstack_1grow (oout1, c);
              if (oout2)
                obstack_1grow (oout2, c);
              c = getc (fin);
@@ -273,10 +249,7 @@ copy_comment2 (FILE *fin, FILE *out1,
 
          if (c == '/')
            {
-             if (out1)
-               putc (c, out1);
-             if (oout)
-               obstack_1grow (oout, c);
+             obstack_1grow (oout1, c);
              if (oout2)
                obstack_1grow (oout2, c);
              ended = 1;
@@ -285,10 +258,7 @@ copy_comment2 (FILE *fin, FILE *out1,
       else if (c == '\n')
        {
          lineno++;
-         if (out1)
-           putc (c, out1);
-         if (oout)
-           obstack_1grow (oout, c);
+         obstack_1grow (oout1, c);
          if (oout2)
            obstack_1grow (oout2, c);
          if (cplus_comment)
@@ -300,10 +270,7 @@ copy_comment2 (FILE *fin, FILE *out1,
        fatal (_("unterminated comment"));
       else
        {
-         if (out1)
-           putc (c, out1);
-         if (oout)
-           obstack_1grow (oout, c);
+         obstack_1grow (oout1, c);
          if (oout2)
            obstack_1grow (oout2, c);
          c = getc (fin);
@@ -314,35 +281,32 @@ copy_comment2 (FILE *fin, FILE *out1,
 
 /*-------------------------------------------------------------------.
 | Dump the comment (actually the current string starting with a `/') |
-| from FIN to FOUT.                                                  |
+| from FIN to OOUT.                                                  |
 `-------------------------------------------------------------------*/
 
 static inline void
-copy_comment (FILE *fin, FILE *fout, struct obstack *oout)
+copy_comment (FILE *fin, struct obstack *oout)
 {
-  copy_comment2 (fin, fout, NULL, oout);
+  copy_comment2 (fin, oout, NULL);
 }
 
 
 /*-----------------------------------------------------------------.
-| FIN is pointing to a location (i.e., a `@').  Output to FOUT a   |
+| FIN is pointing to a location (i.e., a `@').  Output to OOUT a   |
 | reference to this location. STACK_OFFSET is the number of values |
 | in the current rule so far, which says where to find `$0' with   |
 | respect to the top of the stack.                                 |
 `-----------------------------------------------------------------*/
 
 static inline void
-copy_at (FILE *fin, FILE *fout, struct obstack *oout, int stack_offset)
+copy_at (FILE *fin, struct obstack *oout, int stack_offset)
 {
   int c;
 
   c = getc (fin);
   if (c == '$')
     {
-      if (fout)
-       fprintf (fout, "yyloc");
-      if (oout)
-       obstack_grow_literal_string (oout, "yyloc");
+      obstack_sgrow (oout, "yyloc");
       locations_flag = 1;
     }
   else if (isdigit (c) || c == '-')
@@ -353,11 +317,7 @@ copy_at (FILE *fin, FILE *fout, struct obstack *oout, int stack_offset)
       ungetc (c, fin);
       n = read_signed_integer (fin);
 
-      sprintf (buf, "yylsp[%d]", n - stack_offset);
-      if (fout)
-       fputs (buf, fout);
-      if (oout)
-       obstack_grow (oout, buf, strlen (buf));
+      obstack_fgrow1 (oout, "yylsp[%d]", n - stack_offset);
       locations_flag = 1;
     }
   else
@@ -374,13 +334,13 @@ copy_at (FILE *fin, FILE *fout, struct obstack *oout, int stack_offset)
 |                                                                    |
 | Possible inputs: $[<TYPENAME>]($|integer)                          |
 |                                                                    |
-| Output to FOUT a reference to this semantic value. STACK_OFFSET is |
+| Output to OOUT a reference to this semantic value. STACK_OFFSET is |
 | the number of values in the current rule so far, which says where  |
 | to find `$0' with respect to the top of the stack.                 |
 `-------------------------------------------------------------------*/
 
 static inline void
-copy_dollar (FILE *fin, FILE *fout, struct obstack *oout,
+copy_dollar (FILE *fin, struct obstack *oout,
             symbol_list *rule, int stack_offset)
 {
   int c = getc (fin);
@@ -397,20 +357,12 @@ copy_dollar (FILE *fin, FILE *fout, struct obstack *oout,
 
   if (c == '$')
     {
-      if (fout)
-       fputs ("yyval", fout);
-      if (oout)
-       obstack_grow_literal_string (oout, "yyval");
+      obstack_sgrow (oout, "yyval");
 
       if (!type_name)
        type_name = get_type_name (0, rule);
       if (type_name)
-       {
-         if (fout)
-           fprintf (fout, ".%s", type_name);
-         if (oout)
-           obstack_fgrow1 (oout, ".%s", type_name);
-       }
+       obstack_fgrow1 (oout, ".%s", type_name);
       if (!type_name && typed)
        complain (_("$$ of `%s' has no declared type"),
                  rule->sym->tag);
@@ -424,18 +376,10 @@ copy_dollar (FILE *fin, FILE *fout, struct obstack *oout,
       if (!type_name && n > 0)
        type_name = get_type_name (n, rule);
 
-      if (fout)
-       fprintf (fout, "yyvsp[%d]", n - stack_offset);
-      if (oout)
-       obstack_fgrow1 (oout, "yyvsp[%d]", n - stack_offset);
+      obstack_fgrow1 (oout, "yyvsp[%d]", n - stack_offset);
 
       if (type_name)
-       {
-         if (fout)
-           fprintf (fout, ".%s", type_name);
-         if (oout)
-           obstack_fgrow1 (oout, ".%s", type_name);
-       }
+       obstack_fgrow1 (oout, ".%s", type_name);
       if (!type_name && typed)
        complain (_("$%d of `%s' has no declared type"),
                  n, rule->sym->tag);
@@ -461,7 +405,8 @@ copy_definition (void)
   int after_percent;
 
   if (!no_lines_flag)
-    obstack_fgrow2 (&attrs_obstack, "#line %d \"%s\"\n", lineno, infile);
+    obstack_fgrow2 (&attrs_obstack, "#line %d %s\n",
+                   lineno, quotearg_style (c_quoting_style, infile));
 
   after_percent = 0;
 
@@ -482,11 +427,11 @@ copy_definition (void)
 
        case '\'':
        case '"':
-         copy_string (finput, 0, &attrs_obstack, c);
+         copy_string (finput, &attrs_obstack, c);
          break;
 
        case '/':
-         copy_comment (finput, 0, &attrs_obstack);
+         copy_comment (finput, &attrs_obstack);
          break;
 
        case EOF:
@@ -518,7 +463,7 @@ copy_definition (void)
 static void
 parse_token_decl (symbol_class what_is, symbol_class what_is_not)
 {
-  int token = 0;
+  token_t token = 0;
   char *typename = 0;
 
   /* The symbol being defined.  */
@@ -538,18 +483,18 @@ parse_token_decl (symbol_class what_is, symbol_class what_is_not)
        fatal (_("Premature EOF after %s"), token_buffer);
 
       token = lex ();
-      if (token == COMMA)
+      if (token == tok_comma)
        {
          symbol = NULL;
          continue;
        }
-      if (token == TYPENAME)
+      if (token == tok_typename)
        {
          typename = xstrdup (token_buffer);
          value_components_used = 1;
          symbol = NULL;
        }
-      else if (token == IDENTIFIER && *symval->tag == '\"' && symbol)
+      else if (token == tok_identifier && *symval->tag == '\"' && symbol)
        {
          if (symval->alias)
            warn (_("symbol `%s' used more than once as a literal string"),
@@ -571,7 +516,7 @@ parse_token_decl (symbol_class what_is, symbol_class what_is_not)
          translations = 1;
          symbol = NULL;
        }
-      else if (token == IDENTIFIER)
+      else if (token == tok_identifier)
        {
          int oldclass = symval->class;
          symbol = symval;
@@ -590,7 +535,7 @@ parse_token_decl (symbol_class what_is, symbol_class what_is_not)
                complain (_("type redeclaration for %s"), symbol->tag);
            }
        }
-      else if (symbol && token == NUMBER)
+      else if (symbol && token == tok_number)
        {
          symbol->user_token_number = numval;
          translations = 1;
@@ -615,7 +560,7 @@ parse_start_decl (void)
 {
   if (start_flag)
     complain (_("multiple %s declarations"), "%start");
-  if (lex () != IDENTIFIER)
+  if (lex () != tok_identifier)
     complain (_("invalid %s declaration"), "%start");
   else
     {
@@ -634,7 +579,7 @@ parse_type_decl (void)
 {
   char *name;
 
-  if (lex () != TYPENAME)
+  if (lex () != tok_typename)
     {
       complain ("%s", _("%type declaration has no <typename>"));
       skip_to_char ('%');
@@ -645,7 +590,7 @@ parse_type_decl (void)
 
   for (;;)
     {
-      int t;
+      token_t t;
       int tmp_char = ungetc (skip_white_space (), finput);
 
       if (tmp_char == '%')
@@ -658,11 +603,11 @@ parse_type_decl (void)
       switch (t)
        {
 
-       case COMMA:
-       case SEMICOLON:
+       case tok_comma:
+       case tok_semicolon:
          break;
 
-       case IDENTIFIER:
+       case tok_identifier:
          if (symval->type_name == NULL)
            symval->type_name = name;
          else if (strcmp (name, symval->type_name) != 0)
@@ -695,7 +640,7 @@ parse_assoc_decl (associativity assoc)
 
   for (;;)
     {
-      int t;
+      token_t t;
       int tmp_char = ungetc (skip_white_space (), finput);
 
       if (tmp_char == '%')
@@ -707,14 +652,14 @@ parse_assoc_decl (associativity assoc)
 
       switch (t)
        {
-       case TYPENAME:
+       case tok_typename:
          name = xstrdup (token_buffer);
          break;
 
-       case COMMA:
+       case tok_comma:
          break;
 
-       case IDENTIFIER:
+       case tok_identifier:
          if (symval->prec != 0)
            complain (_("redefining precedence of %s"), symval->tag);
          symval->prec = lastprec;
@@ -731,8 +676,8 @@ parse_assoc_decl (associativity assoc)
            }
          break;
 
-       case NUMBER:
-         if (prev == IDENTIFIER)
+       case tok_number:
+         if (prev == tok_identifier)
            {
              symval->user_token_number = numval;
              translations = 1;
@@ -746,7 +691,7 @@ token_buffer);
            }
          break;
 
-       case SEMICOLON:
+       case tok_semicolon:
          return;
 
        default:
@@ -779,13 +724,14 @@ parse_union_decl (void)
   typed = 1;
 
   if (!no_lines_flag)
-    obstack_fgrow2 (&attrs_obstack, "\n#line %d \"%s\"\n", lineno, infile);
+    obstack_fgrow2 (&attrs_obstack, "\n#line %d %s\n",
+                   lineno, quotearg_style (c_quoting_style, infile));
   else
     obstack_1grow (&attrs_obstack, '\n');
 
-  obstack_grow_literal_string (&attrs_obstack, "typedef union");
+  obstack_sgrow (&attrs_obstack, "typedef union");
   if (defines_flag)
-    obstack_grow_literal_string (&defines_obstack, "typedef union");
+    obstack_sgrow (&defines_obstack, "typedef union");
 
   c = getc (finput);
 
@@ -793,7 +739,7 @@ parse_union_decl (void)
     {
       obstack_1grow (&attrs_obstack, c);
       if (defines_flag)
-       obstack_grow_literal_string (&defines_obstack, c);
+       obstack_1grow (&defines_obstack, c);
 
       switch (c)
        {
@@ -802,7 +748,7 @@ parse_union_decl (void)
          break;
 
        case '/':
-         copy_comment2 (finput, 0, &defines_obstack, &attrs_obstack);
+         copy_comment2 (finput, &defines_obstack, &attrs_obstack);
          break;
 
        case '{':
@@ -815,9 +761,9 @@ parse_union_decl (void)
          count--;
          if (count <= 0)
            {
-             obstack_grow_literal_string (&attrs_obstack, " YYSTYPE;\n");
+             obstack_sgrow (&attrs_obstack, " YYSTYPE;\n");
              if (defines_flag)
-               obstack_grow_literal_string (&defines_obstack, " YYSTYPE;\n");
+               obstack_sgrow (&defines_obstack, " YYSTYPE;\n");
              /* JF don't choke on trailing semi */
              c = skip_white_space ();
              if (c != ';')
@@ -872,14 +818,14 @@ parse_expect_decl (void)
 static void
 parse_thong_decl (void)
 {
-  int token;
+  token_t token;
   struct bucket *symbol;
   char *typename = 0;
   int usrtoknum;
 
   translations = 1;
   token = lex ();              /* fetch typename or first token */
-  if (token == TYPENAME)
+  if (token == tok_typename)
     {
       typename = xstrdup (token_buffer);
       value_components_used = 1;
@@ -888,7 +834,7 @@ parse_thong_decl (void)
 
   /* process first token */
 
-  if (token != IDENTIFIER)
+  if (token != tok_identifier)
     {
       complain (_("unrecognized item %s, expected an identifier"),
                token_buffer);
@@ -902,7 +848,7 @@ parse_thong_decl (void)
 
   token = lex ();              /* get number or literal string */
 
-  if (token == NUMBER)
+  if (token == tok_number)
     {
       usrtoknum = numval;
       token = lex ();          /* okay, did number, now get literal */
@@ -912,7 +858,7 @@ parse_thong_decl (void)
 
   /* process literal string token */
 
-  if (token != IDENTIFIER || *symval->tag != '\"')
+  if (token != tok_identifier || *symval->tag != '\"')
     {
       complain (_("expected string constant instead of %s"), token_buffer);
       skip_to_char ('%');
@@ -952,65 +898,54 @@ read_declarations (void)
 
          switch (tok)
            {
-           case TWO_PERCENTS:
+           case tok_two_percents:
              return;
 
-           case PERCENT_LEFT_CURLY:
+           case tok_percent_left_curly:
              copy_definition ();
              break;
 
-           case TOKEN:
+           case tok_token:
              parse_token_decl (token_sym, nterm_sym);
              break;
 
-           case NTERM:
+           case tok_nterm:
              parse_token_decl (nterm_sym, token_sym);
              break;
 
-           case TYPE:
+           case tok_type:
              parse_type_decl ();
              break;
 
-           case START:
+           case tok_start:
              parse_start_decl ();
              break;
 
-           case UNION:
+           case tok_union:
              parse_union_decl ();
              break;
 
-           case EXPECT:
+           case tok_expect:
              parse_expect_decl ();
              break;
-           case THONG:
+
+           case tok_thong:
              parse_thong_decl ();
              break;
 
-           case LEFT:
+           case tok_left:
              parse_assoc_decl (left_assoc);
              break;
 
-           case RIGHT:
+           case tok_right:
              parse_assoc_decl (right_assoc);
              break;
 
-           case NONASSOC:
+           case tok_nonassoc:
              parse_assoc_decl (non_assoc);
              break;
 
-           case SEMANTIC_PARSER:
-             if (semantic_parser == 0)
-               {
-                 semantic_parser = 1;
-                 open_extra_files ();
-               }
-             break;
-
-           case PURE_PARSER:
-             pure_parser = 1;
-             break;
-
-           case NOOP:
+           case tok_noop:
              break;
 
            default:
@@ -1053,7 +988,8 @@ copy_action (symbol_list *rule, int stack_offset)
 
   if (!no_lines_flag)
     {
-      sprintf (buf, "#line %d \"%s\"\n", lineno, infile);
+      sprintf (buf, "#line %d %s\n",
+              lineno, quotearg_style (c_quoting_style, infile));
       obstack_grow (&action_obstack, buf, strlen (buf));
     }
   obstack_1grow (&action_obstack, '{');
@@ -1079,20 +1015,20 @@ copy_action (symbol_list *rule, int stack_offset)
 
            case '\'':
            case '"':
-             copy_string (finput, 0, &action_obstack, c);
+             copy_string (finput, &action_obstack, c);
              break;
 
            case '/':
-             copy_comment (finput, 0, &action_obstack);
+             copy_comment (finput, &action_obstack);
              break;
 
            case '$':
-             copy_dollar (finput, 0, &action_obstack,
+             copy_dollar (finput, &action_obstack,
                           rule, stack_offset);
              break;
 
            case '@':
-             copy_at (finput, 0, &action_obstack,
+             copy_at (finput, &action_obstack,
                       stack_offset);
              break;
 
@@ -1115,8 +1051,7 @@ copy_action (symbol_list *rule, int stack_offset)
        }
     }
 
-  obstack_grow_literal_string (&action_obstack,
-                              ";\n    break;}");
+  obstack_sgrow (&action_obstack, ";\n    break;}");
 }
 \f
 /*-------------------------------------------------------------------.
@@ -1139,10 +1074,11 @@ copy_guard (symbol_list *rule, int stack_offset)
   if (semantic_parser)
     stack_offset = 0;
 
-  fprintf (fguard, "\ncase %d:\n", nrules);
+  obstack_fgrow1 (&guard_obstack, "\ncase %d:\n", nrules);
   if (!no_lines_flag)
-    fprintf (fguard, "#line %d \"%s\"\n", lineno, infile);
-  putc ('{', fguard);
+    obstack_fgrow2 (&guard_obstack, "#line %d %s\n",
+                   lineno, quotearg_style (c_quoting_style, infile));
+  obstack_1grow (&guard_obstack, '{');
 
   count = 0;
   c = getc (finput);
@@ -1152,18 +1088,18 @@ copy_guard (symbol_list *rule, int stack_offset)
       switch (c)
        {
        case '\n':
-         putc (c, fguard);
+         obstack_1grow (&guard_obstack, c);
          lineno++;
          break;
 
        case '{':
-         putc (c, fguard);
+         obstack_1grow (&guard_obstack, c);
          brace_flag = 1;
          count++;
          break;
 
        case '}':
-         putc (c, fguard);
+         obstack_1grow (&guard_obstack, c);
          if (count > 0)
            count--;
          else
@@ -1175,26 +1111,26 @@ copy_guard (symbol_list *rule, int stack_offset)
 
        case '\'':
        case '"':
-         copy_string (finput, fguard, 0, c);
+         copy_string (finput, &guard_obstack, c);
          break;
 
        case '/':
-         copy_comment (finput, fguard, 0);
+         copy_comment (finput, &guard_obstack);
          break;
 
        case '$':
-         copy_dollar (finput, fguard, 0, rule, stack_offset);
+         copy_dollar (finput, &guard_obstack, rule, stack_offset);
          break;
 
        case '@':
-         copy_at (finput, fguard, 0, stack_offset);
+         copy_at (finput, &guard_obstack, stack_offset);
          break;
 
        case EOF:
          fatal ("%s", _("unterminated %guard clause"));
 
        default:
-         putc (c, fguard);
+         obstack_1grow (&guard_obstack, c);
        }
 
       if (c != '}' || count != 0)
@@ -1203,7 +1139,7 @@ copy_guard (symbol_list *rule, int stack_offset)
 
   c = skip_white_space ();
 
-  fprintf (fguard, ";\n    break;}");
+  obstack_sgrow (&guard_obstack, ";\n    break;}");
   if (c == '{')
     copy_action (rule, stack_offset);
   else if (c == '=')
@@ -1239,9 +1175,14 @@ record_rule_line (void)
 static bucket *
 gensym (void)
 {
+  /* Incremented for each generated symbol */
+  static int gensym_count = 0;
+  static char buf[256];
+
   bucket *sym;
 
-  sprintf (token_buffer, "@%d", ++gensym_count);
+  sprintf (buf, "@%d", ++gensym_count);
+  token_buffer = buf;
   sym = getsym (token_buffer);
   sym->class = nterm_sym;
   sym->value = nvars++;
@@ -1259,12 +1200,12 @@ static int
 get_type (void)
 {
   int k;
-  int t;
+  token_t token;
   char *name;
 
-  t = lex ();
+  token = lex ();
 
-  if (t != TYPENAME)
+  if (token != tok_typename)
     {
       complain (_("invalid %s declaration"), "%type");
       return t;
@@ -1274,17 +1215,17 @@ get_type (void)
 
   for (;;)
     {
-      t = lex ();
+      token = lex ();
 
-      switch (t)
+      switch (token)
        {
-       case SEMICOLON:
+       case tok_semicolon:
          return lex ();
 
-       case COMMA:
+       case tok_comma:
          break;
 
-       case IDENTIFIER:
+       case tok_identifier:
          if (symval->type_name == NULL)
            symval->type_name = name;
          else if (strcmp (name, symval->type_name) != 0)
@@ -1293,7 +1234,7 @@ get_type (void)
          break;
 
        default:
-         return t;
+         return token;
        }
     }
 }
@@ -1314,7 +1255,7 @@ get_type (void)
 static void
 readgram (void)
 {
-  int t;
+  token_t t;
   bucket *lhs = NULL;
   symbol_list *p;
   symbol_list *p1;
@@ -1330,9 +1271,9 @@ readgram (void)
 
   t = lex ();
 
-  while (t != TWO_PERCENTS && t != ENDFILE)
+  while (t != tok_two_percents && t != tok_eof)
     {
-      if (t == IDENTIFIER || t == BAR)
+      if (t == tok_identifier || t == tok_bar)
        {
          int action_flag = 0;
          /* Number of symbols in rhs of this rule so far */
@@ -1340,7 +1281,7 @@ readgram (void)
          int xactions = 0;     /* JF for error checking */
          bucket *first_rhs = 0;
 
-         if (t == IDENTIFIER)
+         if (t == tok_identifier)
            {
              lhs = symval;
 
@@ -1351,14 +1292,14 @@ readgram (void)
                }
 
              t = lex ();
-             if (t != COLON)
+             if (t != tok_colon)
                {
                  complain (_("ill-formed rule: initial symbol not followed by colon"));
                  unlex (t);
                }
            }
 
-         if (nrules == 0 && t == BAR)
+         if (nrules == 0 && t == tok_bar)
            {
              complain (_("grammar starts with vertical bar"));
              lhs = symval;     /* BOGUS: use a random symval */
@@ -1398,28 +1339,28 @@ readgram (void)
          for (;;)
            {
              t = lex ();
-             if (t == PREC)
+             if (t == tok_prec)
                {
                  t = lex ();
                  crule->ruleprec = symval;
                  t = lex ();
                }
 
-             if (!(t == IDENTIFIER || t == LEFT_CURLY))
+             if (!(t == tok_identifier || t == tok_left_curly))
                break;
 
              /* If next token is an identifier, see if a colon follows it.
                 If one does, exit this rule now.  */
-             if (t == IDENTIFIER)
+             if (t == tok_identifier)
                {
                  bucket *ssave;
-                 int t1;
+                 token_t t1;
 
                  ssave = symval;
                  t1 = lex ();
                  unlex (t1);
                  symval = ssave;
-                 if (t1 == COLON)
+                 if (t1 == tok_colon)
                    break;
 
                  if (!first_rhs)       /* JF */
@@ -1469,7 +1410,7 @@ readgram (void)
                  action_flag = 0;
                }
 
-             if (t == IDENTIFIER)
+             if (t == tok_identifier)
                {
                  nitems++;
                  p = XCALLOC (symbol_list, 1);
@@ -1491,14 +1432,14 @@ readgram (void)
          p1->next = p;
          p1 = p;
 
-         if (t == PREC)
+         if (t == tok_prec)
            {
              complain (_("two @prec's in a row"));
              t = lex ();
              crule->ruleprec = symval;
              t = lex ();
            }
-         if (t == GUARD)
+         if (t == tok_guard)
            {
              if (!semantic_parser)
                complain (_("%%guard present but %%semantic_parser not specified"));
@@ -1506,7 +1447,7 @@ readgram (void)
              copy_guard (crule, rulelength);
              t = lex ();
            }
-         else if (t == LEFT_CURLY)
+         else if (t == tok_left_curly)
            {
              /* This case never occurs -wjh */
              if (action_flag)
@@ -1531,7 +1472,7 @@ readgram (void)
          /* Warn if there is no default for $$ but we need one.  */
          else if (!xactions && !first_rhs && lhs->type_name != 0)
            complain (_("empty rule for typed nonterminal, and no action"));
-         if (t == SEMICOLON)
+         if (t == tok_semicolon)
            t = lex ();
        }
 #if 0
@@ -1541,31 +1482,31 @@ readgram (void)
        b) most of them scan forward until finding a next %
                thus they may swallow lots of intervening rules
 */
-      else if (t == TOKEN)
+      else if (t == tok_token)
        {
          parse_token_decl (token_sym, nterm_sym);
          t = lex ();
        }
-      else if (t == NTERM)
+      else if (t == tok_nterm)
        {
          parse_token_decl (nterm_sym, token_sym);
          t = lex ();
        }
-      else if (t == TYPE)
+      else if (t == tok_type)
        {
          t = get_type ();
        }
-      else if (t == UNION)
+      else if (t == tok_union)
        {
          parse_union_decl ();
          t = lex ();
        }
-      else if (t == EXPECT)
+      else if (t == tok_expect)
        {
          parse_expect_decl ();
          t = lex ();
        }
-      else if (t == START)
+      else if (t == tok_start)
        {
          parse_start_decl ();
          t = lex ();
@@ -1594,10 +1535,10 @@ readgram (void)
       /* We used to use `unsigned long' as YYSTYPE on MSDOS,
          but it seems better to be consistent.
          Most programs should declare their own type anyway.  */
-      obstack_grow_literal_string (&attrs_obstack,
-                           "#ifndef YYSTYPE\n#define YYSTYPE int\n#endif\n");
+      obstack_sgrow (&attrs_obstack,
+                          "#ifndef YYSTYPE\n#define YYSTYPE int\n#endif\n");
       if (defines_flag)
-       obstack_grow_literal_string (&defines_obstack, "\
+       obstack_sgrow (&defines_obstack, "\
 #ifndef YYSTYPE\n\
 # define YYSTYPE int\n\
 #endif\n");
@@ -1807,8 +1748,8 @@ packsymbols (void)
            obstack_fgrow1 (&defines_obstack, "\nextern YYSTYPE %slval;\n",
                            spec_name_prefix);
          else
-           obstack_grow_literal_string (&defines_obstack,
-                                        "\nextern YYSTYPE yylval;\n");
+           obstack_sgrow (&defines_obstack,
+                                "\nextern YYSTYPE yylval;\n");
        }
 
       if (semantic_parser)
@@ -1896,7 +1837,7 @@ packgram (void)
 \f
 /*-------------------------------------------------------------------.
 | Read in the grammar specification and record it in the format      |
-| described in gram.h.  All guards are copied into the FGUARD file   |
+| described in gram.h.  All guards are copied into the GUARD_OBSTACK |
 | and all actions into ACTION_OBSTACK, in each case forming the body |
 | of a C function (YYGUARD or YYACTION) which contains a switch      |
 | statement to decide which guard or action to execute.              |
@@ -1927,8 +1868,6 @@ reader (void)
   typed = 0;
   lastprec = 0;
 
-  gensym_count = 0;
-
   semantic_parser = 0;
   pure_parser = 0;
 
@@ -1960,7 +1899,7 @@ reader (void)
                  no_parser_flag ? "Bison-generated parse tables" : "A Bison parser",
                  infile, VERSION);
 
-  obstack_grow_literal_string (&table_obstack,
+  obstack_sgrow (&table_obstack,
                       "#define YYBISON 1  /* Identify Bison output.  */\n\n");
   read_declarations ();
   /* Start writing the guard and action files, if they are needed.  */
@@ -1975,7 +1914,7 @@ reader (void)
   /* Write closing delimiters for actions and guards.  */
   output_trailers ();
   if (locations_flag)
-    obstack_grow_literal_string (&table_obstack, "#define YYLSP_NEEDED 1\n\n");
+    obstack_sgrow (&table_obstack, "#define YYLSP_NEEDED 1\n\n");
   /* Assign the symbols their symbol numbers.  Write #defines for the
      token symbols into FDEFINES if requested.  */
   packsymbols ();
@@ -1987,22 +1926,25 @@ reader (void)
 }
 
 
+/*------------------------------------------------------------------.
+| Define YYLTYPE.  Cannot be in the skeleton since we might have to |
+| output it in the headers if --defines is used.                    |
+`------------------------------------------------------------------*/
+
 void
 reader_output_yylsp (struct obstack *oout)
 {
   if (locations_flag)
-    obstack_grow_literal_string (oout, "\
+    obstack_sgrow (oout, "\
 \n\
 #ifndef YYLTYPE\n\
 typedef struct yyltype\n\
 {\n\
-  int timestamp;\n\
   int first_line;\n\
-  int first_column;\
+  int first_column;\n\
 \n\
   int last_line;\n\
   int last_column;\n\
-  char *text;\n\
 } yyltype;\n\
 \n\
 # define YYLTYPE yyltype\n\