]> git.saurik.com Git - bison.git/blobdiff - src/scan-gram.l
* src/reader.h, src/reader.c (symbol_list, symbol_list_new)
[bison.git] / src / scan-gram.l
index e6abed5f82332d7a430416c845e022d7f19bec60..15d75433af51c53c7165f3d1209690316f409654 100644 (file)
 #include "reader.h"
 
 /* Each time we match a string, move the end cursor to its end. */
+#define YY_USER_INIT                           \
+do {                                           \
+  LOCATION_RESET (*yylloc);                    \
+   /* This is only to avoid GCC warnings. */   \
+  if (yycontrol) {;};                          \
+} while (0)
+
 #define YY_USER_ACTION  LOCATION_COLUMNS (*yylloc, yyleng)
 #define YY_LINES        LOCATION_LINES (*yylloc, yyleng); lineno += yyleng;
 #define YY_STEP         LOCATION_STEP (*yylloc)
 
-/* Appending to the STRING_OBSTACK. */
-#define YY_INIT         obstack_init (&string_obstack)
-#define YY_GROW         obstack_grow (&string_obstack, yytext, yyleng)
-#define YY_FINISH       obstack_1grow (&string_obstack, '\0'); yylval->string = obstack_finish (&string_obstack);
 
-/* This is only to avoid GCC warnings. */
-#define YY_USER_INIT    if (yycontrol) {;};
+/* STRING_OBSTACK -- Used to store all the characters that we need to
+   keep (to construct ID, STRINGS etc.).  Use the following macros to
+   use it.
+
+   Use YY_OBS_GROW to append what has just been matched, and
+   YY_OBS_FINISH to end the string (it puts the ending 0).
+   YY_OBS_FINISH also stores this string in LAST_STRING, which can be
+   used, and which is used by YY_OBS_FREE to free the last string.  */
 
 static struct obstack string_obstack;
+char *last_string;
+
+#define YY_OBS_GROW   \
+  obstack_grow (&string_obstack, yytext, yyleng)
+
+#define YY_OBS_FINISH                                  \
+  do {                                                 \
+    obstack_1grow (&string_obstack, '\0');             \
+    last_string = obstack_finish (&string_obstack);    \
+  } while (0)
+
+#define YY_OBS_FREE                                            \
+  do {                                                         \
+    obstack_free (&string_obstack, last_string);               \
+  } while (0)
+
+void
+scanner_last_string_free (void)
+{
+  YY_OBS_FREE;
+}
+
+
+
 static int braces_level = 0;
 static int percent_percent_count = 0;
 
-static void handle_dollar PARAMS ((char *cp));
+static void handle_dollar PARAMS ((char *cp, location_t location));
 static void handle_at PARAMS ((char *cp));
 
 %}
@@ -67,7 +100,7 @@ blanks   [ \t\f]+
      start of the next token.  */
 #define TR_POS 0
 #if TR_POS
-  fprintf (stderr, "FOO1: ");
+  fprintf (stderr, "FOO1: %p: ", yylloc);
   LOCATION_PRINT (stderr, *yylloc);
   fprintf (stderr, "\n");
 #endif
@@ -121,31 +154,36 @@ blanks   [ \t\f]+
   {eols}      YY_LINES; YY_STEP;
   {blanks}    YY_STEP;
   {id}        {
-    YY_INIT; YY_GROW; YY_FINISH;
-    yylval->symbol = getsym (yylval->string);
+    yylval->symbol = getsym (yytext, *yylloc);
     return ID;
   }
 
   {int}       yylval->integer = strtol (yytext, 0, 10); return INT;
 
   /* Characters.  We don't check there is only one.  */
-  \'          YY_INIT; YY_GROW; yy_push_state (SC_ESCAPED_CHARACTER);
+  \'          YY_OBS_GROW; yy_push_state (SC_ESCAPED_CHARACTER);
 
   /* Strings. */
-  \"          YY_INIT; YY_GROW; yy_push_state (SC_ESCAPED_STRING);
+  \"          YY_OBS_GROW; yy_push_state (SC_ESCAPED_STRING);
 
   /* Comments. */
   "/*"        yy_push_state (SC_COMMENT);
   "//".*      YY_STEP;
 
   /* Prologue. */
-  "%{"        YY_INIT; yy_push_state (SC_PROLOGUE);
+  "%{"        yy_push_state (SC_PROLOGUE);
 
   /* Code in between braces.  */
-  "{"         YY_INIT; YY_GROW; ++braces_level; yy_push_state (SC_BRACED_CODE);
+  "{"         YY_OBS_GROW; ++braces_level; yy_push_state (SC_BRACED_CODE);
 
   /* A type. */
-  "<"[^>]+">" YY_INIT; obstack_grow (&string_obstack, yytext + 1, yyleng - 2); YY_FINISH; return TYPE;
+  "<"[^>]+">" {
+    obstack_grow (&string_obstack, yytext + 1, yyleng - 2);
+    YY_OBS_FINISH;
+    yylval->string = last_string;
+    return TYPE;
+  }
+
 
   "%%"   {
     if (++percent_percent_count == 2)
@@ -169,8 +207,8 @@ blanks   [ \t\f]+
 
 <SC_COMMENT,SC_STRING,SC_CHARACTER,SC_BRACED_CODE,SC_PROLOGUE,SC_EPILOGUE>
 {
-  \[          obstack_sgrow (&string_obstack, "@<:@");
-  \]          obstack_sgrow (&string_obstack, "@:>@");
+  \[          if (YY_START != SC_COMMENT) obstack_sgrow (&string_obstack, "@<:@");
+  \]          if (YY_START != SC_COMMENT) obstack_sgrow (&string_obstack, "@:>@");
 }
 
 
@@ -188,14 +226,14 @@ blanks   [ \t\f]+
       }
     else
       {
-       YY_GROW;
+       YY_OBS_GROW;
       }
     yy_pop_state ();
   }
 
-  [^\[\]*\n\r]+        if (yy_top_state () != INITIAL) YY_GROW;
-  {eols}       if (yy_top_state () != INITIAL) YY_GROW; YY_LINES;
-  .             /* Stray `*'. */if (yy_top_state () != INITIAL) YY_GROW;
+  [^\[\]*\n\r]+        if (yy_top_state () != INITIAL) YY_OBS_GROW;
+  {eols}       if (yy_top_state () != INITIAL) YY_OBS_GROW; YY_LINES;
+  .             /* Stray `*'. */if (yy_top_state () != INITIAL) YY_OBS_GROW;
 
   <<EOF>> {
     LOCATION_PRINT (stderr, *yylloc);
@@ -214,13 +252,14 @@ blanks   [ \t\f]+
 {
   \" {
     assert (yy_top_state () == INITIAL);
-    YY_GROW;
-    YY_FINISH;
+    YY_OBS_GROW;
+    YY_OBS_FINISH;
+    yylval->string = last_string;
     yy_pop_state ();
     return STRING;
   }
 
-  [^\"\n\r\\]+      YY_GROW;
+  [^\"\n\r\\]+      YY_OBS_GROW;
 
   {eols}    obstack_1grow (&string_obstack, '\n'); YY_LINES;
 
@@ -228,7 +267,8 @@ blanks   [ \t\f]+
     LOCATION_PRINT (stderr, *yylloc);
     fprintf (stderr, ": unexpected end of file in a string\n");
     assert (yy_top_state () == INITIAL);
-    YY_FINISH;
+    YY_OBS_FINISH;
+    yylval->string = last_string;
     yy_pop_state ();
     return STRING;
   }
@@ -242,21 +282,20 @@ blanks   [ \t\f]+
 <SC_ESCAPED_CHARACTER>
 {
   \' {
-    YY_GROW;
+    YY_OBS_GROW;
     assert (yy_top_state () == INITIAL);
     {
-      char c;
-      YY_FINISH;
-      c = yylval->string[1];
-      yylval->symbol = getsym (yylval->string);
+      YY_OBS_FINISH;
+      yylval->symbol = getsym (last_string, *yylloc);
       symbol_class_set (yylval->symbol, token_sym);
-      symbol_user_token_number_set (yylval->symbol, (unsigned int) c);
+      symbol_user_token_number_set (yylval->symbol, last_string[1]);
+      YY_OBS_FREE;
       yy_pop_state ();
       return ID;
     }
   }
 
-  [^\'\n\r\\]      YY_GROW;
+  [^\'\n\r\\]      YY_OBS_GROW;
 
   {eols}    obstack_1grow (&string_obstack, '\n'); YY_LINES;
 
@@ -264,7 +303,8 @@ blanks   [ \t\f]+
     LOCATION_PRINT (stderr, *yylloc);
     fprintf (stderr, ": unexpected end of file in a character\n");
     assert (yy_top_state () == INITIAL);
-    YY_FINISH;
+    YY_OBS_FINISH;
+    yylval->string = last_string;
     yy_pop_state ();
     return CHARACTER;
   }
@@ -304,7 +344,7 @@ blanks   [ \t\f]+
   \\.  {
     LOCATION_PRINT (stderr, *yylloc);
     fprintf (stderr, ": unrecognized escape: %s\n", yytext);
-    YY_GROW;
+    YY_OBS_GROW;
   }
 }
 
@@ -317,15 +357,15 @@ blanks   [ \t\f]+
 <SC_CHARACTER>
 {
   \' {
-    YY_GROW;
+    YY_OBS_GROW;
     assert (yy_top_state () != INITIAL);
     yy_pop_state ();
   }
 
-  [^\[\]\'\n\r\\]      YY_GROW;
-  \\.                  YY_GROW;
+  [^\[\]\'\n\r\\]      YY_OBS_GROW;
+  \\.                  YY_OBS_GROW;
 
-  {eols}               YY_GROW; YY_LINES;
+  {eols}               YY_OBS_GROW; YY_LINES;
 
   <<EOF>> {
     LOCATION_PRINT (stderr, *yylloc);
@@ -345,14 +385,14 @@ blanks   [ \t\f]+
 {
   \" {
     assert (yy_top_state () != INITIAL);
-    YY_GROW;
+    YY_OBS_GROW;
     yy_pop_state ();
   }
 
-  [^\[\]\"\n\r\\]+      YY_GROW;
-  \\.                   YY_GROW;
+  [^\[\]\"\n\r\\]+      YY_OBS_GROW;
+  \\.                   YY_OBS_GROW;
 
-  {eols}                YY_GROW; YY_LINES;
+  {eols}                YY_OBS_GROW; YY_LINES;
 
   <<EOF>> {
     LOCATION_PRINT (stderr, *yylloc);
@@ -370,14 +410,14 @@ blanks   [ \t\f]+
 <SC_BRACED_CODE,SC_PROLOGUE,SC_EPILOGUE>
 {
   /* Characters.  We don't check there is only one.  */
-  \'          YY_GROW; yy_push_state (SC_CHARACTER);
+  \'          YY_OBS_GROW; yy_push_state (SC_CHARACTER);
 
   /* Strings. */
-  \"          YY_GROW; yy_push_state (SC_STRING);
+  \"          YY_OBS_GROW; yy_push_state (SC_STRING);
 
   /* Comments. */
-  "/*"        YY_GROW; yy_push_state (SC_COMMENT);
-  "//".*      YY_GROW;
+  "/*"        YY_OBS_GROW; yy_push_state (SC_COMMENT);
+  "//".*      YY_OBS_GROW;
 }
 
 
@@ -389,32 +429,34 @@ blanks   [ \t\f]+
 <SC_BRACED_CODE>
 {
   "}" {
-    YY_GROW;
+    YY_OBS_GROW;
     if (--braces_level == 0)
       {
        yy_pop_state ();
-       YY_FINISH;
+       YY_OBS_FINISH;
+       yylval->string = last_string;
        return BRACED_CODE;
       }
   }
 
-  "{"                  YY_GROW; braces_level++;
+  "{"                  YY_OBS_GROW; braces_level++;
 
-  "$"("<".*">")?(-?[0-9]+|"$") { handle_dollar (yytext); }
+  "$"("<"[^>]+">")?(-?[0-9]+|"$") { handle_dollar (yytext, *yylloc); }
   "@"(-?[0-9]+|"$")            { handle_at (yytext); }
 
-  [^\[\]$/\'\"@\{\}\n\r]+ YY_GROW;
-  {eols}       YY_GROW; YY_LINES;
+  [^$@\[\]/\'\"\{\}\n\r]+ YY_OBS_GROW;
+  {eols}       YY_OBS_GROW; YY_LINES;
 
   /* A lose $, or /, or etc. */
-  .             YY_GROW;
+  .             YY_OBS_GROW;
 
   <<EOF>> {
     LOCATION_PRINT (stderr, *yylloc);
     fprintf (stderr, ": unexpected end of file in a braced code\n");
     yy_pop_state ();
-    YY_FINISH;
-    return PROLOGUE;
+    YY_OBS_FINISH;
+    yylval->string = last_string;
+    return BRACED_CODE;
   }
 
 }
@@ -428,19 +470,21 @@ blanks   [ \t\f]+
 {
   "%}" {
     yy_pop_state ();
-    YY_FINISH;
+    YY_OBS_FINISH;
+    yylval->string = last_string;
     return PROLOGUE;
   }
 
-  [^\[\]%\n\r]+          YY_GROW;
-  "%"+[^%\}\n\r]+ YY_GROW;
-  {eols}         YY_GROW; YY_LINES;
+  [^%\[\]/\'\"\n\r]+     YY_OBS_GROW;
+  "%"+[^%\}\n\r]+ YY_OBS_GROW;
+  {eols}         YY_OBS_GROW; YY_LINES;
 
   <<EOF>> {
     LOCATION_PRINT (stderr, *yylloc);
     fprintf (stderr, ": unexpected end of file in a prologue\n");
     yy_pop_state ();
-    YY_FINISH;
+    YY_OBS_FINISH;
+    yylval->string = last_string;
     return PROLOGUE;
   }
 
@@ -454,11 +498,12 @@ blanks   [ \t\f]+
 
 <SC_EPILOGUE>
 {
-  ([^\[\]]|{eols})+  YY_GROW;
+  ([^\[\]]|{eols})+  YY_OBS_GROW;
 
   <<EOF>> {
     yy_pop_state ();
-    YY_FINISH;
+    YY_OBS_FINISH;
+    yylval->string = last_string;
     return EPILOGUE;
   }
 }
@@ -475,7 +520,7 @@ blanks   [ \t\f]+
 `------------------------------------------------------------------*/
 
 static void
-handle_dollar (char *cp)
+handle_dollar (char *cp, location_t location)
 {
   const char *type_name = NULL;
 
@@ -484,7 +529,7 @@ handle_dollar (char *cp)
      stack.  It is not the same as the rule->length in the case of mid
      rule actions.  */
   int rule_length = 0;
-  symbol_list *rhs;
+  symbol_list_t *rhs;
   for (rhs = current_rule->next; rhs; rhs = rhs->next)
     ++rule_length;
 
@@ -503,10 +548,10 @@ handle_dollar (char *cp)
   if (*cp == '$')
     {
       if (!type_name)
-       type_name = get_type_name (0, current_rule);
+       type_name = symbol_list_n_type_name_get (current_rule, location, 0);
       if (!type_name && typed)
-       complain (_("$$ of `%s' has no declared type"),
-                 current_rule->sym->tag);
+       complain_at (location, _("$$ of `%s' has no declared type"),
+                    current_rule->sym->tag);
       if (!type_name)
        type_name = "";
       obstack_fgrow1 (&string_obstack,
@@ -517,13 +562,14 @@ handle_dollar (char *cp)
       int n = strtol (cp, &cp, 10);
 
       if (n > rule_length)
-       complain (_("invalid value: %s%d"), "$", n);
+       complain_at (location, _("invalid value: %s%d"), "$", n);
       else
        {
          if (!type_name && n > 0)
-           type_name = get_type_name (n, current_rule);
+           type_name = symbol_list_n_type_name_get (current_rule, location,
+                                                    n);
          if (!type_name && typed)
-           complain (_("$%d of `%s' has no declared type"),
+           complain_at (location, _("$%d of `%s' has no declared type"),
                      n, current_rule->sym->tag);
          if (!type_name)
            type_name = "";
@@ -553,7 +599,7 @@ handle_at (char *cp)
      stack.  It is not the same as the rule->length in the case of mid
      rule actions.  */
   int rule_length = 0;
-  symbol_list *rhs;
+  symbol_list_t *rhs;
   for (rhs = current_rule->next; rhs; rhs = rhs->next)
     ++rule_length;
 
@@ -580,3 +626,16 @@ handle_at (char *cp)
       complain (_("%s is invalid"), quote (buf));
     }
 }
+
+void
+scanner_initialize (void)
+{
+  obstack_init (&string_obstack);
+}
+
+
+void
+scanner_free (void)
+{
+  obstack_free (&string_obstack, 0);
+}