]> git.saurik.com Git - wxWidgets.git/blobdiff - src/common/encconv.cpp
don't crash on weird line endings like \r\r\n
[wxWidgets.git] / src / common / encconv.cpp
index 7892dbbf8fc0686a0f07698c155d3f9ad4a962b6..15509c9cbc2c93128c10d775faa804bdad813f3b 100644 (file)
@@ -4,13 +4,9 @@
 //              font encodings
 // Author:      Vaclav Slavik
 // Copyright:   (c) 1999 Vaclav Slavik
-// Licence:     wxWidgets Licence
+// Licence:     wxWindows licence
 /////////////////////////////////////////////////////////////////////////////
 
-#if defined(__GNUG__) && !defined(NO_GCC_PRAGMA)
-#pragma implementation "encconv.h"
-#endif
-
 // For compilers that support precompilation, includes "wx.h".
 #include "wx/wxprec.h"
 
@@ -18,8 +14,6 @@
   #pragma hdrstop
 #endif
 
-#if wxUSE_FONTMAP
-
 #include "wx/encconv.h"
 
 #include <stdlib.h>
 #endif
 
 #ifdef __WXMAC__
-    #include <ATSUnicode.h>
-    #include <TextCommon.h>
-    #include <TextEncodingConverter.h>
-
+#ifdef __DARWIN__
+#include <Carbon/Carbon.h>
+#else
+#include <ATSUnicode.h>
+#include <TextCommon.h>
+#include <TextEncodingConverter.h>
+#endif
     #include "wx/fontutil.h"
     #include "wx/mac/private.h"  // includes mac headers
 
@@ -53,7 +50,7 @@
     #include "wx/msw/wince/missing.h"       // for bsearch()
 #endif
 
-static wxUint16* GetEncTable(wxFontEncoding enc)
+static const wxUint16* GetEncTable(wxFontEncoding enc)
 {
 #ifdef __WXMAC__
     if( enc >= wxFONTENCODING_MACMIN && enc <= wxFONTENCODING_MACMAX )
@@ -63,19 +60,19 @@ static wxUint16* GetEncTable(wxFontEncoding enc)
         {
             TECObjectRef converter ;
             TextEncodingBase code = wxMacGetSystemEncFromFontEnc( enc ) ;
-               TextEncodingBase unicode = CreateTextEncoding(kTextEncodingUnicodeDefault,0,kUnicode16BitFormat) ;
-           OSStatus status = TECCreateConverter(&converter,code,unicode);
-           char s[2] ;
-           s[1] = 0 ;
-           ByteCount byteInLen, byteOutLen ;
-           for( unsigned char c = 255 ; c >= 128 ; --c )
-           {
-               s[0] = c ;
+            TextEncodingBase unicode = CreateTextEncoding(kTextEncodingUnicodeDefault,0,kUnicode16BitFormat) ;
+            OSStatus status = TECCreateConverter(&converter,code,unicode);
+            char s[2] ;
+            s[1] = 0 ;
+            ByteCount byteInLen, byteOutLen ;
+            for( unsigned char c = 255 ; c >= 128 ; --c )
+            {
+                s[0] = c ;
                 status = TECConvertText(converter, (ConstTextPtr) &s , 1, &byteInLen,
                 (TextPtr) &gMacEncodings[i][c-128] , 2, &byteOutLen);
-           }
+            }
             status = TECDisposeConverter(converter);
-            gMacEncodingsInited[i]=true;       
+            gMacEncodingsInited[i]=true;
         }
         return gMacEncodings[i] ;
     }
@@ -101,12 +98,12 @@ CompareCharsetItems(const void *i1, const void *i2)
 }
 
 
-static CharsetItem* BuildReverseTable(wxUint16 *tbl)
+static CharsetItem* BuildReverseTable(const wxUint16 *tbl)
 {
     CharsetItem *rev = new CharsetItem[128];
 
     for (int i = 0; i < 128; i++)
-        rev[i].c = 128 + i, rev[i].u = tbl[i];
+        rev[i].c = wxUint8(128 + i), rev[i].u = tbl[i];
 
     qsort(rev, 128, sizeof(CharsetItem), CompareCharsetItems);
 
@@ -118,8 +115,8 @@ static CharsetItem* BuildReverseTable(wxUint16 *tbl)
 wxEncodingConverter::wxEncodingConverter()
 {
     m_Table = NULL;
-    m_UnicodeInput = m_UnicodeOutput = FALSE;
-    m_JustCopy = FALSE;
+    m_UnicodeInput = m_UnicodeOutput = false;
+    m_JustCopy = false;
 }
 
 
@@ -127,27 +124,27 @@ wxEncodingConverter::wxEncodingConverter()
 bool wxEncodingConverter::Init(wxFontEncoding input_enc, wxFontEncoding output_enc, int method)
 {
     unsigned i;
-    wxUint16 *in_tbl, *out_tbl = NULL;
+    const wxUint16 *in_tbl;
+    const wxUint16 *out_tbl = NULL;
 
     if (m_Table) {delete[] m_Table; m_Table = NULL;}
 
 #if !wxUSE_WCHAR_T
-    if (input_enc == wxFONTENCODING_UNICODE || output_enc == wxFONTENCODING_UNICODE) return FALSE;
+    if (input_enc == wxFONTENCODING_UNICODE || output_enc == wxFONTENCODING_UNICODE) return false;
 #endif
 
-    if (input_enc == output_enc) {m_JustCopy = TRUE; return TRUE;}
+    if (input_enc == output_enc) {m_JustCopy = true; return true;}
 
     m_UnicodeOutput = (output_enc == wxFONTENCODING_UNICODE);
-    m_JustCopy = FALSE;
+    m_JustCopy = false;
 
     if (input_enc == wxFONTENCODING_UNICODE)
     {
-        if ((out_tbl = GetEncTable(output_enc)) == NULL) return FALSE;
+        if ((out_tbl = GetEncTable(output_enc)) == NULL) return false;
 
         m_Table = new tchar[65536];
         for (i = 0; i < 128; i++)  m_Table[i] = (tchar)i; // 7bit ASCII
-        for (i = 128; i < 65536; i++)  m_Table[i] = (tchar)'?';
-                // FIXME - this should be character that means `unicode to charset' impossible, not '?'
+        for (i = 128; i < 65536; i++)  m_Table[i] = (tchar)0;
 
         if (method == wxCONVERT_SUBSTITUTE)
         {
@@ -158,15 +155,15 @@ bool wxEncodingConverter::Init(wxFontEncoding input_enc, wxFontEncoding output_e
         for (i = 0; i < 128; i++)
             m_Table[out_tbl[i]] = (tchar)(128 + i);
 
-        m_UnicodeInput = TRUE;
+        m_UnicodeInput = true;
     }
     else // input !Unicode
     {
-        if ((in_tbl = GetEncTable(input_enc)) == NULL) return FALSE;
+        if ((in_tbl = GetEncTable(input_enc)) == NULL) return false;
         if (output_enc != wxFONTENCODING_UNICODE)
-            if ((out_tbl = GetEncTable(output_enc)) == NULL) return FALSE;
+            if ((out_tbl = GetEncTable(output_enc)) == NULL) return false;
 
-        m_UnicodeInput = FALSE;
+        m_UnicodeInput = false;
 
         m_Table = new tchar[256];
         for (i = 0; i < 128; i++)  m_Table[i] = (tchar)i; // 7bit ASCII
@@ -174,7 +171,7 @@ bool wxEncodingConverter::Init(wxFontEncoding input_enc, wxFontEncoding output_e
         if (output_enc == wxFONTENCODING_UNICODE)
         {
             for (i = 0; i < 128; i++)  m_Table[128 + i] = (tchar)in_tbl[i];
-            return TRUE;
+            return true;
         }
         else // output !Unicode
         {
@@ -203,12 +200,25 @@ bool wxEncodingConverter::Init(wxFontEncoding input_enc, wxFontEncoding output_e
         }
     }
 
-    return TRUE;
+    return true;
 }
 
 
+#define REPLACEMENT_CHAR  ((tchar)'?')
+
+inline tchar GetTableValue(const tchar *table, tchar value, bool& repl)
+{
+    tchar r = table[value];
+    if (r == 0 && value != 0)
+    {
+        r = REPLACEMENT_CHAR;
+        repl = true;
+    }
+    return r;
+}
+
 
-void wxEncodingConverter::Convert(const char* input, char* output) const
+bool wxEncodingConverter::Convert(const char* input, char* output) const
 {
     wxASSERT_MSG(!m_UnicodeOutput, wxT("You cannot convert to unicode if output is const char*!"));
     wxASSERT_MSG(!m_UnicodeInput, wxT("You cannot convert from unicode if input is const char*!"));
@@ -219,20 +229,25 @@ void wxEncodingConverter::Convert(const char* input, char* output) const
     if (m_JustCopy)
     {
         strcpy(output, input);
-        return;
+        return true;
     }
 
-    wxCHECK_RET(m_Table != NULL, wxT("You must call wxEncodingConverter::Init() before actually converting!"));
+    wxCHECK_MSG(m_Table != NULL, false,
+                wxT("You must call wxEncodingConverter::Init() before actually converting!"));
+
+    bool replaced = false;
 
     for (i = input, o = output; *i != 0;)
-        *(o++) = (char)(m_Table[(wxUint8)*(i++)]);
+        *(o++) = (char)(GetTableValue(m_Table, (wxUint8)*(i++), replaced));
     *o = 0;
+
+    return !replaced;
 }
 
 
 #if wxUSE_WCHAR_T
 
-void wxEncodingConverter::Convert(const char* input, wchar_t* output) const
+bool wxEncodingConverter::Convert(const char* input, wchar_t* output) const
 {
     wxASSERT_MSG(m_UnicodeOutput, wxT("You cannot convert to 8-bit if output is const wchar_t*!"));
     wxASSERT_MSG(!m_UnicodeInput, wxT("You cannot convert from unicode if input is const char*!"));
@@ -245,19 +260,24 @@ void wxEncodingConverter::Convert(const char* input, wchar_t* output) const
         for (i = input, o = output; *i != 0;)
             *(o++) = (wchar_t)(*(i++));
         *o = 0;
-        return;
+        return true;
     }
 
-    wxCHECK_RET(m_Table != NULL, wxT("You must call wxEncodingConverter::Init() before actually converting!"));
+    wxCHECK_MSG(m_Table != NULL, false,
+                wxT("You must call wxEncodingConverter::Init() before actually converting!"));
+
+    bool replaced = false;
 
     for (i = input, o = output; *i != 0;)
-        *(o++) = (wchar_t)(m_Table[(wxUint8)*(i++)]);
+        *(o++) = (wchar_t)(GetTableValue(m_Table, (wxUint8)*(i++), replaced));
     *o = 0;
+
+    return !replaced;
 }
 
 
 
-void wxEncodingConverter::Convert(const wchar_t* input, char* output) const
+bool wxEncodingConverter::Convert(const wchar_t* input, char* output) const
 {
     wxASSERT_MSG(!m_UnicodeOutput, wxT("You cannot convert to unicode if output is const char*!"));
     wxASSERT_MSG(m_UnicodeInput, wxT("You cannot convert from 8-bit if input is const wchar_t*!"));
@@ -270,19 +290,24 @@ void wxEncodingConverter::Convert(const wchar_t* input, char* output) const
         for (i = input, o = output; *i != 0;)
             *(o++) = (char)(*(i++));
         *o = 0;
-        return;
+        return true;
     }
 
-    wxCHECK_RET(m_Table != NULL, wxT("You must call wxEncodingConverter::Init() before actually converting!"));
+    wxCHECK_MSG(m_Table != NULL, false,
+                wxT("You must call wxEncodingConverter::Init() before actually converting!"));
+
+    bool replaced = false;
 
     for (i = input, o = output; *i != 0;)
-        *(o++) = (char)(m_Table[(wxUint16)*(i++)]);
+        *(o++) = (char)(GetTableValue(m_Table, (wxUint16)*(i++), replaced));
     *o = 0;
+
+    return !replaced;
 }
 
 
 
-void wxEncodingConverter::Convert(const wchar_t* input, wchar_t* output) const
+bool wxEncodingConverter::Convert(const wchar_t* input, wchar_t* output) const
 {
     wxASSERT_MSG(m_UnicodeOutput, wxT("You cannot convert to 8-bit if output is const wchar_t*!"));
     wxASSERT_MSG(m_UnicodeInput, wxT("You cannot convert from 8-bit if input is const wchar_t*!"));
@@ -296,14 +321,19 @@ void wxEncodingConverter::Convert(const wchar_t* input, wchar_t* output) const
         for (i = input, o = output; *i != 0;)
             *(o++) = (*(i++));
         *o = 0;
-        return;
+        return true;
     }
 
-    wxCHECK_RET(m_Table != NULL, wxT("You must call wxEncodingConverter::Init() before actually converting!"));
+    wxCHECK_MSG(m_Table != NULL, false,
+                wxT("You must call wxEncodingConverter::Init() before actually converting!"));
 
+    bool replaced = false;
+    
     for (i = input, o = output; *i != 0;)
-        *(o++) = (wchar_t)(m_Table[(wxUint8)*(i++)]);
+        *(o++) = (wchar_t)(GetTableValue(m_Table, (wxUint8)*(i++), replaced));
     *o = 0;
+
+    return !replaced;
 }
 
 #endif // wxUSE_WCHAR_T
@@ -345,11 +375,12 @@ wxString wxEncodingConverter::Convert(const wxString& input) const
 #define STOP wxFONTENCODING_SYSTEM
 
 #define NUM_OF_PLATFORMS  4 /*must conform to enum wxPLATFORM_XXXX !!!*/
-#define ENC_PER_PLATFORM  5
-           // max no. of encodings for one language used on one platform
-           // Anybody thinks 5 is not enough? ;-)
+#define ENC_PER_PLATFORM  3
+           // max no. of encodings for one language used on one platform.
+           // Using maximum of everything at the current moment to not make the
+           // library larger than necessary. Make larger only if necessary - MR
 
-static wxFontEncoding
+static const wxFontEncoding
     EquivalentEncodings[][NUM_OF_PLATFORMS][ENC_PER_PLATFORM+1] = {
 
     // *** Please put more common encodings as first! ***
@@ -440,7 +471,7 @@ wxFontEncodingArray wxEncodingConverter::GetPlatformEquivalents(wxFontEncoding e
         platform = wxPLATFORM_WINDOWS;
 #elif defined(__WXGTK__) || defined(__WXMOTIF__)
         platform = wxPLATFORM_UNIX;
-#elif defined(__WXOS2__)
+#elif defined(__WXPM__)
         platform = wxPLATFORM_OS2;
 #elif defined(__WXMAC__)
         platform = wxPLATFORM_MAC;
@@ -448,7 +479,7 @@ wxFontEncodingArray wxEncodingConverter::GetPlatformEquivalents(wxFontEncoding e
     }
 
     int i, clas, e ;
-    wxFontEncoding *f;
+    const wxFontEncoding *f;
     wxFontEncodingArray arr;
 
     clas = 0;
@@ -475,7 +506,7 @@ wxFontEncodingArray wxEncodingConverter::GetPlatformEquivalents(wxFontEncoding e
 wxFontEncodingArray wxEncodingConverter::GetAllEquivalents(wxFontEncoding enc)
 {
     int i, clas, e, j ;
-    wxFontEncoding *f;
+    const wxFontEncoding *f;
     wxFontEncodingArray arr;
 
     arr = GetPlatformEquivalents(enc); // we want them to be first items in array
@@ -498,4 +529,3 @@ wxFontEncodingArray wxEncodingConverter::GetAllEquivalents(wxFontEncoding enc)
     return arr;
 }
 
-#endif // wxUSE_FONTMAP