]> git.saurik.com Git - wxWidgets.git/blobdiff - src/common/encconv.cpp
fix bug introduced in r54646: we still need to count the embedded NULs when convertin...
[wxWidgets.git] / src / common / encconv.cpp
index 6404d6ef85bad7fbc260f51599a36e0c750741f2..80642b96f16ceb4faa452ec8db39348eaf95f13e 100644 (file)
@@ -4,13 +4,9 @@
 //              font encodings
 // Author:      Vaclav Slavik
 // Copyright:   (c) 1999 Vaclav Slavik
-// Licence:     wxWindows Licence
+// Licence:     wxWindows licence
 /////////////////////////////////////////////////////////////////////////////
 
-#ifdef __GNUG__
-#pragma implementation "encconv.h"
-#endif
-
 // For compilers that support precompilation, includes "wx.h".
 #include "wx/wxprec.h"
 
 #include <stdlib.h>
 
 // conversion tables, generated by scripts in $(WXWIN)/misc/unictabl:
-#ifdef __BORLANDC__
-#include "../common/unictabl.inc"
+#if defined( __BORLANDC__ ) || defined(__DARWIN__)
+    #include "../common/unictabl.inc"
 #else
-#include "unictabl.inc" 
+    #include "unictabl.inc"
 #endif
 
 #if wxUSE_WCHAR_T
-typedef wchar_t tchar;
+    typedef wchar_t tchar;
 #else
-typedef char tchar;
+    typedef char tchar;
+#endif
+
+#ifdef __WXMAC__
+    #include "wx/osx/core/cfstring.h"
+    #include <CoreFoundation/CFStringEncodingExt.h>
+
+    wxUint16 gMacEncodings[wxFONTENCODING_MACMAX-wxFONTENCODING_MACMIN+1][128] ;
+    bool gMacEncodingsInited[wxFONTENCODING_MACMAX-wxFONTENCODING_MACMIN+1] ;
 #endif
 
-static wxUint16* LINKAGEMODE GetEncTable(wxFontEncoding enc)
+#ifdef __WXWINCE__
+    #include "wx/msw/wince/missing.h"       // for bsearch()
+#endif
+
+static const wxUint16* GetEncTable(wxFontEncoding enc)
 {
+#ifdef __WXMAC__
+    if( enc >= wxFONTENCODING_MACMIN && enc <= wxFONTENCODING_MACMAX )
+    {
+        int i = enc-wxFONTENCODING_MACMIN ;
+        if ( gMacEncodingsInited[i] == false )
+        {
+            // create 
+            CFStringEncoding cfencoding = wxMacGetSystemEncFromFontEnc( enc ) ;
+            if( !CFStringIsEncodingAvailable( cfencoding ) )
+                return NULL;
+                
+            memset( gMacEncodings[i] , 0 , 128 * 2 );
+            char s[2] = { 0 , 0 };
+            CFRange firstchar = CFRangeMake( 0, 1 );
+            for( unsigned char c = 255 ; c >= 128 ; --c )
+            {
+                s[0] = c ;
+                wxCFStringRef cfref( CFStringCreateWithCStringNoCopy( NULL, s, cfencoding , kCFAllocatorNull ) );
+                CFStringGetCharacters( cfref, firstchar, (UniChar*)  &gMacEncodings[i][c-128] );
+            }
+            gMacEncodingsInited[i]=true;
+        }
+        return gMacEncodings[i] ;
+    }
+#endif
+
     for (int i = 0; encodings_list[i].table != NULL; i++)
     {
-        if (encodings_list[i].encoding == enc) 
+        if (encodings_list[i].encoding == enc)
             return encodings_list[i].table;
     }
     return NULL;
@@ -50,23 +84,22 @@ typedef struct {
     wxUint8  c;
 } CharsetItem;
 
-
-
-static int LINKAGEMODE CompareCharsetItems(const void *i1, const void *i2)
+extern "C" int wxCMPFUNC_CONV
+CompareCharsetItems(const void *i1, const void *i2)
 {
     return ( ((CharsetItem*)i1) -> u - ((CharsetItem*)i2) -> u );
 }
 
 
-static CharsetItem* LINKAGEMODE BuildReverseTable(wxUint16 *tbl)
+static CharsetItem* BuildReverseTable(const wxUint16 *tbl)
 {
     CharsetItem *rev = new CharsetItem[128];
-    
+
     for (int i = 0; i < 128; i++)
-        rev[i].c = 128 + i, rev[i].u = tbl[i];
+        rev[i].c = wxUint8(128 + i), rev[i].u = tbl[i];
 
     qsort(rev, 128, sizeof(CharsetItem), CompareCharsetItems);
-    
+
     return rev;
 }
 
@@ -75,8 +108,8 @@ static CharsetItem* LINKAGEMODE BuildReverseTable(wxUint16 *tbl)
 wxEncodingConverter::wxEncodingConverter()
 {
     m_Table = NULL;
-    m_UnicodeInput = m_UnicodeOutput = FALSE;
-    m_JustCopy = FALSE;
+    m_UnicodeInput = m_UnicodeOutput = false;
+    m_JustCopy = false;
 }
 
 
@@ -84,27 +117,27 @@ wxEncodingConverter::wxEncodingConverter()
 bool wxEncodingConverter::Init(wxFontEncoding input_enc, wxFontEncoding output_enc, int method)
 {
     unsigned i;
-    wxUint16 *in_tbl = NULL, *out_tbl = NULL;
+    const wxUint16 *in_tbl;
+    const wxUint16 *out_tbl = NULL;
 
     if (m_Table) {delete[] m_Table; m_Table = NULL;}
 
 #if !wxUSE_WCHAR_T
-    if (input_enc == wxFONTENCODING_UNICODE || output_enc == wxFONTENCODING_UNICODE) return FALSE;
+    if (input_enc == wxFONTENCODING_UNICODE || output_enc == wxFONTENCODING_UNICODE) return false;
 #endif
 
-    if (input_enc == output_enc) {m_JustCopy = TRUE; return TRUE;}
-    
+    if (input_enc == output_enc) {m_JustCopy = true; return true;}
+
     m_UnicodeOutput = (output_enc == wxFONTENCODING_UNICODE);
-    m_JustCopy = FALSE;
-    
+    m_JustCopy = false;
+
     if (input_enc == wxFONTENCODING_UNICODE)
     {
-        if ((out_tbl = GetEncTable(output_enc)) == NULL) return FALSE;
+        if ((out_tbl = GetEncTable(output_enc)) == NULL) return false;
 
         m_Table = new tchar[65536];
         for (i = 0; i < 128; i++)  m_Table[i] = (tchar)i; // 7bit ASCII
-        for (i = 128; i < 65536; i++)  m_Table[i] = (tchar)'?'; 
-                // FIXME - this should be character that means `unicode to charset' impossible, not '?'
+        for (i = 128; i < 65536; i++)  m_Table[i] = (tchar)0;
 
         if (method == wxCONVERT_SUBSTITUTE)
         {
@@ -115,53 +148,70 @@ bool wxEncodingConverter::Init(wxFontEncoding input_enc, wxFontEncoding output_e
         for (i = 0; i < 128; i++)
             m_Table[out_tbl[i]] = (tchar)(128 + i);
 
-        m_UnicodeInput = TRUE;
-        return TRUE;
+        m_UnicodeInput = true;
     }
-    
-    else
+    else // input !Unicode
     {
-        if ((in_tbl = GetEncTable(input_enc)) == NULL) return FALSE;
+        if ((in_tbl = GetEncTable(input_enc)) == NULL) return false;
         if (output_enc != wxFONTENCODING_UNICODE)
-            if ((out_tbl = GetEncTable(output_enc)) == NULL) return FALSE;
+            if ((out_tbl = GetEncTable(output_enc)) == NULL) return false;
+
+        m_UnicodeInput = false;
 
-        m_UnicodeInput = FALSE;
-        
         m_Table = new tchar[256];
         for (i = 0; i < 128; i++)  m_Table[i] = (tchar)i; // 7bit ASCII
-        
+
         if (output_enc == wxFONTENCODING_UNICODE)
         {
             for (i = 0; i < 128; i++)  m_Table[128 + i] = (tchar)in_tbl[i];
-            return TRUE;
+            return true;
         }
-        else 
+        else // output !Unicode
         {
             CharsetItem *rev = BuildReverseTable(out_tbl);
-            CharsetItem *item, key;
-            
-            for (i = 0; i < 128; i++)  
+            CharsetItem *item;
+            CharsetItem key;
+
+            for (i = 0; i < 128; i++)
             {
                 key.u = in_tbl[i];
                 item = (CharsetItem*) bsearch(&key, rev, 128, sizeof(CharsetItem), CompareCharsetItems);
                 if (item == NULL && method == wxCONVERT_SUBSTITUTE)
-                    item = (CharsetItem*) bsearch(&key, encoding_unicode_fallback, 
+                    item = (CharsetItem*) bsearch(&key, encoding_unicode_fallback,
                                 encoding_unicode_fallback_count, sizeof(CharsetItem), CompareCharsetItems);
                 if (item)
                     m_Table[128 + i] = (tchar)item -> c;
                 else
-                    m_Table[128 + i] = 128 + i; // don't know => don't touch
+#if wxUSE_WCHAR_T
+                    m_Table[128 + i] = (wchar_t)(128 + i);
+#else
+                    m_Table[128 + i] = (char)(128 + i);
+#endif
             }
-            
+
             delete[] rev;
-            return TRUE;
         }
     }
+
+    return true;
 }
 
 
+#define REPLACEMENT_CHAR  ((tchar)'?')
+
+inline tchar GetTableValue(const tchar *table, tchar value, bool& repl)
+{
+    tchar r = table[value];
+    if (r == 0 && value != 0)
+    {
+        r = REPLACEMENT_CHAR;
+        repl = true;
+    }
+    return r;
+}
+
 
-void wxEncodingConverter::Convert(const char* input, char* output)
+bool wxEncodingConverter::Convert(const char* input, char* output) const
 {
     wxASSERT_MSG(!m_UnicodeOutput, wxT("You cannot convert to unicode if output is const char*!"));
     wxASSERT_MSG(!m_UnicodeInput, wxT("You cannot convert from unicode if input is const char*!"));
@@ -172,20 +222,25 @@ void wxEncodingConverter::Convert(const char* input, char* output)
     if (m_JustCopy)
     {
         strcpy(output, input);
-        return;
+        return true;
     }
-    
-    wxASSERT_MSG(m_Table != NULL, wxT("You must call wxEncodingConverter::Init() before actually converting!"));
-       
+
+    wxCHECK_MSG(m_Table != NULL, false,
+                wxT("You must call wxEncodingConverter::Init() before actually converting!"));
+
+    bool replaced = false;
+
     for (i = input, o = output; *i != 0;)
-        *(o++) = (char)(m_Table[(wxUint8)*(i++)]);
+        *(o++) = (char)(GetTableValue(m_Table, (wxUint8)*(i++), replaced));
     *o = 0;
+
+    return !replaced;
 }
 
 
 #if wxUSE_WCHAR_T
 
-void wxEncodingConverter::Convert(const char* input, wchar_t* output)
+bool wxEncodingConverter::Convert(const char* input, wchar_t* output) const
 {
     wxASSERT_MSG(m_UnicodeOutput, wxT("You cannot convert to 8-bit if output is const wchar_t*!"));
     wxASSERT_MSG(!m_UnicodeInput, wxT("You cannot convert from unicode if input is const char*!"));
@@ -198,19 +253,24 @@ void wxEncodingConverter::Convert(const char* input, wchar_t* output)
         for (i = input, o = output; *i != 0;)
             *(o++) = (wchar_t)(*(i++));
         *o = 0;
-        return;
+        return true;
     }
-    
-    wxASSERT_MSG(m_Table != NULL, wxT("You must call wxEncodingConverter::Init() before actually converting!"));
-       
+
+    wxCHECK_MSG(m_Table != NULL, false,
+                wxT("You must call wxEncodingConverter::Init() before actually converting!"));
+
+    bool replaced = false;
+
     for (i = input, o = output; *i != 0;)
-        *(o++) = (wchar_t)(m_Table[(wxUint8)*(i++)]);
+        *(o++) = (wchar_t)(GetTableValue(m_Table, (wxUint8)*(i++), replaced));
     *o = 0;
+
+    return !replaced;
 }
 
 
 
-void wxEncodingConverter::Convert(const wchar_t* input, char* output)
+bool wxEncodingConverter::Convert(const wchar_t* input, char* output) const
 {
     wxASSERT_MSG(!m_UnicodeOutput, wxT("You cannot convert to unicode if output is const char*!"));
     wxASSERT_MSG(m_UnicodeInput, wxT("You cannot convert from 8-bit if input is const wchar_t*!"));
@@ -223,19 +283,24 @@ void wxEncodingConverter::Convert(const wchar_t* input, char* output)
         for (i = input, o = output; *i != 0;)
             *(o++) = (char)(*(i++));
         *o = 0;
-        return;
+        return true;
     }
-    
-    wxASSERT_MSG(m_Table != NULL, wxT("You must call wxEncodingConverter::Init() before actually converting!"));
-       
+
+    wxCHECK_MSG(m_Table != NULL, false,
+                wxT("You must call wxEncodingConverter::Init() before actually converting!"));
+
+    bool replaced = false;
+
     for (i = input, o = output; *i != 0;)
-        *(o++) = (char)(m_Table[(wxUint16)*(i++)]);
+        *(o++) = (char)(GetTableValue(m_Table, (wxUint16)*(i++), replaced));
     *o = 0;
+
+    return !replaced;
 }
 
 
 
-void wxEncodingConverter::Convert(const wchar_t* input, wchar_t* output)
+bool wxEncodingConverter::Convert(const wchar_t* input, wchar_t* output) const
 {
     wxASSERT_MSG(m_UnicodeOutput, wxT("You cannot convert to 8-bit if output is const wchar_t*!"));
     wxASSERT_MSG(m_UnicodeInput, wxT("You cannot convert from 8-bit if input is const wchar_t*!"));
@@ -249,34 +314,45 @@ void wxEncodingConverter::Convert(const wchar_t* input, wchar_t* output)
         for (i = input, o = output; *i != 0;)
             *(o++) = (*(i++));
         *o = 0;
-        return;
+        return true;
     }
+
+    wxCHECK_MSG(m_Table != NULL, false,
+                wxT("You must call wxEncodingConverter::Init() before actually converting!"));
+
+    bool replaced = false;
     
-    wxASSERT_MSG(m_Table != NULL, wxT("You must call wxEncodingConverter::Init() before actually converting!"));
-       
     for (i = input, o = output; *i != 0;)
-        *(o++) = (wchar_t)(m_Table[(wxUint8)*(i++)]);
+        *(o++) = (wchar_t)(GetTableValue(m_Table, (wxUint8)*(i++), replaced));
     *o = 0;
+
+    return !replaced;
 }
 
 #endif // wxUSE_WCHAR_T
 
 
-wxString wxEncodingConverter::Convert(const wxString& input)
+wxString wxEncodingConverter::Convert(const wxString& input) const
 {
     if (m_JustCopy) return input;
-    
+
     wxString s;
     const wxChar *i;
-    
-    wxASSERT_MSG(m_Table != NULL, wxT("You must call wxEncodingConverter::Init() before actually converting!"));
-    
+
+    wxCHECK_MSG(m_Table != NULL, s,
+                wxT("You must call wxEncodingConverter::Init() before actually converting!"));
+
     if (m_UnicodeInput)
+    {
         for (i = input.c_str(); *i != 0; i++)
             s << (wxChar)(m_Table[(wxUint16)*i]);
+    }
     else
+    {
         for (i = input.c_str(); *i != 0; i++)
             s << (wxChar)(m_Table[(wxUint8)*i]);
+    }
+
     return s;
 }
 
@@ -287,26 +363,27 @@ wxString wxEncodingConverter::Convert(const wxString& input)
 
 
 // Following tables describe classes of encoding equivalence.
-// 
+//
 
 #define STOP wxFONTENCODING_SYSTEM
 
 #define NUM_OF_PLATFORMS  4 /*must conform to enum wxPLATFORM_XXXX !!!*/
-#define ENC_PER_PLATFORM  5
-           // max no. of encodings for one language used on one platform
-           // Anybody thinks 5 is not enough? ;-)
+#define ENC_PER_PLATFORM  3
+           // max no. of encodings for one language used on one platform.
+           // Using maximum of everything at the current moment to not make the
+           // library larger than necessary. Make larger only if necessary - MR
 
-static wxFontEncoding 
+static const wxFontEncoding
     EquivalentEncodings[][NUM_OF_PLATFORMS][ENC_PER_PLATFORM+1] = {
 
     // *** Please put more common encodings as first! ***
 
-    // West European
+    // Western European
     {
         /* unix    */ {wxFONTENCODING_ISO8859_1, wxFONTENCODING_ISO8859_15, STOP},
         /* windows */ {wxFONTENCODING_CP1252, STOP},
         /* os2     */ {STOP},
-        /* mac     */ {STOP}   
+        /* mac     */ {wxFONTENCODING_MACROMAN, STOP}
     },
 
     // Central European
@@ -314,15 +391,15 @@ static wxFontEncoding
         /* unix    */ {wxFONTENCODING_ISO8859_2, STOP},
         /* windows */ {wxFONTENCODING_CP1250, STOP},
         /* os2     */ {STOP},
-        /* mac     */ {STOP}   
+        /* mac     */ {wxFONTENCODING_MACCENTRALEUR, STOP}
     },
-    
+
     // Baltic
     {
-        /* unix    */ {wxFONTENCODING_ISO8859_13, STOP},
+        /* unix    */ {wxFONTENCODING_ISO8859_13, wxFONTENCODING_ISO8859_4, STOP},
         /* windows */ {wxFONTENCODING_CP1257, STOP},
         /* os2     */ {STOP},
-        /* mac     */ {STOP}   
+        /* mac     */ {STOP}
     },
 
     // Hebrew
@@ -330,7 +407,7 @@ static wxFontEncoding
         /* unix    */ {wxFONTENCODING_ISO8859_8, STOP},
         /* windows */ {wxFONTENCODING_CP1255, STOP},
         /* os2     */ {STOP},
-        /* mac     */ {STOP}   
+        /* mac     */ {wxFONTENCODING_MACHEBREW, STOP}
     },
 
     // Greek
@@ -338,7 +415,7 @@ static wxFontEncoding
         /* unix    */ {wxFONTENCODING_ISO8859_7, STOP},
         /* windows */ {wxFONTENCODING_CP1253, STOP},
         /* os2     */ {STOP},
-        /* mac     */ {STOP}   
+        /* mac     */ {wxFONTENCODING_MACGREEK, STOP}
     },
 
     // Arabic
@@ -346,7 +423,7 @@ static wxFontEncoding
         /* unix    */ {wxFONTENCODING_ISO8859_6, STOP},
         /* windows */ {wxFONTENCODING_CP1256, STOP},
         /* os2     */ {STOP},
-        /* mac     */ {STOP}   
+        /* mac     */ {wxFONTENCODING_MACARABIC, STOP}
     },
 
     // Turkish
@@ -354,15 +431,15 @@ static wxFontEncoding
         /* unix    */ {wxFONTENCODING_ISO8859_9, STOP},
         /* windows */ {wxFONTENCODING_CP1254, STOP},
         /* os2     */ {STOP},
-        /* mac     */ {STOP}   
+        /* mac     */ {wxFONTENCODING_MACTURKISH, STOP}
     },
 
     // Cyrillic
     {
-        /* unix    */ {wxFONTENCODING_KOI8, wxFONTENCODING_ISO8859_5, STOP},
+        /* unix    */ {wxFONTENCODING_KOI8, wxFONTENCODING_KOI8_U, wxFONTENCODING_ISO8859_5, STOP},
         /* windows */ {wxFONTENCODING_CP1251, STOP},
         /* os2     */ {STOP},
-        /* mac     */ {STOP}   
+        /* mac     */ {wxFONTENCODING_MACCYRILLIC, STOP}
     },
 
     {{STOP},{STOP},{STOP},{STOP}} /* Terminator */
@@ -370,7 +447,14 @@ static wxFontEncoding
 };
 
 
-
+static bool FindEncoding(const wxFontEncodingArray& arr, wxFontEncoding f)
+{
+    for (wxFontEncodingArray::const_iterator it = arr.begin(), en = arr.end();
+         it != en; ++it)
+        if (*it == f)
+            return true;
+    return false;
+}
 
 wxFontEncodingArray wxEncodingConverter::GetPlatformEquivalents(wxFontEncoding enc, int platform)
 {
@@ -380,15 +464,15 @@ wxFontEncodingArray wxEncodingConverter::GetPlatformEquivalents(wxFontEncoding e
         platform = wxPLATFORM_WINDOWS;
 #elif defined(__WXGTK__) || defined(__WXMOTIF__)
         platform = wxPLATFORM_UNIX;
-#elif defined(__WXOS2__)
+#elif defined(__WXPM__)
         platform = wxPLATFORM_OS2;
 #elif defined(__WXMAC__)
         platform = wxPLATFORM_MAC;
 #endif
     }
-    
+
     int i, clas, e ;
-    wxFontEncoding *f;
+    const wxFontEncoding *f;
     wxFontEncodingArray arr;
 
     clas = 0;
@@ -399,14 +483,14 @@ wxFontEncodingArray wxEncodingConverter::GetPlatformEquivalents(wxFontEncoding e
                 if (EquivalentEncodings[clas][i][e] == enc)
                 {
                     for (f = EquivalentEncodings[clas][platform]; *f != STOP; f++)
-                        if (*f == enc) arr.Add(enc);
+                        if (*f == enc) arr.push_back(enc);
                     for (f = EquivalentEncodings[clas][platform]; *f != STOP; f++)
-                        if (arr.Index(*f) == wxNOT_FOUND) arr.Add(*f);
-                    i = NUM_OF_PLATFORMS/*hack*/; break; 
+                        if (!FindEncoding(arr, *f)) arr.push_back(*f);
+                    i = NUM_OF_PLATFORMS/*hack*/; break;
                 }
         clas++;
     }
-    
+
     return arr;
 }
 
@@ -415,9 +499,9 @@ wxFontEncodingArray wxEncodingConverter::GetPlatformEquivalents(wxFontEncoding e
 wxFontEncodingArray wxEncodingConverter::GetAllEquivalents(wxFontEncoding enc)
 {
     int i, clas, e, j ;
-    wxFontEncoding *f;
+    const wxFontEncoding *f;
     wxFontEncodingArray arr;
-    
+
     arr = GetPlatformEquivalents(enc); // we want them to be first items in array
 
     clas = 0;
@@ -428,12 +512,13 @@ wxFontEncodingArray wxEncodingConverter::GetAllEquivalents(wxFontEncoding enc)
                 if (EquivalentEncodings[clas][i][e] == enc)
                 {
                     for (j = 0; j < NUM_OF_PLATFORMS; j++)
-                        for (f = EquivalentEncodings[clas][j]; *f != STOP; f++) 
-                            if (arr.Index(*f) == wxNOT_FOUND) arr.Add(*f);                            
-                    i = NUM_OF_PLATFORMS/*hack*/; break; 
+                        for (f = EquivalentEncodings[clas][j]; *f != STOP; f++)
+                            if (!FindEncoding(arr, *f)) arr.push_back(*f);
+                    i = NUM_OF_PLATFORMS/*hack*/; break;
                 }
         clas++;
     }
-    
+
     return arr;
 }
+