]> git.saurik.com Git - wxWidgets.git/blobdiff - tests/strings/unicode.cpp
Extract PipeIOHandler class into a header and rename to wxWakeUpPipe.
[wxWidgets.git] / tests / strings / unicode.cpp
index f40fdb118b02ba21339369e22a33736b4ba3e8d9..8a0574e43d29b44294dcbd644992aba2c003aef4 100644 (file)
     #include "wx/wx.h"
 #endif // WX_PRECOMP
 
+#include "wx/encconv.h"
+
 // ----------------------------------------------------------------------------
-// local functions
+// helper class holding the matching MB and WC strings
 // ----------------------------------------------------------------------------
 
-#if wxUSE_WCHAR_T && !wxUSE_UNICODE
-
-// in case wcscmp is missing
-static int wx_wcscmp(const wchar_t *s1, const wchar_t *s2)
+struct StringConversionData
 {
-    while (*s1 == *s2 && *s1 != 0)
+    // either str or wcs (but not both) may be NULL, this means that the conversion
+    // to it should fail
+    StringConversionData(const char *str_, const wchar_t *wcs_, int flags_ = 0)
+        : str(str_), wcs(wcs_), flags(flags_)
     {
-        s1++;
-        s2++;
     }
-    return *s1 - *s2;
-}
 
-#endif // wxUSE_WCHAR_T && !wxUSE_UNICODE
+    const char * const str;
+    const wchar_t * const wcs;
+
+    enum
+    {
+        TEST_BOTH  = 0, // test both str -> wcs and wcs -> str
+        ONLY_MB2WC = 1  // only test str -> wcs conversion
+    };
+
+    const int flags;
+
+    // test that the conversion between str and wcs (subject to flags) succeeds
+    //
+    // the first argument is the index in the test array and is used solely for
+    // diagnostics
+    void Test(size_t n, wxMBConv& conv) const
+    {
+        if ( str )
+        {
+            wxWCharBuffer wbuf = conv.cMB2WC(str);
+
+            if ( wcs )
+            {
+                CPPUNIT_ASSERT_MESSAGE
+                (
+                    Message(n, "MB2WC failed"),
+                    wbuf.data()
+                );
+
+                CPPUNIT_ASSERT_MESSAGE
+                (
+                    Message(n, "MB2WC", wbuf, wcs),
+                    wxStrcmp(wbuf, wcs) == 0
+                );
+            }
+            else // conversion is supposed to fail
+            {
+                CPPUNIT_ASSERT_MESSAGE
+                (
+                    Message(n, "MB2WC succeeded"),
+                    !wbuf.data()
+                );
+            }
+        }
+
+        if ( wcs && !(flags & ONLY_MB2WC) )
+        {
+            wxCharBuffer buf = conv.cWC2MB(wcs);
+
+            if ( str )
+            {
+                CPPUNIT_ASSERT_MESSAGE
+                (
+                    Message(n, "WC2MB failed"),
+                    buf.data()
+                );
+
+                CPPUNIT_ASSERT_MESSAGE
+                (
+                    Message(n, "WC2MB", buf, str),
+                    strcmp(buf, str) == 0
+                );
+            }
+            else
+            {
+                CPPUNIT_ASSERT_MESSAGE
+                (
+                    Message(n, "WC2MB succeeded"),
+                    !buf.data()
+                );
+            }
+        }
+    }
+
+private:
+    static std::string
+    Message(size_t n, const wxString& msg)
+    {
+        return std::string(wxString::Format("#%lu: %s", (unsigned long)n, msg));
+    }
+
+    template <typename T>
+    static std::string
+    Message(size_t n,
+            const char *func,
+            const wxCharTypeBuffer<T>& actual,
+            const T *expected)
+    {
+        return Message(n,
+                       wxString::Format("%s returned \"%s\", expected \"%s\"",
+                                        func, actual.data(), expected));
+    }
+};
 
 // ----------------------------------------------------------------------------
 // test class
@@ -52,25 +142,22 @@ public:
 private:
     CPPUNIT_TEST_SUITE( UnicodeTestCase );
         CPPUNIT_TEST( ToFromAscii );
-#if wxUSE_WCHAR_T
         CPPUNIT_TEST( ConstructorsWithConversion );
-        CPPUNIT_TEST( ConversionEmpty );
+        CPPUNIT_TEST( ConversionFixed );
         CPPUNIT_TEST( ConversionWithNULs );
         CPPUNIT_TEST( ConversionUTF7 );
         CPPUNIT_TEST( ConversionUTF8 );
         CPPUNIT_TEST( ConversionUTF16 );
         CPPUNIT_TEST( ConversionUTF32 );
         CPPUNIT_TEST( IsConvOk );
-#endif // wxUSE_WCHAR_T
 #if wxUSE_UNICODE
         CPPUNIT_TEST( Iteration );
 #endif
     CPPUNIT_TEST_SUITE_END();
 
     void ToFromAscii();
-#if wxUSE_WCHAR_T
     void ConstructorsWithConversion();
-    void ConversionEmpty();
+    void ConversionFixed();
     void ConversionWithNULs();
     void ConversionUTF7();
     void ConversionUTF8();
@@ -81,21 +168,13 @@ private:
     void Iteration();
 #endif
 
-    // test if converting s using the given encoding gives ws and vice versa
-    //
-    // if either of the first 2 arguments is NULL, the conversion is supposed
-    // to fail
-    void DoTestConversion(const char *s, const wchar_t *w, wxMBConv& conv);
-#endif // wxUSE_WCHAR_T
-
-
     DECLARE_NO_COPY_CLASS(UnicodeTestCase)
 };
 
 // register in the unnamed registry so that these tests are run by default
 CPPUNIT_TEST_SUITE_REGISTRATION( UnicodeTestCase );
 
-// also include in it's own registry so that these tests can be run alone
+// also include in its own registry so that these tests can be run alone
 CPPUNIT_TEST_SUITE_NAMED_REGISTRATION( UnicodeTestCase, "UnicodeTestCase" );
 
 UnicodeTestCase::UnicodeTestCase()
@@ -116,64 +195,73 @@ void UnicodeTestCase::ToFromAscii()
     TEST_TO_FROM_ASCII( "additional \" special \t test \\ component \n :-)" );
 }
 
-#if wxUSE_WCHAR_T
 void UnicodeTestCase::ConstructorsWithConversion()
 {
-    // the string "Déjà" in UTF-8 and wchar_t:
+    // the string "Déjà" in UTF-8 and wchar_t:
     const unsigned char utf8Buf[] = {0x44,0xC3,0xA9,0x6A,0xC3,0xA0,0};
-    const wchar_t wchar[] = {0x44,0xE9,0x6A,0xE0,0};
-    const unsigned char utf8subBuf[] = {0x44,0xC3,0xA9,0x6A,0}; // just "Déj"
+    const unsigned char utf8subBuf[] = {0x44,0xC3,0xA9,0x6A,0}; // just "Déj"
     const char *utf8 = (char *)utf8Buf;
     const char *utf8sub = (char *)utf8subBuf;
 
     wxString s1(utf8, wxConvUTF8);
-    wxString s2(wchar, wxConvUTF8);
 
 #if wxUSE_UNICODE
-    WX_ASSERT_STR_EQUAL( wchar, s1 );
-    WX_ASSERT_STR_EQUAL( wchar, s2 );
+    const wchar_t wchar[] = {0x44,0xE9,0x6A,0xE0,0};
+    CPPUNIT_ASSERT_EQUAL( wchar, s1 );
+
+    wxString s2(wchar);
+    CPPUNIT_ASSERT_EQUAL( wchar, s2 );
+    CPPUNIT_ASSERT_EQUAL( wxString::FromUTF8(utf8), s2 );
 #else
-    WX_ASSERT_STR_EQUAL( utf8, s1 );
-    WX_ASSERT_STR_EQUAL( utf8, s2 );
+    CPPUNIT_ASSERT_EQUAL( utf8, s1 );
 #endif
 
     wxString sub(utf8sub, wxConvUTF8); // "Dej" substring
     wxString s3(utf8, wxConvUTF8, 4);
-    wxString s4(wchar, wxConvUTF8, 3);
-
     CPPUNIT_ASSERT_EQUAL( sub, s3 );
-    CPPUNIT_ASSERT_EQUAL( sub, s4 );
 
 #if wxUSE_UNICODE
+    wxString s4(wchar, wxConvUTF8, 3);
+    CPPUNIT_ASSERT_EQUAL( sub, s4 );
+
     // conversion should stop with failure at pos 35
-    wxString s("\t[pl]open.format.Sformatuj dyskietkê=gfloppy %f", wxConvUTF8);
+    wxString s("\t[pl]open.format.Sformatuj dyskietk\xea=gfloppy %f", wxConvUTF8);
     CPPUNIT_ASSERT( s.empty() );
-#endif
+#endif // wxUSE_UNICODE
 
 
     // test using Unicode strings together with char* strings (this must work
     // in ANSI mode as well, of course):
     wxString s5("ascii");
-    WX_ASSERT_STR_EQUAL( "ascii", s5 );
+    CPPUNIT_ASSERT_EQUAL( "ascii", s5 );
 
     s5 += " value";
 
     CPPUNIT_ASSERT( strcmp(s5.mb_str(), "ascii value") == 0 );
-    WX_ASSERT_STR_EQUAL( "ascii value", s5 );
+    CPPUNIT_ASSERT_EQUAL( "ascii value", s5 );
     CPPUNIT_ASSERT( s5 != "SomethingElse" );
 }
 
-void UnicodeTestCase::ConversionEmpty()
+void UnicodeTestCase::ConversionFixed()
 {
     size_t len;
 
 #if wxUSE_UNICODE
-    wxCharBuffer buf = wxConvLibc.cWC2MB(L"", 0, &len);
+    wxConvLibc.cWC2MB(L"", 0, &len);
 #else // !wxUSE_UNICODE
-    wxWCharBuffer wbuf = wxConvLibc.cMB2WC("", 0, &len);
+    wxConvLibc.cMB2WC("", 0, &len);
 #endif // wxUSE_UNICODE/!wxUSE_UNICODE
 
-    CPPUNIT_ASSERT(len == 0);
+    CPPUNIT_ASSERT_EQUAL( 0, len );
+
+#if wxUSE_UNICODE
+    // check that when we convert a fixed number of characters we obtain the
+    // expected return value
+    CPPUNIT_ASSERT_EQUAL( 0, wxConvLibc.ToWChar(NULL, 0, "", 0) );
+    CPPUNIT_ASSERT_EQUAL( 1, wxConvLibc.ToWChar(NULL, 0, "x", 1) );
+    CPPUNIT_ASSERT_EQUAL( 2, wxConvLibc.ToWChar(NULL, 0, "x", 2) );
+    CPPUNIT_ASSERT_EQUAL( 2, wxConvLibc.ToWChar(NULL, 0, "xy", 2) );
+#endif // wxUSE_UNICODE
 }
 
 void UnicodeTestCase::ConversionWithNULs()
@@ -192,13 +280,13 @@ void UnicodeTestCase::ConversionWithNULs()
     CPPUNIT_ASSERT( wxTmemcmp(szTheString2.c_str(), L"The\0String",
                     lenNulString + 1) == 0 );
 #else // !wxUSE_UNICODE
-    wxString szTheString(wxT("TheString"));
+    wxString szTheString("TheString");
     szTheString.insert(3, 1, '\0');
     wxWCharBuffer theBuffer = szTheString.wc_str(wxConvLibc);
 
     CPPUNIT_ASSERT( memcmp(theBuffer.data(), L"The\0String", 11 * sizeof(wchar_t)) == 0 );
 
-    wxString szLocalTheString(wxT("TheString"));
+    wxString szLocalTheString("TheString");
     szLocalTheString.insert(3, 1, '\0');
     wxWCharBuffer theLocalBuffer = szLocalTheString.wc_str(wxConvLocal);
 
@@ -206,60 +294,29 @@ void UnicodeTestCase::ConversionWithNULs()
 #endif // wxUSE_UNICODE/!wxUSE_UNICODE
 }
 
-void
-UnicodeTestCase::DoTestConversion(const char *s,
-                                  const wchar_t *ws,
-                                  wxMBConv& conv)
-{
-#if wxUSE_UNICODE
-    if ( ws )
-    {
-        wxCharBuffer buf = conv.cWC2MB(ws, (size_t)-1, NULL);
-
-        CPPUNIT_ASSERT( strcmp(buf, s) == 0 );
-    }
-#else // wxUSE_UNICODE
-    if ( s )
-    {
-        wxWCharBuffer wbuf = conv.cMB2WC(s, (size_t)-1, NULL);
-
-        if ( ws )
-        {
-            CPPUNIT_ASSERT( wbuf.data() );
-            CPPUNIT_ASSERT( wx_wcscmp(wbuf, ws) == 0 );
-        }
-        else // conversion is supposed to fail
-        {
-            CPPUNIT_ASSERT_EQUAL( (wchar_t *)NULL, wbuf.data() );
-        }
-    }
-#endif // wxUSE_UNICODE/!wxUSE_UNICODE
-}
-
-struct StringConversionData
-{
-    const char *str;
-    const wchar_t *wcs;
-};
-
 void UnicodeTestCase::ConversionUTF7()
 {
     static const StringConversionData utf7data[] =
     {
-        { "+-", L"+" },
-        { "+--", L"+-" },
+        // normal fragments
+        StringConversionData("+AKM-", L"\xa3"),
+        StringConversionData("+AOk-t+AOk-", L"\xe9t\xe9"),
 
-#ifdef wxHAVE_U_ESCAPE
-        { "+AKM-", L"\u00a3" },
-#endif // wxHAVE_U_ESCAPE
+        // this one is an alternative valid encoding of the same string
+        StringConversionData("+AOk-t+AOk", L"\xe9t\xe9",
+                             StringConversionData::ONLY_MB2WC),
+
+        // some special cases
+        StringConversionData("+-", L"+"),
+        StringConversionData("+--", L"+-"),
 
         // the following are invalid UTF-7 sequences
-        { "+", NULL },
-        { "+~", NULL },
-        { "a+", NULL },
+        StringConversionData("\xa3", NULL),
+        StringConversionData("+", NULL),
+        StringConversionData("+~", NULL),
+        StringConversionData("a+", NULL),
     };
 
-    wxCSConv conv(_T("utf-7"));
     for ( size_t n = 0; n < WXSIZEOF(utf7data); n++ )
     {
         const StringConversionData& d = utf7data[n];
@@ -273,9 +330,9 @@ void UnicodeTestCase::ConversionUTF7()
         //
         // I have no idea how to fix this so just disable the test for now
 #if 0
-        DoTestConversion(d.str, d.wcs, conv);
+        d.Test(n, wxCSConv("utf-7"));
 #endif
-        DoTestConversion(d.str, d.wcs, wxConvUTF7);
+        d.Test(n, wxConvUTF7);
     }
 }
 
@@ -284,17 +341,17 @@ void UnicodeTestCase::ConversionUTF8()
     static const StringConversionData utf8data[] =
     {
 #ifdef wxHAVE_U_ESCAPE
-        { "\xc2\xa3", L"\u00a3" },
+        StringConversionData("\xc2\xa3", L"\u00a3"),
 #endif
-        { "\xc2", NULL },
+        StringConversionData("\xc2", NULL),
     };
 
-    wxCSConv conv(_T("utf-8"));
+    wxCSConv conv(wxT("utf-8"));
     for ( size_t n = 0; n < WXSIZEOF(utf8data); n++ )
     {
         const StringConversionData& d = utf8data[n];
-        DoTestConversion(d.str, d.wcs, conv);
-        DoTestConversion(d.str, d.wcs, wxConvUTF8);
+        d.Test(n, conv);
+        d.Test(n, wxConvUTF8);
     }
 }
 
@@ -303,26 +360,29 @@ void UnicodeTestCase::ConversionUTF16()
     static const StringConversionData utf16data[] =
     {
 #ifdef wxHAVE_U_ESCAPE
-        { "\x04\x1f\x04\x40\x04\x38\x04\x32\x04\x35\x04\x42\0\0",
-          L"\u041f\u0440\u0438\u0432\u0435\u0442" },
-        { "\x01\0\0b\x01\0\0a\x01\0\0r\0\0", L"\u0100b\u0100a\u0100r" },
+        StringConversionData(
+            "\x04\x1f\x04\x40\x04\x38\x04\x32\x04\x35\x04\x42\0\0",
+            L"\u041f\u0440\u0438\u0432\u0435\u0442"),
+        StringConversionData(
+            "\x01\0\0b\x01\0\0a\x01\0\0r\0\0",
+            L"\u0100b\u0100a\u0100r"),
 #endif
-        { "\0f\0o\0o\0\0", L"foo" },
+        StringConversionData("\0f\0o\0o\0\0", L"foo"),
     };
 
     wxCSConv conv(wxFONTENCODING_UTF16BE);
     for ( size_t n = 0; n < WXSIZEOF(utf16data); n++ )
     {
         const StringConversionData& d = utf16data[n];
-        DoTestConversion(d.str, d.wcs, conv);
+        d.Test(n, conv);
     }
 
     // special case: this string has consecutive NULs inside it which don't
     // terminate the string, this exposed a bug in our conversion code which
     // got confused in this case
     size_t len;
-    wxWCharBuffer wbuf(conv.cMB2WC("\x01\0\0B\0C" /* A macron BC */, 6, &len));
-    CPPUNIT_ASSERT_EQUAL( (size_t)3, len );
+    conv.cMB2WC("\x01\0\0B\0C" /* A macron BC */, 6, &len);
+    CPPUNIT_ASSERT_EQUAL( 3, len );
 }
 
 void UnicodeTestCase::ConversionUTF32()
@@ -330,39 +390,37 @@ void UnicodeTestCase::ConversionUTF32()
     static const StringConversionData utf32data[] =
     {
 #ifdef wxHAVE_U_ESCAPE
-        {
+        StringConversionData(
             "\0\0\x04\x1f\0\0\x04\x40\0\0\x04\x38\0\0\x04\x32\0\0\x04\x35\0\0\x04\x42\0\0\0\0",
-          L"\u041f\u0440\u0438\u0432\u0435\u0442" },
+          L"\u041f\u0440\u0438\u0432\u0435\u0442"),
 #endif
-        { "\0\0\0f\0\0\0o\0\0\0o\0\0\0\0", L"foo" },
+        StringConversionData("\0\0\0f\0\0\0o\0\0\0o\0\0\0\0", L"foo"),
     };
 
     wxCSConv conv(wxFONTENCODING_UTF32BE);
     for ( size_t n = 0; n < WXSIZEOF(utf32data); n++ )
     {
         const StringConversionData& d = utf32data[n];
-        DoTestConversion(d.str, d.wcs, conv);
+        d.Test(n, conv);
     }
 
     size_t len;
-    wxWCharBuffer wbuf(conv.cMB2WC("\0\0\x01\0\0\0\0B\0\0\0C" /* A macron BC */,
-                                   12, &len));
-    CPPUNIT_ASSERT_EQUAL( (size_t)3, len );
+    conv.cMB2WC("\0\0\x01\0\0\0\0B\0\0\0C" /* A macron BC */, 12, &len);
+    CPPUNIT_ASSERT_EQUAL( 3, len );
 }
 
 void UnicodeTestCase::IsConvOk()
 {
     CPPUNIT_ASSERT( wxCSConv(wxFONTENCODING_SYSTEM).IsOk() );
-    CPPUNIT_ASSERT( wxCSConv(_T("UTF-8")).IsOk() );
-    CPPUNIT_ASSERT( !wxCSConv(_T("NoSuchConversion")).IsOk() );
+    CPPUNIT_ASSERT( wxCSConv("US-ASCII").IsOk() );
+    CPPUNIT_ASSERT( wxCSConv("UTF-8").IsOk() );
+    CPPUNIT_ASSERT( !wxCSConv("NoSuchConversion").IsOk() );
 
 #ifdef __WINDOWS__
-    CPPUNIT_ASSERT( wxCSConv(_T("WINDOWS-437")).IsOk() );
+    CPPUNIT_ASSERT( wxCSConv("WINDOWS-437").IsOk() );
 #endif
 }
 
-#endif // wxUSE_WCHAR_T
-
 #if wxUSE_UNICODE
 void UnicodeTestCase::Iteration()
 {
@@ -416,3 +474,4 @@ void UnicodeTestCase::Iteration()
     }
 }
 #endif // wxUSE_UNICODE
+