]> git.saurik.com Git - wxWidgets.git/blobdiff - src/common/string.cpp
document On{Open,Save}Document()
[wxWidgets.git] / src / common / string.cpp
index c8ebc830cd2bea85becc9b7d505420dcbbbe0816..6b6582462259fcedddf1c7f99c4f158dc9339b26 100644 (file)
@@ -1,25 +1,15 @@
 /////////////////////////////////////////////////////////////////////////////
-// Name:        string.cpp
+// Name:        src/common/string.cpp
 // Purpose:     wxString class
-// Author:      Vadim Zeitlin
+// Author:      Vadim Zeitlin, Ryan Norton
 // Modified by:
 // Created:     29/01/98
 // RCS-ID:      $Id$
 // Copyright:   (c) 1998 Vadim Zeitlin <zeitlin@dptmaths.ens-cachan.fr>
-// Licence:     wxWindows license
+//              (c) 2004 Ryan Norton <wxprojects@comcast.net>
+// Licence:     wxWindows licence
 /////////////////////////////////////////////////////////////////////////////
 
-#ifdef __GNUG__
-  #pragma implementation "string.h"
-#endif
-
-/*
- * About ref counting:
- *  1) all empty strings use g_strEmpty, nRefs = -1 (set in Init())
- *  2) AllocBuffer() sets nRefs to 1, Lock() increments it by one
- *  3) Unlock() decrements nRefs and frees memory if it goes to 0
- */
-
 // ===========================================================================
 // headers, declarations, constants
 // ===========================================================================
 #include "wx/wxprec.h"
 
 #ifdef __BORLANDC__
-  #pragma hdrstop
+    #pragma hdrstop
 #endif
 
 #ifndef WX_PRECOMP
-  #include "wx/defs.h"
-  #include "wx/string.h"
-  #include "wx/intl.h"
-  #include "wx/thread.h"
+    #include "wx/string.h"
+    #include "wx/wxcrtvararg.h"
 #endif
 
 #include <ctype.h>
-#include <string.h>
-#include <stdlib.h>
 
-#ifdef __SALFORDC__
-  #include <clib.h>
+#ifndef __WXWINCE__
+    #include <errno.h>
 #endif
 
-#ifdef  WXSTRING_IS_WXOBJECT
-  IMPLEMENT_DYNAMIC_CLASS(wxString, wxObject)
-#endif  //WXSTRING_IS_WXOBJECT
+#include <string.h>
+#include <stdlib.h>
+
+#include "wx/hashmap.h"
 
-#if wxUSE_UNICODE
-#undef wxUSE_EXPERIMENTAL_PRINTF
-#define wxUSE_EXPERIMENTAL_PRINTF 1
+// string handling functions used by wxString:
+#if wxUSE_UNICODE_UTF8
+    #define wxStringMemcpy   memcpy
+    #define wxStringMemcmp   memcmp
+    #define wxStringMemchr   memchr
+    #define wxStringStrlen   strlen
+#else
+    #define wxStringMemcpy   wxTmemcpy
+    #define wxStringMemcmp   wxTmemcmp
+    #define wxStringMemchr   wxTmemchr
+    #define wxStringStrlen   wxStrlen
 #endif
 
-// allocating extra space for each string consumes more memory but speeds up
-// the concatenation operations (nLen is the current string's length)
-// NB: EXTRA_ALLOC must be >= 0!
-#define EXTRA_ALLOC       (19 - nLen % 16)
 
 // ---------------------------------------------------------------------------
 // static class variables definition
 // ---------------------------------------------------------------------------
 
-#if defined(__VISAGECPP__) && __IBMCPP__ >= 400
-// must define this static for VA or else you get multiply defined symbols
-// everywhere
-const unsigned int wxSTRING_MAXLEN = UINT_MAX - 100;
-#endif // Visual Age
-
-#ifdef  wxSTD_STRING_COMPATIBILITY
-  const size_t wxString::npos = wxSTRING_MAXLEN;
-#endif // wxSTD_STRING_COMPATIBILITY
-
-// ----------------------------------------------------------------------------
-// static data
-// ----------------------------------------------------------------------------
-
-// for an empty string, GetStringData() will return this address: this
-// structure has the same layout as wxStringData and it's data() method will
-// return the empty string (dummy pointer)
-static const struct
-{
-  wxStringData data;
-  wxChar dummy;
-} g_strEmpty = { {-1, 0, 0}, wxT('\0') };
-
-// empty C style string: points to 'string data' byte of g_strEmpty
-extern const wxChar WXDLLEXPORT *wxEmptyString = &g_strEmpty.dummy;
-
-// ----------------------------------------------------------------------------
-// conditional compilation
-// ----------------------------------------------------------------------------
-
-#if !defined(__WXSW__) && wxUSE_UNICODE
-  #ifdef wxUSE_EXPERIMENTAL_PRINTF
-    #undef wxUSE_EXPERIMENTAL_PRINTF
-  #endif
-  #define wxUSE_EXPERIMENTAL_PRINTF 1
-#endif
-
-// we want to find out if the current platform supports vsnprintf()-like
-// function: for Unix this is done with configure, for Windows we test the
-// compiler explicitly.
-//
-// FIXME currently, this is only for ANSI (!Unicode) strings, so we call this
-//       function wxVsnprintfA (A for ANSI), should also find one for Unicode
-//       strings in Unicode build
-#ifdef __WXMSW__
-    #if defined(__VISUALC__) || (defined(__MINGW32__) && wxUSE_NORLANDER_HEADERS)
-        #define wxVsnprintfA     _vsnprintf
-    #endif
-#elif defined(__WXMAC__)
-    #define wxVsnprintfA       vsnprintf
-#else   // !Windows
-    #ifdef HAVE_VSNPRINTF
-        #define wxVsnprintfA       vsnprintf
-    #endif
-#endif  // Windows/!Windows
-
-#ifndef wxVsnprintfA
-    // in this case we'll use vsprintf() (which is ANSI and thus should be
-    // always available), but it's unsafe because it doesn't check for buffer
-    // size - so give a warning
-    #define wxVsnprintfA(buf, len, format, arg) vsprintf(buf, format, arg)
-
-    #if defined(__VISUALC__)
-        #pragma message("Using sprintf() because no snprintf()-like function defined")
-    #elif defined(__GNUG__)
-        #warning "Using sprintf() because no snprintf()-like function defined"
-    #endif //compiler
-#endif // no vsnprintf
-
-#if defined(_AIX)
-  // AIX has vsnprintf, but there's no prototype in the system headers.
-  extern "C" int vsnprintf(char* str, size_t n, const char* format, va_list ap);
-#endif
+//According to STL _must_ be a -1 size_t
+const size_t wxString::npos = (size_t) -1;
 
 // ----------------------------------------------------------------------------
 // global functions
 // ----------------------------------------------------------------------------
 
-#if defined(wxSTD_STRING_COMPATIBILITY) && wxUSE_STD_IOSTREAM
+#if wxUSE_STD_IOSTREAM
 
-// MS Visual C++ version 5.0 provides the new STL headers as well as the old
-// iostream ones.
-//
-// ATTN: you can _not_ use both of these in the same program!
+#include <iostream>
 
-wxSTD istream& operator>>(wxSTD istream& is, wxString& WXUNUSED(str))
+wxSTD ostream& operator<<(wxSTD ostream& os, const wxCStrData& str)
 {
-#if 0
-  int w = is.width(0);
-  if ( is.ipfx(0) ) {
-    streambuf *sb = is.rdbuf();
-    str.erase();
-    while ( true ) {
-      int ch = sb->sbumpc ();
-      if ( ch == EOF ) {
-        is.setstate(ios::eofbit);
-        break;
-      }
-      else if ( isspace(ch) ) {
-        sb->sungetc();
-        break;
-      }
-
-      str += ch;
-      if ( --w == 1 )
-        break;
-    }
-  }
-
-  is.isfx();
-  if ( str.length() == 0 )
-    is.setstate(ios::failbit);
+#if wxUSE_UNICODE && !wxUSE_UNICODE_UTF8
+    return os << (const char *)str.AsCharBuf();
+#else
+    return os << str.AsInternal();
 #endif
-  return is;
 }
 
 wxSTD ostream& operator<<(wxSTD ostream& os, const wxString& str)
 {
-  os << str.c_str();
-  return os;
+    return os << str.c_str();
 }
 
-#endif  //std::string compatibility
+wxSTD ostream& operator<<(wxSTD ostream& os, const wxCharBuffer& str)
+{
+    return os << str.data();
+}
 
-extern int WXDLLEXPORT wxVsnprintf(wxChar *buf, size_t len,
-                                   const wxChar *format, va_list argptr)
+#ifndef __BORLANDC__
+wxSTD ostream& operator<<(wxSTD ostream& os, const wxWCharBuffer& str)
 {
-#if wxUSE_UNICODE
-    // FIXME should use wvsnprintf() or whatever if it's available
-    wxString s;
-    int iLen = s.PrintfV(format, argptr);
-    if ( iLen != -1 )
-    {
-        wxStrncpy(buf, s.c_str(), len);
-        buf[len-1] = wxT('\0');
-    }
+    return os << str.data();
+}
+#endif
 
-    return iLen;
-#else // ANSI
-    // vsnprintf() will not terminate the string with '\0' if there is not
-    // enough place, but we want the string to always be NUL terminated
-    int rc = wxVsnprintfA(buf, len - 1, format, argptr);
-    if ( rc == -1 )
-    {
-        buf[len] = 0;
-    }
+#if wxUSE_UNICODE && defined(HAVE_WOSTREAM)
 
-    return rc;
-#endif // Unicode/ANSI
+wxSTD wostream& operator<<(wxSTD wostream& wos, const wxString& str)
+{
+    return wos << str.wc_str();
 }
 
-extern int WXDLLEXPORT wxSnprintf(wxChar *buf, size_t len,
-                                  const wxChar *format, ...)
+wxSTD wostream& operator<<(wxSTD wostream& wos, const wxCStrData& str)
 {
-    va_list argptr;
-    va_start(argptr, format);
-
-    int iLen = wxVsnprintf(buf, len, format, argptr);
-
-    va_end(argptr);
+    return wos << str.AsWChar();
+}
 
-    return iLen;
+wxSTD wostream& operator<<(wxSTD wostream& wos, const wxWCharBuffer& str)
+{
+    return wos << str.data();
 }
 
-// ----------------------------------------------------------------------------
-// private classes
-// ----------------------------------------------------------------------------
+#endif  // wxUSE_UNICODE && defined(HAVE_WOSTREAM)
 
-// this small class is used to gather statistics for performance tuning
-//#define WXSTRING_STATISTICS
-#ifdef  WXSTRING_STATISTICS
-  class Averager
-  {
-  public:
-    Averager(const char *sz) { m_sz = sz; m_nTotal = m_nCount = 0; }
-   ~Averager()
-   { printf("wxString: average %s = %f\n", m_sz, ((float)m_nTotal)/m_nCount); }
-
-    void Add(size_t n) { m_nTotal += n; m_nCount++; }
-
-  private:
-    size_t m_nCount, m_nTotal;
-    const char *m_sz;
-  } g_averageLength("allocation size"),
-    g_averageSummandLength("summand length"),
-    g_averageConcatHit("hit probability in concat"),
-    g_averageInitialLength("initial string length");
-
-  #define STATISTICS_ADD(av, val) g_average##av.Add(val)
-#else
-  #define STATISTICS_ADD(av, val)
-#endif // WXSTRING_STATISTICS
+#endif // wxUSE_STD_IOSTREAM
 
 // ===========================================================================
 // wxString class core
 // ===========================================================================
 
-// ---------------------------------------------------------------------------
-// construction
-// ---------------------------------------------------------------------------
+#if wxUSE_UNICODE_UTF8
 
-// constructs string of <nLength> copies of character <ch>
-wxString::wxString(wxChar ch, size_t nLength)
+void wxString::PosLenToImpl(size_t pos, size_t len,
+                            size_t *implPos, size_t *implLen) const
 {
-  Init();
-
-  if ( nLength > 0 ) {
-    AllocBuffer(nLength);
+    if ( pos == npos )
+        *implPos = npos;
+    else
+    {
+        const_iterator i = begin() + pos;
+        *implPos = wxStringImpl::const_iterator(i.impl()) - m_impl.begin();
+        if ( len == npos )
+            *implLen = npos;
+        else
+        {
+            // too large length is interpreted as "to the end of the string"
+            // FIXME-UTF8: verify this is the case in std::string, assert
+            // otherwise
+            if ( pos + len > length() )
+                len = length() - pos;
 
-#if wxUSE_UNICODE
-    // memset only works on char
-    for (size_t n=0; n<nLength; n++) m_pchData[n] = ch;
-#else
-    memset(m_pchData, ch, nLength);
-#endif
-  }
+            *implLen = (i + len).impl() - i.impl();
+        }
+    }
 }
 
-// takes nLength elements of psz starting at nPos
-void wxString::InitWith(const wxChar *psz, size_t nPos, size_t nLength)
-{
-  Init();
-
-  // if the length is not given, assume the string to be NUL terminated
-  if ( nLength == wxSTRING_MAXLEN ) {
-    wxASSERT_MSG( nPos <= wxStrlen(psz), _T("index out of bounds") );
+#endif // wxUSE_UNICODE_UTF8
 
-    nLength = wxStrlen(psz + nPos);
-  }
+// ----------------------------------------------------------------------------
+// wxCStrData converted strings caching
+// ----------------------------------------------------------------------------
 
-  STATISTICS_ADD(InitialLength, nLength);
+// FIXME-UTF8: temporarily disabled because it doesn't work with global
+//             string objects; re-enable after fixing this bug and benchmarking
+//             performance to see if using a hash is a good idea at all
+#if 0
 
-  if ( nLength > 0 ) {
-    // trailing '\0' is written in AllocBuffer()
-    AllocBuffer(nLength);
-    memcpy(m_pchData, psz + nPos, nLength*sizeof(wxChar));
-  }
+// For backward compatibility reasons, it must be possible to assign the value
+// returned by wxString::c_str() to a char* or wchar_t* variable and work with
+// it. Returning wxCharBuffer from (const char*)c_str() wouldn't do the trick,
+// because the memory would be freed immediately, but it has to be valid as long
+// as the string is not modified, so that code like this still works:
+//
+// const wxChar *s = str.c_str();
+// while ( s ) { ... }
+
+// FIXME-UTF8: not thread safe!
+// FIXME-UTF8: we currently clear the cached conversion only when the string is
+//             destroyed, but we should do it when the string is modified, to
+//             keep memory usage down
+// FIXME-UTF8: we do the conversion every time As[W]Char() is called, but if we
+//             invalidated the cache on every change, we could keep the previous
+//             conversion
+// FIXME-UTF8: add tracing of usage of these two methods - new code is supposed
+//             to use mb_str() or wc_str() instead of (const [w]char*)c_str()
+
+template<typename T>
+static inline void DeleteStringFromConversionCache(T& hash, const wxString *s)
+{
+    typename T::iterator i = hash.find(wxConstCast(s, wxString));
+    if ( i != hash.end() )
+    {
+        free(i->second);
+        hash.erase(i);
+    }
 }
 
-#ifdef  wxSTD_STRING_COMPATIBILITY
+#if wxUSE_UNICODE
+// NB: non-STL implementation doesn't compile with "const wxString*" key type,
+//     so we have to use wxString* here and const-cast when used
+WX_DECLARE_HASH_MAP(wxString*, char*, wxPointerHash, wxPointerEqual,
+                    wxStringCharConversionCache);
+static wxStringCharConversionCache gs_stringsCharCache;
 
-// poor man's iterators are "void *" pointers
-wxString::wxString(const void *pStart, const void *pEnd)
+const char* wxCStrData::AsChar() const
 {
-  InitWith((const wxChar *)pStart, 0,
-           (const wxChar *)pEnd - (const wxChar *)pStart);
-}
+    // remove previously cache value, if any (see FIXMEs above):
+    DeleteStringFromConversionCache(gs_stringsCharCache, m_str);
 
-#endif  //std::string compatibility
+    // convert the string and keep it:
+    const char *s = gs_stringsCharCache[wxConstCast(m_str, wxString)] =
+        m_str->mb_str().release();
 
-#if wxUSE_UNICODE
+    return s + m_offset;
+}
+#endif // wxUSE_UNICODE
 
-// from multibyte string
-wxString::wxString(const char *psz, wxMBConv& conv, size_t nLength)
+#if !wxUSE_UNICODE_WCHAR
+WX_DECLARE_HASH_MAP(wxString*, wchar_t*, wxPointerHash, wxPointerEqual,
+                    wxStringWCharConversionCache);
+static wxStringWCharConversionCache gs_stringsWCharCache;
+
+const wchar_t* wxCStrData::AsWChar() const
 {
-  // first get necessary size
-  size_t nLen = psz ? conv.MB2WC((wchar_t *) NULL, psz, 0) : 0;
+    // remove previously cache value, if any (see FIXMEs above):
+    DeleteStringFromConversionCache(gs_stringsWCharCache, m_str);
 
-  // nLength is number of *Unicode* characters here!
-  if ((nLen != (size_t)-1) && (nLen > nLength))
-    nLen = nLength;
+    // convert the string and keep it:
+    const wchar_t *s = gs_stringsWCharCache[wxConstCast(m_str, wxString)] =
+        m_str->wc_str().release();
 
-  // empty?
-  if ( (nLen != 0) && (nLen != (size_t)-1) ) {
-    AllocBuffer(nLen);
-    conv.MB2WC(m_pchData, psz, nLen);
-  }
-  else {
-    Init();
-  }
+    return s + m_offset;
 }
+#endif // !wxUSE_UNICODE_WCHAR
 
-#else // ANSI
+wxString::~wxString()
+{
+#if wxUSE_UNICODE
+    // FIXME-UTF8: do this only if locale is not UTF8 if wxUSE_UNICODE_UTF8
+    DeleteStringFromConversionCache(gs_stringsCharCache, this);
+#endif
+#if !wxUSE_UNICODE_WCHAR
+    DeleteStringFromConversionCache(gs_stringsWCharCache, this);
+#endif
+}
+#endif
 
-#if wxUSE_WCHAR_T
-// from wide string
-wxString::wxString(const wchar_t *pwz, wxMBConv& conv, size_t nLength)
+#if wxUSE_UNICODE && !wxUSE_UTF8_LOCALE_ONLY
+const char* wxCStrData::AsChar() const
 {
-  // first get necessary size
-  size_t nLen = 0;
-  if (pwz)
-  {
-    if (nLength == wxSTRING_MAXLEN)
-      nLen = conv.WC2MB((char *) NULL, pwz, 0);
+#if wxUSE_UNICODE_UTF8
+    if ( wxLocaleIsUtf8 )
+        return AsInternal();
+#endif
+    // under non-UTF8 locales, we have to convert the internal UTF-8
+    // representation using wxConvLibc and cache the result
+
+    wxString *str = wxConstCast(m_str, wxString);
+
+    // convert the string:
+    //
+    // FIXME-UTF8: we'd like to do the conversion in the existing buffer (if we
+    //             have it) but it's unfortunately not obvious to implement
+    //             because we don't know how big buffer do we need for the
+    //             given string length (in case of multibyte encodings, e.g.
+    //             ISO-2022-JP or UTF-8 when internal representation is wchar_t)
+    //
+    //             One idea would be to store more than just m_convertedToChar
+    //             in wxString: then we could record the length of the string
+    //             which was converted the last time and try to reuse the same
+    //             buffer if the current length is not greater than it (this
+    //             could still fail because string could have been modified in
+    //             place but it would work most of the time, so we'd do it and
+    //             only allocate the new buffer if in-place conversion returned
+    //             an error). We could also store a bit saying if the string
+    //             was modified since the last conversion (and update it in all
+    //             operation modifying the string, of course) to avoid unneeded
+    //             consequential conversions. But both of these ideas require
+    //             adding more fields to wxString and require profiling results
+    //             to be sure that we really gain enough from them to justify
+    //             doing it.
+    wxCharBuffer buf(str->mb_str());
+
+    // if it failed, return empty string and not NULL to avoid crashes in code
+    // written with either wxWidgets 2 wxString or std::string behaviour in
+    // mind: neither of them ever returns NULL and so we shouldn't neither
+    if ( !buf )
+        return "";
+
+    if ( str->m_convertedToChar &&
+         strlen(buf) == strlen(str->m_convertedToChar) )
+    {
+        // keep the same buffer for as long as possible, so that several calls
+        // to c_str() in a row still work:
+        strcpy(str->m_convertedToChar, buf);
+    }
     else
-      nLen = nLength;
-  }
+    {
+        str->m_convertedToChar = buf.release();
+    }
 
-  // empty?
-  if ( (nLen != 0) && (nLen != (size_t)-1) ) {
-    AllocBuffer(nLen);
-    conv.WC2MB(m_pchData, pwz, nLen);
-  }
-  else {
-    Init();
-  }
+    // and keep it:
+    return str->m_convertedToChar + m_offset;
 }
-#endif // wxUSE_WCHAR_T
-
-#endif // Unicode/ANSI
-
-// ---------------------------------------------------------------------------
-// memory allocation
-// ---------------------------------------------------------------------------
+#endif // wxUSE_UNICODE && !wxUSE_UTF8_LOCALE_ONLY
 
-// allocates memory needed to store a C string of length nLen
-void wxString::AllocBuffer(size_t nLen)
+#if !wxUSE_UNICODE_WCHAR
+const wchar_t* wxCStrData::AsWChar() const
 {
-  // allocating 0 sized buffer doesn't make sense, all empty strings should
-  // reuse g_strEmpty
-  wxASSERT( nLen >  0 );
+    wxString *str = wxConstCast(m_str, wxString);
+
+    // convert the string:
+    wxWCharBuffer buf(str->wc_str());
 
-  // make sure that we don't overflow
-  wxASSERT( nLen < (INT_MAX / sizeof(wxChar)) -
-                   (sizeof(wxStringData) + EXTRA_ALLOC + 1) );
+    // notice that here, unlike above in AsChar(), conversion can't fail as our
+    // internal UTF-8 is always well-formed -- or the string was corrupted and
+    // all bets are off anyhow
 
-  STATISTICS_ADD(Length, nLen);
+    // FIXME-UTF8: do the conversion in-place in the existing buffer
+    if ( str->m_convertedToWChar &&
+         wxWcslen(buf) == wxWcslen(str->m_convertedToWChar) )
+    {
+        // keep the same buffer for as long as possible, so that several calls
+        // to c_str() in a row still work:
+        memcpy(str->m_convertedToWChar, buf, sizeof(wchar_t) * wxWcslen(buf));
+    }
+    else
+    {
+        str->m_convertedToWChar = buf.release();
+    }
 
-  // allocate memory:
-  // 1) one extra character for '\0' termination
-  // 2) sizeof(wxStringData) for housekeeping info
-  wxStringData* pData = (wxStringData*)
-    malloc(sizeof(wxStringData) + (nLen + EXTRA_ALLOC + 1)*sizeof(wxChar));
-  pData->nRefs        = 1;
-  pData->nDataLength  = nLen;
-  pData->nAllocLength = nLen + EXTRA_ALLOC;
-  m_pchData           = pData->data();  // data starts after wxStringData
-  m_pchData[nLen]     = wxT('\0');
+    // and keep it:
+    return str->m_convertedToWChar + m_offset;
 }
+#endif // !wxUSE_UNICODE_WCHAR
+
+// ===========================================================================
+// wxString class core
+// ===========================================================================
+
+// ---------------------------------------------------------------------------
+// construction and conversion
+// ---------------------------------------------------------------------------
 
-// must be called before changing this string
-void wxString::CopyBeforeWrite()
+#if wxUSE_UNICODE_WCHAR
+/* static */
+wxString::SubstrBufFromMB wxString::ConvertStr(const char *psz, size_t nLength,
+                                               const wxMBConv& conv)
 {
-  wxStringData* pData = GetStringData();
+    // anything to do?
+    if ( !psz || nLength == 0 )
+        return SubstrBufFromMB(L"", 0);
 
-  if ( pData->IsShared() ) {
-    pData->Unlock();                // memory not freed because shared
-    size_t nLen = pData->nDataLength;
-    AllocBuffer(nLen);
-    memcpy(m_pchData, pData->data(), nLen*sizeof(wxChar));
-  }
+    if ( nLength == npos )
+        nLength = wxNO_LEN;
 
-  wxASSERT( !GetStringData()->IsShared() );  // we must be the only owner
+    size_t wcLen;
+    wxWCharBuffer wcBuf(conv.cMB2WC(psz, nLength, &wcLen));
+    if ( !wcLen )
+        return SubstrBufFromMB(_T(""), 0);
+    else
+        return SubstrBufFromMB(wcBuf, wcLen);
 }
+#endif // wxUSE_UNICODE_WCHAR
 
-// must be called before replacing contents of this string
-void wxString::AllocBeforeWrite(size_t nLen)
+#if wxUSE_UNICODE_UTF8
+/* static */
+wxString::SubstrBufFromMB wxString::ConvertStr(const char *psz, size_t nLength,
+                                               const wxMBConv& conv)
 {
-  wxASSERT( nLen != 0 );  // doesn't make any sense
+    // anything to do?
+    if ( !psz || nLength == 0 )
+        return SubstrBufFromMB("", 0);
 
-  // must not share string and must have enough space
-  wxStringData* pData = GetStringData();
-  if ( pData->IsShared() || pData->IsEmpty() ) {
-    // can't work with old buffer, get new one
-    pData->Unlock();
-    AllocBuffer(nLen);
-  }
-  else {
-    if ( nLen > pData->nAllocLength ) {
-      // realloc the buffer instead of calling malloc() again, this is more
-      // efficient
-      STATISTICS_ADD(Length, nLen);
-
-      nLen += EXTRA_ALLOC;
-
-      wxStringData *pDataOld = pData;
-      pData = (wxStringData*)
-          realloc(pData, sizeof(wxStringData) + (nLen + 1)*sizeof(wxChar));
-      if ( !pData ) {
-        // out of memory
-        free(pDataOld);
-
-        // FIXME we're going to crash...
-        return;
-      }
-
-      pData->nAllocLength = nLen;
-      m_pchData = pData->data();
+    // if psz is already in UTF-8, we don't have to do the roundtrip to
+    // wchar_t* and back:
+    if ( conv.IsUTF8() )
+    {
+        // we need to validate the input because UTF8 iterators assume valid
+        // UTF-8 sequence and psz may be invalid:
+        if ( wxStringOperations::IsValidUtf8String(psz, nLength) )
+        {
+            return SubstrBufFromMB(wxCharBuffer::CreateNonOwned(psz), nLength);
+        }
+        // else: do the roundtrip through wchar_t*
     }
 
-    // now we have enough space, just update the string length
-    pData->nDataLength = nLen;
-  }
+    if ( nLength == npos )
+        nLength = wxNO_LEN;
+
+    // first convert to wide string:
+    size_t wcLen;
+    wxWCharBuffer wcBuf(conv.cMB2WC(psz, nLength, &wcLen));
+    if ( !wcLen )
+        return SubstrBufFromMB("", 0);
 
-  wxASSERT( !GetStringData()->IsShared() );  // we must be the only owner
+    // and then to UTF-8:
+    SubstrBufFromMB buf(ConvertStr(wcBuf, wcLen, wxMBConvStrictUTF8()));
+    // widechar -> UTF-8 conversion isn't supposed to ever fail:
+    wxASSERT_MSG( buf.data, _T("conversion to UTF-8 failed") );
+
+    return buf;
 }
+#endif // wxUSE_UNICODE_UTF8
 
-// allocate enough memory for nLen characters
-void wxString::Alloc(size_t nLen)
+#if wxUSE_UNICODE_UTF8 || !wxUSE_UNICODE
+/* static */
+wxString::SubstrBufFromWC wxString::ConvertStr(const wchar_t *pwz, size_t nLength,
+                                               const wxMBConv& conv)
 {
-  wxStringData *pData = GetStringData();
-  if ( pData->nAllocLength <= nLen ) {
-    if ( pData->IsEmpty() ) {
-      nLen += EXTRA_ALLOC;
+    // anything to do?
+    if ( !pwz || nLength == 0 )
+        return SubstrBufFromWC("", 0);
 
-      wxStringData* pData = (wxStringData*)
-        malloc(sizeof(wxStringData) + (nLen + 1)*sizeof(wxChar));
-      pData->nRefs = 1;
-      pData->nDataLength = 0;
-      pData->nAllocLength = nLen;
-      m_pchData = pData->data();  // data starts after wxStringData
-      m_pchData[0u] = wxT('\0');
-    }
-    else if ( pData->IsShared() ) {
-      pData->Unlock();                // memory not freed because shared
-      size_t nOldLen = pData->nDataLength;
-      AllocBuffer(nLen);
-      memcpy(m_pchData, pData->data(), nOldLen*sizeof(wxChar));
-    }
-    else {
-      nLen += EXTRA_ALLOC;
+    if ( nLength == npos )
+        nLength = wxNO_LEN;
 
-      wxStringData *pDataOld = pData;
-      wxStringData *p = (wxStringData *)
-        realloc(pData, sizeof(wxStringData) + (nLen + 1)*sizeof(wxChar));
+    size_t mbLen;
+    wxCharBuffer mbBuf(conv.cWC2MB(pwz, nLength, &mbLen));
+    if ( !mbLen )
+        return SubstrBufFromWC("", 0);
+    else
+        return SubstrBufFromWC(mbBuf, mbLen);
+}
+#endif // wxUSE_UNICODE_UTF8 || !wxUSE_UNICODE
 
-      if ( p == NULL ) {
-        // don't leak memory
-        free(pDataOld);
 
-        // FIXME what to do on memory error?
-        return;
-      }
+#if wxUSE_UNICODE_WCHAR
 
-      // it's not important if the pointer changed or not (the check for this
-      // is not faster than assigning to m_pchData in all cases)
-      p->nAllocLength = nLen;
-      m_pchData = p->data();
-    }
-  }
-  //else: we've already got enough
+//Convert wxString in Unicode mode to a multi-byte string
+const wxCharBuffer wxString::mb_str(const wxMBConv& conv) const
+{
+    return conv.cWC2MB(wx_str(), length() + 1 /* size, not length */, NULL);
 }
 
-// shrink to minimal size (releasing extra memory)
-void wxString::Shrink()
-{
-  wxStringData *pData = GetStringData();
+#elif wxUSE_UNICODE_UTF8
 
-  size_t nLen = pData->nDataLength;
-  void *p = realloc(pData, sizeof(wxStringData) + (nLen + 1)*sizeof(wxChar));
+const wxWCharBuffer wxString::wc_str() const
+{
+    return wxMBConvStrictUTF8().cMB2WC
+                                (
+                                    m_impl.c_str(),
+                                    m_impl.length() + 1, // size, not length
+                                    NULL
+                                );
+}
 
-  wxASSERT_MSG( p != NULL, _T("can't free memory?") );
+const wxCharBuffer wxString::mb_str(const wxMBConv& conv) const
+{
+    if ( conv.IsUTF8() )
+        return wxCharBuffer::CreateNonOwned(m_impl.c_str());
 
-  if ( p != pData )
-  {
-      // contrary to what one might believe, some realloc() implementation do
-      // move the memory block even when its size is reduced
-      pData = (wxStringData *)p;
+    // FIXME-UTF8: use wc_str() here once we have buffers with length
 
-      m_pchData = pData->data();
-  }
+    size_t wcLen;
+    wxWCharBuffer wcBuf(wxMBConvStrictUTF8().cMB2WC
+                                             (
+                                                m_impl.c_str(),
+                                                m_impl.length() + 1, // size
+                                                &wcLen
+                                             ));
+    if ( !wcLen )
+        return wxCharBuffer("");
 
-  pData->nAllocLength = nLen;
+    return conv.cWC2MB(wcBuf, wcLen+1, NULL);
 }
 
-// get the pointer to writable buffer of (at least) nLen bytes
-wxChar *wxString::GetWriteBuf(size_t nLen)
+#else // ANSI
+
+//Converts this string to a wide character string if unicode
+//mode is not enabled and wxUSE_WCHAR_T is enabled
+const wxWCharBuffer wxString::wc_str(const wxMBConv& conv) const
 {
-  AllocBeforeWrite(nLen);
+    return conv.cMB2WC(wx_str(), length() + 1 /* size, not length */, NULL);
+}
+
+#endif // Unicode/ANSI
 
-  wxASSERT( GetStringData()->nRefs == 1 );
-  GetStringData()->Validate(FALSE);
+// shrink to minimal size (releasing extra memory)
+bool wxString::Shrink()
+{
+  wxString tmp(begin(), end());
+  swap(tmp);
+  return tmp.length() == length();
+}
 
-  return m_pchData;
+// deprecated compatibility code:
+#if WXWIN_COMPATIBILITY_2_8 && !wxUSE_STL_BASED_WXSTRING && !wxUSE_UNICODE_UTF8
+wxStringCharType *wxString::GetWriteBuf(size_t nLen)
+{
+    return DoGetWriteBuf(nLen);
 }
 
-// put string back in a reasonable state after GetWriteBuf
 void wxString::UngetWriteBuf()
 {
-  GetStringData()->nDataLength = wxStrlen(m_pchData);
-  GetStringData()->Validate(TRUE);
+    DoUngetWriteBuf();
 }
 
 void wxString::UngetWriteBuf(size_t nLen)
 {
-  GetStringData()->nDataLength = nLen;
-  GetStringData()->Validate(TRUE);
+    DoUngetWriteBuf(nLen);
 }
+#endif // WXWIN_COMPATIBILITY_2_8 && !wxUSE_STL_BASED_WXSTRING && !wxUSE_UNICODE_UTF8
+
 
 // ---------------------------------------------------------------------------
 // data access
@@ -550,290 +499,683 @@ void wxString::UngetWriteBuf(size_t nLen)
 // all functions are inline in string.h
 
 // ---------------------------------------------------------------------------
-// assignment operators
+// concatenation operators
 // ---------------------------------------------------------------------------
 
-// helper function: does real copy
-void wxString::AssignCopy(size_t nSrcLen, const wxChar *pszSrcData)
-{
-  if ( nSrcLen == 0 ) {
-    Reinit();
-  }
-  else {
-    AllocBeforeWrite(nSrcLen);
-    memcpy(m_pchData, pszSrcData, nSrcLen*sizeof(wxChar));
-    GetStringData()->nDataLength = nSrcLen;
-    m_pchData[nSrcLen] = wxT('\0');
-  }
-}
+/*
+ * concatenation functions come in 5 flavours:
+ *  string + string
+ *  char   + string      and      string + char
+ *  C str  + string      and      string + C str
+ */
 
-// assigns one string to another
-wxString& wxString::operator=(const wxString& stringSrc)
+wxString operator+(const wxString& str1, const wxString& str2)
 {
-  wxASSERT( stringSrc.GetStringData()->IsValid() );
+#if !wxUSE_STL_BASED_WXSTRING
+    wxASSERT( str1.IsValid() );
+    wxASSERT( str2.IsValid() );
+#endif
 
-  // don't copy string over itself
-  if ( m_pchData != stringSrc.m_pchData ) {
-    if ( stringSrc.GetStringData()->IsEmpty() ) {
-      Reinit();
-    }
-    else {
-      // adjust references
-      GetStringData()->Unlock();
-      m_pchData = stringSrc.m_pchData;
-      GetStringData()->Lock();
-    }
-  }
+    wxString s = str1;
+    s += str2;
 
-  return *this;
+    return s;
 }
 
-// assigns a single character
-wxString& wxString::operator=(wxChar ch)
+wxString operator+(const wxString& str, wxUniChar ch)
 {
-  AssignCopy(1, &ch);
-  return *this;
-}
+#if !wxUSE_STL_BASED_WXSTRING
+    wxASSERT( str.IsValid() );
+#endif
 
+    wxString s = str;
+    s += ch;
 
-// assigns C string
-wxString& wxString::operator=(const wxChar *psz)
-{
-  AssignCopy(wxStrlen(psz), psz);
-  return *this;
+    return s;
 }
 
-#if !wxUSE_UNICODE
-
-// same as 'signed char' variant
-wxString& wxString::operator=(const unsigned char* psz)
+wxString operator+(wxUniChar ch, const wxString& str)
 {
-  *this = (const char *)psz;
-  return *this;
+#if !wxUSE_STL_BASED_WXSTRING
+    wxASSERT( str.IsValid() );
+#endif
+
+    wxString s = ch;
+    s += str;
+
+    return s;
 }
 
-#if wxUSE_WCHAR_T
-wxString& wxString::operator=(const wchar_t *pwz)
+wxString operator+(const wxString& str, const char *psz)
 {
-  wxString str(pwz);
-  *this = str;
-  return *this;
-}
+#if !wxUSE_STL_BASED_WXSTRING
+    wxASSERT( str.IsValid() );
 #endif
 
-#endif
+    wxString s;
+    if ( !s.Alloc(strlen(psz) + str.length()) ) {
+        wxFAIL_MSG( _T("out of memory in wxString::operator+") );
+    }
+    s += str;
+    s += psz;
 
-// ---------------------------------------------------------------------------
-// string concatenation
-// ---------------------------------------------------------------------------
+    return s;
+}
 
-// add something to this string
-void wxString::ConcatSelf(int nSrcLen, const wxChar *pszSrcData)
+wxString operator+(const wxString& str, const wchar_t *pwz)
 {
-  STATISTICS_ADD(SummandLength, nSrcLen);
+#if !wxUSE_STL_BASED_WXSTRING
+    wxASSERT( str.IsValid() );
+#endif
 
-  // concatenating an empty string is a NOP
-  if ( nSrcLen > 0 ) {
-    wxStringData *pData = GetStringData();
-    size_t nLen = pData->nDataLength;
-    size_t nNewLen = nLen + nSrcLen;
+    wxString s;
+    if ( !s.Alloc(wxWcslen(pwz) + str.length()) ) {
+        wxFAIL_MSG( _T("out of memory in wxString::operator+") );
+    }
+    s += str;
+    s += pwz;
 
-    // alloc new buffer if current is too small
-    if ( pData->IsShared() ) {
-      STATISTICS_ADD(ConcatHit, 0);
+    return s;
+}
 
-      // we have to allocate another buffer
-      wxStringData* pOldData = GetStringData();
-      AllocBuffer(nNewLen);
-      memcpy(m_pchData, pOldData->data(), nLen*sizeof(wxChar));
-      pOldData->Unlock();
-    }
-    else if ( nNewLen > pData->nAllocLength ) {
-      STATISTICS_ADD(ConcatHit, 0);
+wxString operator+(const char *psz, const wxString& str)
+{
+#if !wxUSE_STL_BASED_WXSTRING
+    wxASSERT( str.IsValid() );
+#endif
 
-      // we have to grow the buffer
-      Alloc(nNewLen);
+    wxString s;
+    if ( !s.Alloc(strlen(psz) + str.length()) ) {
+        wxFAIL_MSG( _T("out of memory in wxString::operator+") );
     }
-    else {
-      STATISTICS_ADD(ConcatHit, 1);
+    s = psz;
+    s += str;
 
-      // the buffer is already big enough
-    }
+    return s;
+}
 
-    // should be enough space
-    wxASSERT( nNewLen <= GetStringData()->nAllocLength );
+wxString operator+(const wchar_t *pwz, const wxString& str)
+{
+#if !wxUSE_STL_BASED_WXSTRING
+    wxASSERT( str.IsValid() );
+#endif
 
-    // fast concatenation - all is done in our buffer
-    memcpy(m_pchData + nLen, pszSrcData, nSrcLen*sizeof(wxChar));
+    wxString s;
+    if ( !s.Alloc(wxWcslen(pwz) + str.length()) ) {
+        wxFAIL_MSG( _T("out of memory in wxString::operator+") );
+    }
+    s = pwz;
+    s += str;
 
-    m_pchData[nNewLen] = wxT('\0');          // put terminating '\0'
-    GetStringData()->nDataLength = nNewLen; // and fix the length
-  }
-  //else: the string to append was empty
+    return s;
 }
 
-/*
- * concatenation functions come in 5 flavours:
- *  string + string
- *  char   + string      and      string + char
- *  C str  + string      and      string + C str
- */
+// ---------------------------------------------------------------------------
+// string comparison
+// ---------------------------------------------------------------------------
 
-wxString operator+(const wxString& string1, const wxString& string2)
+bool wxString::IsSameAs(wxUniChar c, bool compareWithCase) const
 {
-  wxASSERT( string1.GetStringData()->IsValid() );
-  wxASSERT( string2.GetStringData()->IsValid() );
+    return (length() == 1) && (compareWithCase ? GetChar(0u) == c
+                               : wxToupper(GetChar(0u)) == wxToupper(c));
+}
+
+#ifdef HAVE_STD_STRING_COMPARE
 
-  wxString s = string1;
-  s += string2;
+// NB: Comparison code (both if HAVE_STD_STRING_COMPARE and if not) works with
+//     UTF-8 encoded strings too, thanks to UTF-8's design which allows us to
+//     sort strings in characters code point order by sorting the byte sequence
+//     in byte values order (i.e. what strcmp() and memcmp() do).
+
+int wxString::compare(const wxString& str) const
+{
+    return m_impl.compare(str.m_impl);
+}
 
-  return s;
+int wxString::compare(size_t nStart, size_t nLen,
+                      const wxString& str) const
+{
+    size_t pos, len;
+    PosLenToImpl(nStart, nLen, &pos, &len);
+    return m_impl.compare(pos, len, str.m_impl);
 }
 
-wxString operator+(const wxString& string, wxChar ch)
+int wxString::compare(size_t nStart, size_t nLen,
+                      const wxString& str,
+                      size_t nStart2, size_t nLen2) const
 {
-  wxASSERT( string.GetStringData()->IsValid() );
+    size_t pos, len;
+    PosLenToImpl(nStart, nLen, &pos, &len);
 
-  wxString s = string;
-  s += ch;
+    size_t pos2, len2;
+    str.PosLenToImpl(nStart2, nLen2, &pos2, &len2);
 
-  return s;
+    return m_impl.compare(pos, len, str.m_impl, pos2, len2);
 }
 
-wxString operator+(wxChar ch, const wxString& string)
+int wxString::compare(const char* sz) const
 {
-  wxASSERT( string.GetStringData()->IsValid() );
-
-  wxString s = ch;
-  s += string;
+    return m_impl.compare(ImplStr(sz));
+}
 
-  return s;
+int wxString::compare(const wchar_t* sz) const
+{
+    return m_impl.compare(ImplStr(sz));
 }
 
-wxString operator+(const wxString& string, const wxChar *psz)
+int wxString::compare(size_t nStart, size_t nLen,
+                      const char* sz, size_t nCount) const
 {
-  wxASSERT( string.GetStringData()->IsValid() );
+    size_t pos, len;
+    PosLenToImpl(nStart, nLen, &pos, &len);
 
-  wxString s;
-  s.Alloc(wxStrlen(psz) + string.Len());
-  s = string;
-  s += psz;
+    SubstrBufFromMB str(ImplStr(sz, nCount));
 
-  return s;
+    return m_impl.compare(pos, len, str.data, str.len);
 }
 
-wxString operator+(const wxChar *psz, const wxString& string)
+int wxString::compare(size_t nStart, size_t nLen,
+                      const wchar_t* sz, size_t nCount) const
 {
-  wxASSERT( string.GetStringData()->IsValid() );
+    size_t pos, len;
+    PosLenToImpl(nStart, nLen, &pos, &len);
 
-  wxString s;
-  s.Alloc(wxStrlen(psz) + string.Len());
-  s = psz;
-  s += string;
+    SubstrBufFromWC str(ImplStr(sz, nCount));
 
-  return s;
+    return m_impl.compare(pos, len, str.data, str.len);
 }
 
-// ===========================================================================
-// other common string functions
-// ===========================================================================
+#else // !HAVE_STD_STRING_COMPARE
 
-// ---------------------------------------------------------------------------
-// simple sub-string extraction
-// ---------------------------------------------------------------------------
+static inline int wxDoCmp(const wxStringCharType* s1, size_t l1,
+                          const wxStringCharType* s2, size_t l2)
+{
+    if( l1 == l2 )
+        return wxStringMemcmp(s1, s2, l1);
+    else if( l1 < l2 )
+    {
+        int ret = wxStringMemcmp(s1, s2, l1);
+        return ret == 0 ? -1 : ret;
+    }
+    else
+    {
+        int ret = wxStringMemcmp(s1, s2, l2);
+        return ret == 0 ? +1 : ret;
+    }
+}
 
-// helper function: clone the data attached to this string
-void wxString::AllocCopy(wxString& dest, int nCopyLen, int nCopyIndex) const
+int wxString::compare(const wxString& str) const
 {
-  if ( nCopyLen == 0 ) {
-    dest.Init();
-  }
-  else {
-    dest.AllocBuffer(nCopyLen);
-    memcpy(dest.m_pchData, m_pchData + nCopyIndex, nCopyLen*sizeof(wxChar));
-  }
+    return ::wxDoCmp(m_impl.data(), m_impl.length(),
+                     str.m_impl.data(), str.m_impl.length());
 }
 
-// extract string of length nCount starting at nFirst
-wxString wxString::Mid(size_t nFirst, size_t nCount) const
+int wxString::compare(size_t nStart, size_t nLen,
+                      const wxString& str) const
 {
-  wxStringData *pData = GetStringData();
-  size_t nLen = pData->nDataLength;
+    wxASSERT(nStart <= length());
+    size_type strLen = length() - nStart;
+    nLen = strLen < nLen ? strLen : nLen;
 
-  // default value of nCount is wxSTRING_MAXLEN and means "till the end"
-  if ( nCount == wxSTRING_MAXLEN )
-  {
-    nCount = nLen - nFirst;
-  }
+    size_t pos, len;
+    PosLenToImpl(nStart, nLen, &pos, &len);
 
-  // out-of-bounds requests return sensible things
-  if ( nFirst + nCount > nLen )
-  {
-    nCount = nLen - nFirst;
-  }
+    return ::wxDoCmp(m_impl.data() + pos,  len,
+                     str.m_impl.data(), str.m_impl.length());
+}
 
-  if ( nFirst > nLen )
-  {
-    // AllocCopy() will return empty string
-    nCount = 0;
-  }
+int wxString::compare(size_t nStart, size_t nLen,
+                      const wxString& str,
+                      size_t nStart2, size_t nLen2) const
+{
+    wxASSERT(nStart <= length());
+    wxASSERT(nStart2 <= str.length());
+    size_type strLen  =     length() - nStart,
+              strLen2 = str.length() - nStart2;
+    nLen  = strLen  < nLen  ? strLen  : nLen;
+    nLen2 = strLen2 < nLen2 ? strLen2 : nLen2;
 
-  wxString dest;
-  AllocCopy(dest, nCount, nFirst);
+    size_t pos, len;
+    PosLenToImpl(nStart, nLen, &pos, &len);
+    size_t pos2, len2;
+    str.PosLenToImpl(nStart2, nLen2, &pos2, &len2);
 
-  return dest;
+    return ::wxDoCmp(m_impl.data() + pos, len,
+                     str.m_impl.data() + pos2, len2);
 }
 
-// check that the tring starts with prefix and return the rest of the string
-// in the provided pointer if it is not NULL, otherwise return FALSE
-bool wxString::StartsWith(const wxChar *prefix, wxString *rest) const
+int wxString::compare(const char* sz) const
 {
-    wxASSERT_MSG( prefix, _T("invalid parameter in wxString::StartsWith") );
+    SubstrBufFromMB str(ImplStr(sz, npos));
+    if ( str.len == npos )
+        str.len = wxStringStrlen(str.data);
+    return ::wxDoCmp(m_impl.data(), m_impl.length(), str.data, str.len);
+}
+
+int wxString::compare(const wchar_t* sz) const
+{
+    SubstrBufFromWC str(ImplStr(sz, npos));
+    if ( str.len == npos )
+        str.len = wxStringStrlen(str.data);
+    return ::wxDoCmp(m_impl.data(), m_impl.length(), str.data, str.len);
+}
+
+int wxString::compare(size_t nStart, size_t nLen,
+                      const char* sz, size_t nCount) const
+{
+    wxASSERT(nStart <= length());
+    size_type strLen = length() - nStart;
+    nLen = strLen < nLen ? strLen : nLen;
+
+    size_t pos, len;
+    PosLenToImpl(nStart, nLen, &pos, &len);
+
+    SubstrBufFromMB str(ImplStr(sz, nCount));
+    if ( str.len == npos )
+        str.len = wxStringStrlen(str.data);
+
+    return ::wxDoCmp(m_impl.data() + pos, len, str.data, str.len);
+}
+
+int wxString::compare(size_t nStart, size_t nLen,
+                      const wchar_t* sz, size_t nCount) const
+{
+    wxASSERT(nStart <= length());
+    size_type strLen = length() - nStart;
+    nLen = strLen < nLen ? strLen : nLen;
+
+    size_t pos, len;
+    PosLenToImpl(nStart, nLen, &pos, &len);
+
+    SubstrBufFromWC str(ImplStr(sz, nCount));
+    if ( str.len == npos )
+        str.len = wxStringStrlen(str.data);
+
+    return ::wxDoCmp(m_impl.data() + pos, len, str.data, str.len);
+}
+
+#endif // HAVE_STD_STRING_COMPARE/!HAVE_STD_STRING_COMPARE
+
+
+// ---------------------------------------------------------------------------
+// find_{first,last}_[not]_of functions
+// ---------------------------------------------------------------------------
+
+#if !wxUSE_STL_BASED_WXSTRING || wxUSE_UNICODE_UTF8
+
+// NB: All these functions are implemented  with the argument being wxChar*,
+//     i.e. widechar string in any Unicode build, even though native string
+//     representation is char* in the UTF-8 build. This is because we couldn't
+//     use memchr() to determine if a character is in a set encoded as UTF-8.
+
+size_t wxString::find_first_of(const wxChar* sz, size_t nStart) const
+{
+    return find_first_of(sz, nStart, wxStrlen(sz));
+}
+
+size_t wxString::find_first_not_of(const wxChar* sz, size_t nStart) const
+{
+    return find_first_not_of(sz, nStart, wxStrlen(sz));
+}
+
+size_t wxString::find_first_of(const wxChar* sz, size_t nStart, size_t n) const
+{
+    wxASSERT_MSG( nStart <= length(),  _T("invalid index") );
+
+    size_t idx = nStart;
+    for ( const_iterator i = begin() + nStart; i != end(); ++idx, ++i )
+    {
+        if ( wxTmemchr(sz, *i, n) )
+            return idx;
+    }
+
+    return npos;
+}
+
+size_t wxString::find_first_not_of(const wxChar* sz, size_t nStart, size_t n) const
+{
+    wxASSERT_MSG( nStart <= length(),  _T("invalid index") );
+
+    size_t idx = nStart;
+    for ( const_iterator i = begin() + nStart; i != end(); ++idx, ++i )
+    {
+        if ( !wxTmemchr(sz, *i, n) )
+            return idx;
+    }
+
+    return npos;
+}
+
+
+size_t wxString::find_last_of(const wxChar* sz, size_t nStart) const
+{
+    return find_last_of(sz, nStart, wxStrlen(sz));
+}
+
+size_t wxString::find_last_not_of(const wxChar* sz, size_t nStart) const
+{
+    return find_last_not_of(sz, nStart, wxStrlen(sz));
+}
+
+size_t wxString::find_last_of(const wxChar* sz, size_t nStart, size_t n) const
+{
+    size_t len = length();
+
+    if ( nStart == npos )
+    {
+        nStart = len - 1;
+    }
+    else
+    {
+        wxASSERT_MSG( nStart <= len, _T("invalid index") );
+    }
+
+    size_t idx = nStart;
+    for ( const_reverse_iterator i = rbegin() + (len - nStart - 1);
+          i != rend(); --idx, ++i )
+    {
+        if ( wxTmemchr(sz, *i, n) )
+            return idx;
+    }
+
+    return npos;
+}
+
+size_t wxString::find_last_not_of(const wxChar* sz, size_t nStart, size_t n) const
+{
+    size_t len = length();
+
+    if ( nStart == npos )
+    {
+        nStart = len - 1;
+    }
+    else
+    {
+        wxASSERT_MSG( nStart <= len, _T("invalid index") );
+    }
+
+    size_t idx = nStart;
+    for ( const_reverse_iterator i = rbegin() + (len - nStart - 1);
+          i != rend(); --idx, ++i )
+    {
+        if ( !wxTmemchr(sz, *i, n) )
+            return idx;
+    }
+
+    return npos;
+}
+
+size_t wxString::find_first_not_of(wxUniChar ch, size_t nStart) const
+{
+    wxASSERT_MSG( nStart <= length(),  _T("invalid index") );
+
+    size_t idx = nStart;
+    for ( const_iterator i = begin() + nStart; i != end(); ++idx, ++i )
+    {
+        if ( *i != ch )
+            return idx;
+    }
+
+    return npos;
+}
+
+size_t wxString::find_last_not_of(wxUniChar ch, size_t nStart) const
+{
+    size_t len = length();
+
+    if ( nStart == npos )
+    {
+        nStart = len - 1;
+    }
+    else
+    {
+        wxASSERT_MSG( nStart <= len, _T("invalid index") );
+    }
+
+    size_t idx = nStart;
+    for ( const_reverse_iterator i = rbegin() + (len - nStart - 1);
+          i != rend(); --idx, ++i )
+    {
+        if ( *i != ch )
+            return idx;
+    }
+
+    return npos;
+}
+
+// the functions above were implemented for wchar_t* arguments in Unicode
+// build and char* in ANSI build; below are implementations for the other
+// version:
+#if wxUSE_UNICODE
+    #define wxOtherCharType char
+    #define STRCONV         (const wxChar*)wxConvLibc.cMB2WC
+#else
+    #define wxOtherCharType wchar_t
+    #define STRCONV         (const wxChar*)wxConvLibc.cWC2MB
+#endif
+
+size_t wxString::find_first_of(const wxOtherCharType* sz, size_t nStart) const
+    { return find_first_of(STRCONV(sz), nStart); }
+
+size_t wxString::find_first_of(const wxOtherCharType* sz, size_t nStart,
+                               size_t n) const
+    { return find_first_of(STRCONV(sz, n, NULL), nStart, n); }
+size_t wxString::find_last_of(const wxOtherCharType* sz, size_t nStart) const
+    { return find_last_of(STRCONV(sz), nStart); }
+size_t wxString::find_last_of(const wxOtherCharType* sz, size_t nStart,
+                              size_t n) const
+    { return find_last_of(STRCONV(sz, n, NULL), nStart, n); }
+size_t wxString::find_first_not_of(const wxOtherCharType* sz, size_t nStart) const
+    { return find_first_not_of(STRCONV(sz), nStart); }
+size_t wxString::find_first_not_of(const wxOtherCharType* sz, size_t nStart,
+                                   size_t n) const
+    { return find_first_not_of(STRCONV(sz, n, NULL), nStart, n); }
+size_t wxString::find_last_not_of(const wxOtherCharType* sz, size_t nStart) const
+    { return find_last_not_of(STRCONV(sz), nStart); }
+size_t wxString::find_last_not_of(const wxOtherCharType* sz, size_t nStart,
+                                  size_t n) const
+    { return find_last_not_of(STRCONV(sz, n, NULL), nStart, n); }
+
+#undef wxOtherCharType
+#undef STRCONV
+
+#endif // !wxUSE_STL_BASED_WXSTRING || wxUSE_UNICODE_UTF8
+
+// ===========================================================================
+// other common string functions
+// ===========================================================================
+
+int wxString::CmpNoCase(const wxString& s) const
+{
+    // FIXME-UTF8: use wxUniChar::ToLower/ToUpper once added
+
+    const_iterator i1 = begin();
+    const_iterator end1 = end();
+    const_iterator i2 = s.begin();
+    const_iterator end2 = s.end();
+
+    for ( ; i1 != end1 && i2 != end2; ++i1, ++i2 )
+    {
+        wxUniChar lower1 = (wxChar)wxTolower(*i1);
+        wxUniChar lower2 = (wxChar)wxTolower(*i2);
+        if ( lower1 != lower2 )
+            return lower1 < lower2 ? -1 : 1;
+    }
+
+    size_t len1 = length();
+    size_t len2 = s.length();
+
+    if ( len1 < len2 )
+        return -1;
+    else if ( len1 > len2 )
+        return 1;
+    return 0;
+}
+
+
+#if wxUSE_UNICODE
+
+#ifdef __MWERKS__
+#ifndef __SCHAR_MAX__
+#define __SCHAR_MAX__ 127
+#endif
+#endif
+
+wxString wxString::FromAscii(const char *ascii, size_t len)
+{
+    if (!ascii || len == 0)
+       return wxEmptyString;
+
+    wxString res;
 
-    // first check if the beginning of the string matches the prefix: note
-    // that we don't have to check that we don't run out of this string as
-    // when we reach the terminating NUL, either prefix string ends too (and
-    // then it's ok) or we break out of the loop because there is no match
-    const wxChar *p = c_str();
-    while ( *prefix )
     {
-        if ( *prefix++ != *p++ )
+        wxStringInternalBuffer buf(res, len);
+        wxStringCharType *dest = buf;
+
+        for ( ; len > 0; --len )
         {
-            // no match
-            return FALSE;
+            unsigned char c = (unsigned char)*ascii++;
+            wxASSERT_MSG( c < 0x80,
+                          _T("Non-ASCII value passed to FromAscii().") );
+
+            *dest++ = (wchar_t)c;
         }
     }
 
+    return res;
+}
+
+wxString wxString::FromAscii(const char *ascii)
+{
+    return FromAscii(ascii, wxStrlen(ascii));
+}
+
+wxString wxString::FromAscii(char ascii)
+{
+    // What do we do with '\0' ?
+
+    unsigned char c = (unsigned char)ascii;
+
+    wxASSERT_MSG( c < 0x80, _T("Non-ASCII value passed to FromAscii().") );
+
+    // NB: the cast to wchar_t causes interpretation of 'ascii' as Latin1 value
+    return wxString(wxUniChar((wchar_t)c));
+}
+
+const wxCharBuffer wxString::ToAscii() const
+{
+    // this will allocate enough space for the terminating NUL too
+    wxCharBuffer buffer(length());
+    char *dest = buffer.data();
+
+    for ( const_iterator i = begin(); i != end(); ++i )
+    {
+        wxUniChar c(*i);
+        // FIXME-UTF8: unify substituted char ('_') with wxUniChar ('?')
+        *dest++ = c.IsAscii() ? (char)c : '_';
+
+        // the output string can't have embedded NULs anyhow, so we can safely
+        // stop at first of them even if we do have any
+        if ( !c )
+            break;
+    }
+
+    return buffer;
+}
+
+#endif // wxUSE_UNICODE
+
+// extract string of length nCount starting at nFirst
+wxString wxString::Mid(size_t nFirst, size_t nCount) const
+{
+    size_t nLen = length();
+
+    // default value of nCount is npos and means "till the end"
+    if ( nCount == npos )
+    {
+        nCount = nLen - nFirst;
+    }
+
+    // out-of-bounds requests return sensible things
+    if ( nFirst + nCount > nLen )
+    {
+        nCount = nLen - nFirst;
+    }
+
+    if ( nFirst > nLen )
+    {
+        // AllocCopy() will return empty string
+        return wxEmptyString;
+    }
+
+    wxString dest(*this, nFirst, nCount);
+    if ( dest.length() != nCount )
+    {
+        wxFAIL_MSG( _T("out of memory in wxString::Mid") );
+    }
+
+    return dest;
+}
+
+// check that the string starts with prefix and return the rest of the string
+// in the provided pointer if it is not NULL, otherwise return false
+bool wxString::StartsWith(const wxString& prefix, wxString *rest) const
+{
+    if ( compare(0, prefix.length(), prefix) != 0 )
+        return false;
+
+    if ( rest )
+    {
+        // put the rest of the string into provided pointer
+        rest->assign(*this, prefix.length(), npos);
+    }
+
+    return true;
+}
+
+
+// check that the string ends with suffix and return the rest of it in the
+// provided pointer if it is not NULL, otherwise return false
+bool wxString::EndsWith(const wxString& suffix, wxString *rest) const
+{
+    int start = length() - suffix.length();
+
+    if ( start < 0 || compare(start, npos, suffix) != 0 )
+        return false;
+
     if ( rest )
     {
         // put the rest of the string into provided pointer
-        *rest = p;
+        rest->assign(*this, 0, start);
     }
 
-    return TRUE;
+    return true;
 }
 
+
 // extract nCount last (rightmost) characters
 wxString wxString::Right(size_t nCount) const
 {
-  if ( nCount > (size_t)GetStringData()->nDataLength )
-    nCount = GetStringData()->nDataLength;
+  if ( nCount > length() )
+    nCount = length();
 
-  wxString dest;
-  AllocCopy(dest, nCount, GetStringData()->nDataLength - nCount);
+  wxString dest(*this, length() - nCount, nCount);
+  if ( dest.length() != nCount ) {
+    wxFAIL_MSG( _T("out of memory in wxString::Right") );
+  }
   return dest;
 }
 
 // get all characters after the last occurence of ch
 // (returns the whole string if ch not found)
-wxString wxString::AfterLast(wxChar ch) const
+wxString wxString::AfterLast(wxUniChar ch) const
 {
   wxString str;
-  int iPos = Find(ch, TRUE);
+  int iPos = Find(ch, true);
   if ( iPos == wxNOT_FOUND )
     str = *this;
   else
-    str = c_str() + iPos + 1;
+    str = wx_str() + iPos + 1;
 
   return str;
 }
@@ -841,31 +1183,31 @@ wxString wxString::AfterLast(wxChar ch) const
 // extract nCount first (leftmost) characters
 wxString wxString::Left(size_t nCount) const
 {
-  if ( nCount > (size_t)GetStringData()->nDataLength )
-    nCount = GetStringData()->nDataLength;
+  if ( nCount > length() )
+    nCount = length();
 
-  wxString dest;
-  AllocCopy(dest, nCount, 0);
+  wxString dest(*this, 0, nCount);
+  if ( dest.length() != nCount ) {
+    wxFAIL_MSG( _T("out of memory in wxString::Left") );
+  }
   return dest;
 }
 
 // get all characters before the first occurence of ch
 // (returns the whole string if ch not found)
-wxString wxString::BeforeFirst(wxChar ch) const
+wxString wxString::BeforeFirst(wxUniChar ch) const
 {
-  wxString str;
-  for ( const wxChar *pc = m_pchData; *pc != wxT('\0') && *pc != ch; pc++ )
-    str += *pc;
-
-  return str;
+  int iPos = Find(ch);
+  if ( iPos == wxNOT_FOUND ) iPos = length();
+  return wxString(*this, 0, iPos);
 }
 
 /// get all characters before the last occurence of ch
 /// (returns empty string if ch not found)
-wxString wxString::BeforeLast(wxChar ch) const
+wxString wxString::BeforeLast(wxUniChar ch) const
 {
   wxString str;
-  int iPos = Find(ch, TRUE);
+  int iPos = Find(ch, true);
   if ( iPos != wxNOT_FOUND && iPos != 0 )
     str = wxString(c_str(), iPos);
 
@@ -874,95 +1216,105 @@ wxString wxString::BeforeLast(wxChar ch) const
 
 /// get all characters after the first occurence of ch
 /// (returns empty string if ch not found)
-wxString wxString::AfterFirst(wxChar ch) const
+wxString wxString::AfterFirst(wxUniChar ch) const
 {
   wxString str;
   int iPos = Find(ch);
   if ( iPos != wxNOT_FOUND )
-    str = c_str() + iPos + 1;
+    str = wx_str() + iPos + 1;
 
   return str;
 }
 
 // replace first (or all) occurences of some substring with another one
-size_t wxString::Replace(const wxChar *szOld, const wxChar *szNew, bool bReplaceAll)
+size_t wxString::Replace(const wxString& strOld,
+                         const wxString& strNew, bool bReplaceAll)
 {
-  size_t uiCount = 0;   // count of replacements made
+    // if we tried to replace an empty string we'd enter an infinite loop below
+    wxCHECK_MSG( !strOld.empty(), 0,
+                 _T("wxString::Replace(): invalid parameter") );
 
-  size_t uiOldLen = wxStrlen(szOld);
+    size_t uiCount = 0;   // count of replacements made
 
-  wxString strTemp;
-  const wxChar *pCurrent = m_pchData;
-  const wxChar *pSubstr;
-  while ( *pCurrent != wxT('\0') ) {
-    pSubstr = wxStrstr(pCurrent, szOld);
-    if ( pSubstr == NULL ) {
-      // strTemp is unused if no replacements were made, so avoid the copy
-      if ( uiCount == 0 )
-        return 0;
+    size_t uiOldLen = strOld.length();
+    size_t uiNewLen = strNew.length();
 
-      strTemp += pCurrent;    // copy the rest
-      break;                  // exit the loop
-    }
-    else {
-      // take chars before match
-      strTemp.ConcatSelf(pSubstr - pCurrent, pCurrent);
-      strTemp += szNew;
-      pCurrent = pSubstr + uiOldLen;  // restart after match
-
-      uiCount++;
-
-      // stop now?
-      if ( !bReplaceAll ) {
-        strTemp += pCurrent;    // copy the rest
-        break;                  // exit the loop
-      }
-    }
-  }
+    size_t dwPos = 0;
 
-  // only done if there were replacements, otherwise would have returned above
-  *this = strTemp;
+    while ( (*this)[dwPos] != wxT('\0') )
+    {
+        //DO NOT USE STRSTR HERE
+        //this string can contain embedded null characters,
+        //so strstr will function incorrectly
+        dwPos = find(strOld, dwPos);
+        if ( dwPos == npos )
+            break;                  // exit the loop
+        else
+        {
+            //replace this occurance of the old string with the new one
+            replace(dwPos, uiOldLen, strNew, uiNewLen);
+
+            //move up pos past the string that was replaced
+            dwPos += uiNewLen;
+
+            //increase replace count
+            ++uiCount;
 
-  return uiCount;
+            // stop now?
+            if ( !bReplaceAll )
+                break;                  // exit the loop
+        }
+    }
+
+    return uiCount;
 }
 
 bool wxString::IsAscii() const
 {
-  const wxChar *s = (const wxChar*) *this;
-  while(*s){
-    if(!isascii(*s)) return(FALSE);
-    s++;
-  }
-  return(TRUE);
+    for ( const_iterator i = begin(); i != end(); ++i )
+    {
+        if ( !(*i).IsAscii() )
+            return false;
+    }
+
+    return true;
 }
 
 bool wxString::IsWord() const
 {
-  const wxChar *s = (const wxChar*) *this;
-  while(*s){
-    if(!wxIsalpha(*s)) return(FALSE);
-    s++;
-  }
-  return(TRUE);
+    for ( const_iterator i = begin(); i != end(); ++i )
+    {
+        if ( !wxIsalpha(*i) )
+            return false;
+    }
+
+    return true;
 }
 
 bool wxString::IsNumber() const
 {
-  const wxChar *s = (const wxChar*) *this;
-  if (wxStrlen(s))
-     if ((s[0] == '-') || (s[0] == '+')) s++;
-  while(*s){
-    if(!wxIsdigit(*s)) return(FALSE);
-    s++;
-  }
-  return(TRUE);
+    if ( empty() )
+        return true;
+
+    const_iterator i = begin();
+
+    if ( *i == _T('-') || *i == _T('+') )
+        ++i;
+
+    for ( ; i != end(); ++i )
+    {
+        if ( !wxIsdigit(*i) )
+            return false;
+    }
+
+    return true;
 }
 
 wxString wxString::Strip(stripType w) const
 {
     wxString s = *this;
-    if ( w & leading ) s.Trim(FALSE);
-    if ( w & trailing ) s.Trim(TRUE);
+    if ( w & leading ) s.Trim(false);
+    if ( w & trailing ) s.Trim(true);
     return s;
 }
 
@@ -972,20 +1324,16 @@ wxString wxString::Strip(stripType w) const
 
 wxString& wxString::MakeUpper()
 {
-  CopyBeforeWrite();
-
-  for ( wxChar *p = m_pchData; *p; p++ )
-    *p = (wxChar)wxToupper(*p);
+  for ( iterator it = begin(), en = end(); it != en; ++it )
+    *it = (wxChar)wxToupper(*it);
 
   return *this;
 }
 
 wxString& wxString::MakeLower()
 {
-  CopyBeforeWrite();
-
-  for ( wxChar *p = m_pchData; *p; p++ )
-    *p = (wxChar)wxTolower(*p);
+  for ( iterator it = begin(), en = end(); it != en; ++it )
+    *it = (wxChar)wxTolower(*it);
 
   return *this;
 }
@@ -994,10 +1342,10 @@ wxString& wxString::MakeLower()
 // trimming and padding
 // ---------------------------------------------------------------------------
 
-// some compilers (VC++ 6.0 not to name them) return TRUE for a call to
-// isspace('ê') in the C locale which seems to be broken to me, but we have to
-// live with this by checking that the character is a 7 bit one - even if this
-// may fail to detect some spaces (I don't know if Unicode doesn't have
+// some compilers (VC++ 6.0 not to name them) return true for a call to
+// isspace('\xEA') in the C locale which seems to be broken to me, but we have
+// to live with this by checking that the character is a 7 bit one - even if
+// this may fail to detect some spaces (I don't know if Unicode doesn't have
 // space-like symbols somewhere except in the first 128 chars), it is arguably
 // still better than trimming away accented letters
 inline int wxSafeIsspace(wxChar ch) { return (ch < 127) && wxIsspace(ch); }
@@ -1005,73 +1353,65 @@ inline int wxSafeIsspace(wxChar ch) { return (ch < 127) && wxIsspace(ch); }
 // trims spaces (in the sense of isspace) from left or right side
 wxString& wxString::Trim(bool bFromRight)
 {
-  // first check if we're going to modify the string at all
-  if ( !IsEmpty() &&
-       (
-        (bFromRight && wxSafeIsspace(GetChar(Len() - 1))) ||
-        (!bFromRight && wxSafeIsspace(GetChar(0u)))
+    // first check if we're going to modify the string at all
+    if ( !empty() &&
+         (
+          (bFromRight && wxSafeIsspace(GetChar(length() - 1))) ||
+          (!bFromRight && wxSafeIsspace(GetChar(0u)))
+         )
        )
-     )
-  {
-    // ok, there is at least one space to trim
-    CopyBeforeWrite();
-
-    if ( bFromRight )
-    {
-      // find last non-space character
-      wxChar *psz = m_pchData + GetStringData()->nDataLength - 1;
-      while ( wxSafeIsspace(*psz) && (psz >= m_pchData) )
-        psz--;
-
-      // truncate at trailing space start
-      *++psz = wxT('\0');
-      GetStringData()->nDataLength = psz - m_pchData;
-    }
-    else
     {
-      // find first non-space character
-      const wxChar *psz = m_pchData;
-      while ( wxSafeIsspace(*psz) )
-        psz++;
-
-      // fix up data and length
-      int nDataLength = GetStringData()->nDataLength - (psz - (const wxChar*) m_pchData);
-      memmove(m_pchData, psz, (nDataLength + 1)*sizeof(wxChar));
-      GetStringData()->nDataLength = nDataLength;
+        if ( bFromRight )
+        {
+            // find last non-space character
+            reverse_iterator psz = rbegin();
+            while ( (psz != rend()) && wxSafeIsspace(*psz) )
+                ++psz;
+
+            // truncate at trailing space start
+            erase(psz.base(), end());
+        }
+        else
+        {
+            // find first non-space character
+            iterator psz = begin();
+            while ( (psz != end()) && wxSafeIsspace(*psz) )
+                ++psz;
+
+            // fix up data and length
+            erase(begin(), psz);
+        }
     }
-  }
 
-  return *this;
+    return *this;
 }
 
 // adds nCount characters chPad to the string from either side
-wxString& wxString::Pad(size_t nCount, wxChar chPad, bool bFromRight)
+wxString& wxString::Pad(size_t nCount, wxUniChar chPad, bool bFromRight)
 {
-  wxString s(chPad, nCount);
+    wxString s(chPad, nCount);
 
-  if ( bFromRight )
-    *this += s;
-  else
-  {
-    s += *this;
-    *this = s;
-  }
+    if ( bFromRight )
+        *this += s;
+    else
+    {
+        s += *this;
+        swap(s);
+    }
 
-  return *this;
+    return *this;
 }
 
 // truncate the string
 wxString& wxString::Truncate(size_t uiLen)
 {
-  if ( uiLen < Len() ) {
-    CopyBeforeWrite();
-
-    *(m_pchData + uiLen) = wxT('\0');
-    GetStringData()->nDataLength = uiLen;
-  }
-  //else: nothing to do, string is already short enough
+    if ( uiLen < length() )
+    {
+        erase(begin() + uiLen, end());
+    }
+    //else: nothing to do, string is already short enough
 
-  return *this;
+    return *this;
 }
 
 // ---------------------------------------------------------------------------
@@ -1079,389 +1419,374 @@ wxString& wxString::Truncate(size_t uiLen)
 // ---------------------------------------------------------------------------
 
 // find a character
-int wxString::Find(wxChar ch, bool bFromEnd) const
-{
-  const wxChar *psz = bFromEnd ? wxStrrchr(m_pchData, ch) : wxStrchr(m_pchData, ch);
-
-  return (psz == NULL) ? wxNOT_FOUND : psz - (const wxChar*) m_pchData;
-}
-
-// find a sub-string (like strstr)
-int wxString::Find(const wxChar *pszSub) const
+int wxString::Find(wxUniChar ch, bool bFromEnd) const
 {
-  const wxChar *psz = wxStrstr(m_pchData, pszSub);
+    size_type idx = bFromEnd ? find_last_of(ch) : find_first_of(ch);
 
-  return (psz == NULL) ? wxNOT_FOUND : psz - (const wxChar*) m_pchData;
+    return (idx == npos) ? wxNOT_FOUND : (int)idx;
 }
 
 // ----------------------------------------------------------------------------
 // conversion to numbers
 // ----------------------------------------------------------------------------
 
-bool wxString::ToLong(long *val, int base) const
-{
-    wxCHECK_MSG( val, FALSE, _T("NULL pointer in wxString::ToLong") );
+// The implementation of all the functions below is exactly the same so factor
+// it out. Note that number extraction works correctly on UTF-8 strings, so
+// we can use wxStringCharType and wx_str() for maximum efficiency.
 
-    const wxChar *start = c_str();
-    wxChar *end;
-    *val = wxStrtol(start, &end, base);
+#ifndef __WXWINCE__
+    #define DO_IF_NOT_WINCE(x) x
+#else
+    #define DO_IF_NOT_WINCE(x)
+#endif
 
-    // return TRUE only if scan was stopped by the terminating NUL and if the
-    // string was not empty to start with
-    return !*end && (end != start);
+#define WX_STRING_TO_INT_TYPE(out, base, func, T)                           \
+    wxCHECK_MSG( out, false, _T("NULL output pointer") );                   \
+    wxASSERT_MSG( !base || (base > 1 && base <= 36), _T("invalid base") );  \
+                                                                            \
+    DO_IF_NOT_WINCE( errno = 0; )                                           \
+                                                                            \
+    const wxStringCharType *start = wx_str();                               \
+    wxStringCharType *end;                                                  \
+    T val = func(start, &end, base);                                        \
+                                                                            \
+    /* return true only if scan was stopped by the terminating NUL and */   \
+    /* if the string was not empty to start with and no under/overflow */   \
+    /* occurred: */                                                         \
+    if ( *end || end == start DO_IF_NOT_WINCE(|| errno == ERANGE) )         \
+        return false;                                                       \
+    *out = val;                                                             \
+    return true
+
+bool wxString::ToLong(long *pVal, int base) const
+{
+    WX_STRING_TO_INT_TYPE(pVal, base, wxStrtol, long);
 }
 
-bool wxString::ToULong(unsigned long *val, int base) const
+bool wxString::ToULong(unsigned long *pVal, int base) const
 {
-    wxCHECK_MSG( val, FALSE, _T("NULL pointer in wxString::ToULong") );
+    WX_STRING_TO_INT_TYPE(pVal, base, wxStrtoul, unsigned long);
+}
 
-    const wxChar *start = c_str();
-    wxChar *end;
-    *val = wxStrtoul(start, &end, base);
+bool wxString::ToLongLong(wxLongLong_t *pVal, int base) const
+{
+    WX_STRING_TO_INT_TYPE(pVal, base, wxStrtoll, wxLongLong_t);
+}
 
-    // return TRUE only if scan was stopped by the terminating NUL and if the
-    // string was not empty to start with
-    return !*end && (end != start);
+bool wxString::ToULongLong(wxULongLong_t *pVal, int base) const
+{
+    WX_STRING_TO_INT_TYPE(pVal, base, wxStrtoull, wxULongLong_t);
 }
 
-bool wxString::ToDouble(double *val) const
+bool wxString::ToDouble(double *pVal) const
 {
-    wxCHECK_MSG( val, FALSE, _T("NULL pointer in wxString::ToDouble") );
+    wxCHECK_MSG( pVal, false, _T("NULL output pointer") );
+
+    DO_IF_NOT_WINCE( errno = 0; )
 
     const wxChar *start = c_str();
     wxChar *end;
-    *val = wxStrtod(start, &end);
+    double val = wxStrtod(start, &end);
+
+    // return true only if scan was stopped by the terminating NUL and if the
+    // string was not empty to start with and no under/overflow occurred
+    if ( *end || end == start DO_IF_NOT_WINCE(|| errno == ERANGE) )
+        return false;
+
+    *pVal = val;
 
-    // return TRUE only if scan was stopped by the terminating NUL and if the
-    // string was not empty to start with
-    return !*end && (end != start);
+    return true;
 }
 
 // ---------------------------------------------------------------------------
 // formatted output
 // ---------------------------------------------------------------------------
 
+#if !wxUSE_UTF8_LOCALE_ONLY
 /* static */
-wxString wxString::Format(const wxChar *pszFormat, ...)
+#ifdef wxNEEDS_WXSTRING_PRINTF_MIXIN
+wxString wxStringPrintfMixinBase::DoFormatWchar(const wxChar *format, ...)
+#else
+wxString wxString::DoFormatWchar(const wxChar *format, ...)
+#endif
 {
     va_list argptr;
-    va_start(argptr, pszFormat);
+    va_start(argptr, format);
 
     wxString s;
-    s.PrintfV(pszFormat, argptr);
+    s.PrintfV(format, argptr);
 
     va_end(argptr);
 
     return s;
 }
+#endif // !wxUSE_UTF8_LOCALE_ONLY
 
+#if wxUSE_UNICODE_UTF8
 /* static */
-wxString wxString::FormatV(const wxChar *pszFormat, va_list argptr)
+wxString wxString::DoFormatUtf8(const char *format, ...)
 {
+    va_list argptr;
+    va_start(argptr, format);
+
     wxString s;
-    s.PrintfV(pszFormat, argptr);
+    s.PrintfV(format, argptr);
+
+    va_end(argptr);
+
     return s;
 }
+#endif // wxUSE_UNICODE_UTF8
 
-int wxString::Printf(const wxChar *pszFormat, ...)
-{
-  va_list argptr;
-  va_start(argptr, pszFormat);
-
-  int iLen = PrintfV(pszFormat, argptr);
-
-  va_end(argptr);
-
-  return iLen;
-}
-
-int wxString::PrintfV(const wxChar* pszFormat, va_list argptr)
-{
-#if wxUSE_EXPERIMENTAL_PRINTF
-  // the new implementation
-
-  // buffer to avoid dynamic memory allocation each time for small strings
-  char szScratch[1024];
-
-  Reinit();
-  for (size_t n = 0; pszFormat[n]; n++)
-    if (pszFormat[n] == wxT('%')) {
-      static char s_szFlags[256] = "%";
-      size_t flagofs = 1;
-      bool adj_left = FALSE, in_prec = FALSE,
-           prec_dot = FALSE, done = FALSE;
-      int ilen = 0;
-      size_t min_width = 0, max_width = wxSTRING_MAXLEN;
-      do {
-#define CHECK_PREC if (in_prec && !prec_dot) { s_szFlags[flagofs++] = '.'; prec_dot = TRUE; }
-        switch (pszFormat[++n]) {
-        case wxT('\0'):
-          done = TRUE;
-          break;
-        case wxT('%'):
-          *this += wxT('%');
-          done = TRUE;
-          break;
-        case wxT('#'):
-        case wxT('0'):
-        case wxT(' '):
-        case wxT('+'):
-        case wxT('\''):
-          CHECK_PREC
-          s_szFlags[flagofs++] = pszFormat[n];
-          break;
-        case wxT('-'):
-          CHECK_PREC
-          adj_left = TRUE;
-          s_szFlags[flagofs++] = pszFormat[n];
-          break;
-        case wxT('.'):
-          CHECK_PREC
-          in_prec = TRUE;
-          prec_dot = FALSE;
-          max_width = 0;
-          // dot will be auto-added to s_szFlags if non-negative number follows
-          break;
-        case wxT('h'):
-          ilen = -1;
-          CHECK_PREC
-          s_szFlags[flagofs++] = pszFormat[n];
-          break;
-        case wxT('l'):
-          ilen = 1;
-          CHECK_PREC
-          s_szFlags[flagofs++] = pszFormat[n];
-          break;
-        case wxT('q'):
-        case wxT('L'):
-          ilen = 2;
-          CHECK_PREC
-          s_szFlags[flagofs++] = pszFormat[n];
-          break;
-        case wxT('Z'):
-          ilen = 3;
-          CHECK_PREC
-          s_szFlags[flagofs++] = pszFormat[n];
-          break;
-        case wxT('*'):
-          {
-            int len = va_arg(argptr, int);
-            if (in_prec) {
-              if (len<0) break;
-              CHECK_PREC
-              max_width = len;
-            } else {
-              if (len<0) {
-                adj_left = !adj_left;
-                s_szFlags[flagofs++] = '-';
-                len = -len;
-              }
-              min_width = len;
-            }
-            flagofs += ::sprintf(s_szFlags+flagofs,"%d",len);
-          }
-          break;
-        case wxT('1'): case wxT('2'): case wxT('3'):
-        case wxT('4'): case wxT('5'): case wxT('6'):
-        case wxT('7'): case wxT('8'): case wxT('9'):
-          {
-            int len = 0;
-            CHECK_PREC
-            while ((pszFormat[n]>=wxT('0')) && (pszFormat[n]<=wxT('9'))) {
-              s_szFlags[flagofs++] = pszFormat[n];
-              len = len*10 + (pszFormat[n] - wxT('0'));
-              n++;
-            }
-            if (in_prec) max_width = len;
-            else min_width = len;
-            n--; // the main loop pre-increments n again
-          }
-          break;
-        case wxT('d'):
-        case wxT('i'):
-        case wxT('o'):
-        case wxT('u'):
-        case wxT('x'):
-        case wxT('X'):
-          CHECK_PREC
-          s_szFlags[flagofs++] = pszFormat[n];
-          s_szFlags[flagofs] = '\0';
-          if (ilen == 0 ) {
-            int val = va_arg(argptr, int);
-            ::sprintf(szScratch, s_szFlags, val);
-          }
-          else if (ilen == -1) {
-            short int val = va_arg(argptr, short int);
-            ::sprintf(szScratch, s_szFlags, val);
-          }
-          else if (ilen == 1) {
-            long int val = va_arg(argptr, long int);
-            ::sprintf(szScratch, s_szFlags, val);
-          }
-          else if (ilen == 2) {
-#if SIZEOF_LONG_LONG
-            long long int val = va_arg(argptr, long long int);
-            ::sprintf(szScratch, s_szFlags, val);
+/* static */
+wxString wxString::FormatV(const wxString& format, va_list argptr)
+{
+    wxString s;
+    s.PrintfV(format, argptr);
+    return s;
+}
+
+#if !wxUSE_UTF8_LOCALE_ONLY
+#ifdef wxNEEDS_WXSTRING_PRINTF_MIXIN
+int wxStringPrintfMixinBase::DoPrintfWchar(const wxChar *format, ...)
 #else
-            long int val = va_arg(argptr, long int);
-            ::sprintf(szScratch, s_szFlags, val);
+int wxString::DoPrintfWchar(const wxChar *format, ...)
 #endif
-          }
-          else if (ilen == 3) {
-            size_t val = va_arg(argptr, size_t);
-            ::sprintf(szScratch, s_szFlags, val);
-          }
-          *this += wxString(szScratch);
-          done = TRUE;
-          break;
-        case wxT('e'):
-        case wxT('E'):
-        case wxT('f'):
-        case wxT('g'):
-        case wxT('G'):
-          CHECK_PREC
-          s_szFlags[flagofs++] = pszFormat[n];
-          s_szFlags[flagofs] = '\0';
-          if (ilen == 2) {
-            long double val = va_arg(argptr, long double);
-            ::sprintf(szScratch, s_szFlags, val);
-          } else {
-            double val = va_arg(argptr, double);
-            ::sprintf(szScratch, s_szFlags, val);
-          }
-          *this += wxString(szScratch);
-          done = TRUE;
-          break;
-        case wxT('p'):
-          {
-            void *val = va_arg(argptr, void *);
-            CHECK_PREC
-            s_szFlags[flagofs++] = pszFormat[n];
-            s_szFlags[flagofs] = '\0';
-            ::sprintf(szScratch, s_szFlags, val);
-            *this += wxString(szScratch);
-            done = TRUE;
-          }
-          break;
-        case wxT('c'):
-          {
-            wxChar val = va_arg(argptr, int);
-            // we don't need to honor padding here, do we?
-            *this += val;
-            done = TRUE;
-          }
-          break;
-        case wxT('s'):
-          if (ilen == -1) {
-            // wx extension: we'll let %hs mean non-Unicode strings
-            char *val = va_arg(argptr, char *);
-#if wxUSE_UNICODE
-            // ASCII->Unicode constructor handles max_width right
-            wxString s(val, wxConvLibc, max_width);
+{
+    va_list argptr;
+    va_start(argptr, format);
+
+#ifdef wxNEEDS_WXSTRING_PRINTF_MIXIN
+    // get a pointer to the wxString instance; we have to use dynamic_cast<>
+    // because it's the only cast that works safely for downcasting when
+    // multiple inheritance is used:
+    wxString *str = static_cast<wxString*>(this);
 #else
-            size_t len = wxSTRING_MAXLEN;
-            if (val) {
-              for (len = 0; val[len] && (len<max_width); len++);
-            } else val = wxT("(null)");
-            wxString s(val, len);
+    wxString *str = this;
 #endif
-            if (s.Len() < min_width)
-              s.Pad(min_width - s.Len(), wxT(' '), adj_left);
-            *this += s;
-          } else {
-            wxChar *val = va_arg(argptr, wxChar *);
-            size_t len = wxSTRING_MAXLEN;
-            if (val) {
-              for (len = 0; val[len] && (len<max_width); len++);
-            } else val = wxT("(null)");
-            wxString s(val, len);
-            if (s.Len() < min_width)
-              s.Pad(min_width - s.Len(), wxT(' '), adj_left);
-            *this += s;
-          }
-          done = TRUE;
-          break;
-        case wxT('n'):
-          if (ilen == 0) {
-            int *val = va_arg(argptr, int *);
-            *val = Len();
-          }
-          else if (ilen == -1) {
-            short int *val = va_arg(argptr, short int *);
-            *val = Len();
-          }
-          else if (ilen >= 1) {
-            long int *val = va_arg(argptr, long int *);
-            *val = Len();
-          }
-          done = TRUE;
-          break;
-        default:
-          if (wxIsalpha(pszFormat[n]))
-            // probably some flag not taken care of here yet
-            s_szFlags[flagofs++] = pszFormat[n];
-          else {
-            // bad format
-            *this += wxT('%'); // just to pass the glibc tst-printf.c
-            n--;
-            done = TRUE;
-          }
-          break;
+
+    int iLen = str->PrintfV(format, argptr);
+
+    va_end(argptr);
+
+    return iLen;
+}
+#endif // !wxUSE_UTF8_LOCALE_ONLY
+
+#if wxUSE_UNICODE_UTF8
+int wxString::DoPrintfUtf8(const char *format, ...)
+{
+    va_list argptr;
+    va_start(argptr, format);
+
+    int iLen = PrintfV(format, argptr);
+
+    va_end(argptr);
+
+    return iLen;
+}
+#endif // wxUSE_UNICODE_UTF8
+
+/*
+    Uses wxVsnprintf and places the result into the this string.
+
+    In ANSI build, wxVsnprintf is effectively vsnprintf but in Unicode build
+    it is vswprintf.  Due to a discrepancy between vsnprintf and vswprintf in
+    the ISO C99 (and thus SUSv3) standard the return value for the case of
+    an undersized buffer is inconsistent.  For conforming vsnprintf
+    implementations the function must return the number of characters that
+    would have been printed had the buffer been large enough.  For conforming
+    vswprintf implementations the function must return a negative number
+    and set errno.
+
+    What vswprintf sets errno to is undefined but Darwin seems to set it to
+    EOVERFLOW.  The only expected errno are EILSEQ and EINVAL.  Both of
+    those are defined in the standard and backed up by several conformance
+    statements.  Note that ENOMEM mentioned in the manual page does not
+    apply to swprintf, only wprintf and fwprintf.
+
+    Official manual page:
+    http://www.opengroup.org/onlinepubs/009695399/functions/swprintf.html
+
+    Some conformance statements (AIX, Solaris):
+    http://www.opengroup.org/csq/view.mhtml?RID=ibm%2FSD1%2F3
+    http://www.theopengroup.org/csq/view.mhtml?norationale=1&noreferences=1&RID=Fujitsu%2FSE2%2F10
+
+    Since EILSEQ and EINVAL are rather common but EOVERFLOW is not and since
+    EILSEQ and EINVAL are specifically defined to mean the error is other than
+    an undersized buffer and no other errno are defined we treat those two
+    as meaning hard errors and everything else gets the old behavior which
+    is to keep looping and increasing buffer size until the function succeeds.
+
+    In practice it's impossible to determine before compilation which behavior
+    may be used.  The vswprintf function may have vsnprintf-like behavior or
+    vice-versa.  Behavior detected on one release can theoretically change
+    with an updated release.  Not to mention that configure testing for it
+    would require the test to be run on the host system, not the build system
+    which makes cross compilation difficult. Therefore, we make no assumptions
+    about behavior and try our best to handle every known case, including the
+    case where wxVsnprintf returns a negative number and fails to set errno.
+
+    There is yet one more non-standard implementation and that is our own.
+    Fortunately, that can be detected at compile-time.
+
+    On top of all that, ISO C99 explicitly defines snprintf to write a null
+    character to the last position of the specified buffer.  That would be at
+    at the given buffer size minus 1.  It is supposed to do this even if it
+    turns out that the buffer is sized too small.
+
+    Darwin (tested on 10.5) follows the C99 behavior exactly.
+
+    Glibc 2.6 almost follows the C99 behavior except vswprintf never sets
+    errno even when it fails.  However, it only seems to ever fail due
+    to an undersized buffer.
+*/
+#if wxUSE_UNICODE_UTF8
+template<typename BufferType>
+#else
+// we only need one version in non-UTF8 builds and at least two Windows
+// compilers have problems with this function template, so use just one
+// normal function here
+#endif
+static int DoStringPrintfV(wxString& str,
+                           const wxString& format, va_list argptr)
+{
+    int size = 1024;
+
+    for ( ;; )
+    {
+#if wxUSE_UNICODE_UTF8
+        BufferType tmp(str, size + 1);
+        typename BufferType::CharType *buf = tmp;
+#else
+        wxStringBuffer tmp(str, size + 1);
+        wxChar *buf = tmp;
+#endif
+
+        if ( !buf )
+        {
+            // out of memory
+
+            // in UTF-8 build, leaving uninitialized junk in the buffer
+            // could result in invalid non-empty UTF-8 string, so just
+            // reset the string to empty on failure:
+            buf[0] = '\0';
+            return -1;
         }
-#undef CHECK_PREC
-      } while (!done);
-    } else *this += pszFormat[n];
 
+        // wxVsnprintf() may modify the original arg pointer, so pass it
+        // only a copy
+        va_list argptrcopy;
+        wxVaCopy(argptrcopy, argptr);
+
+#ifndef __WXWINCE__
+        // Set errno to 0 to make it determinate if wxVsnprintf fails to set it.
+        errno = 0;
+#endif
+        int len = wxVsnprintf(buf, size, format, argptrcopy);
+        va_end(argptrcopy);
+
+        // some implementations of vsnprintf() don't NUL terminate
+        // the string if there is not enough space for it so
+        // always do it manually
+        // FIXME: This really seems to be the wrong and would be an off-by-one
+        // bug except the code above allocates an extra character.
+        buf[size] = _T('\0');
+
+        // vsnprintf() may return either -1 (traditional Unix behaviour) or the
+        // total number of characters which would have been written if the
+        // buffer were large enough (newer standards such as Unix98)
+        if ( len < 0 )
+        {
+            // NB: wxVsnprintf() may call either wxCRT_VsnprintfW or
+            //     wxCRT_VsnprintfA in UTF-8 build; wxUSE_WXVSNPRINTF
+            //     is true if *both* of them use our own implementation,
+            //     otherwise we can't be sure
+#if wxUSE_WXVSNPRINTF
+            // we know that our own implementation of wxVsnprintf() returns -1
+            // only for a format error - thus there's something wrong with
+            // the user's format string
+            buf[0] = '\0';
+            return -1;
+#else // possibly using system version
+            // assume it only returns error if there is not enough space, but
+            // as we don't know how much we need, double the current size of
+            // the buffer
+#ifndef __WXWINCE__
+            if( (errno == EILSEQ) || (errno == EINVAL) )
+            // If errno was set to one of the two well-known hard errors
+            // then fail immediately to avoid an infinite loop.
+                return -1;
+            else
+#endif // __WXWINCE__
+            // still not enough, as we don't know how much we need, double the
+            // current size of the buffer
+                size *= 2;
+#endif // wxUSE_WXVSNPRINTF/!wxUSE_WXVSNPRINTF
+        }
+        else if ( len >= size )
+        {
+#if wxUSE_WXVSNPRINTF
+            // we know that our own implementation of wxVsnprintf() returns
+            // size+1 when there's not enough space but that's not the size
+            // of the required buffer!
+            size *= 2;      // so we just double the current size of the buffer
 #else
-  // buffer to avoid dynamic memory allocation each time for small strings
-  char szScratch[1024];
-
-  // NB: wxVsnprintf() may return either less than the buffer size or -1 if
-  //     there is not enough place depending on implementation
-  int iLen = wxVsnprintfA(szScratch, WXSIZEOF(szScratch), (char *)pszFormat, argptr);
-  if ( iLen != -1 ) {
-    // the whole string is in szScratch
-    *this = szScratch;
-  }
-  else {
-      bool outOfMemory = FALSE;
-      int size = 2*WXSIZEOF(szScratch);
-      while ( !outOfMemory ) {
-          char *buf = GetWriteBuf(size);
-          if ( buf )
-            iLen = wxVsnprintfA(buf, size, pszFormat, argptr);
-          else
-            outOfMemory = TRUE;
-
-          UngetWriteBuf();
-
-          if ( iLen != -1 ) {
-              // ok, there was enough space
-              break;
-          }
+            // some vsnprintf() implementations NUL-terminate the buffer and
+            // some don't in len == size case, to be safe always add 1
+            // FIXME: I don't quite understand this comment.  The vsnprintf
+            // function is specifically defined to return the number of
+            // characters printed not including the null terminator.
+            // So OF COURSE you need to add 1 to get the right buffer size.
+            // The following line is definitely correct, no question.
+            size = len + 1;
+#endif
+        }
+        else // ok, there was enough space
+        {
+            break;
+        }
+    }
 
-          // still not enough, double it again
-          size *= 2;
-      }
+    // we could have overshot
+    str.Shrink();
 
-      if ( outOfMemory ) {
-          // out of memory
-          return -1;
-      }
-  }
-#endif // wxUSE_EXPERIMENTAL_PRINTF/!wxUSE_EXPERIMENTAL_PRINTF
+    return str.length();
+}
+
+int wxString::PrintfV(const wxString& format, va_list argptr)
+{
+#if wxUSE_UNICODE_UTF8
+    #if wxUSE_STL_BASED_WXSTRING
+        typedef wxStringTypeBuffer<char> Utf8Buffer;
+    #else
+        typedef wxStringInternalBuffer Utf8Buffer;
+    #endif
+#endif
 
-  return Len();
+#if wxUSE_UTF8_LOCALE_ONLY
+    return DoStringPrintfV<Utf8Buffer>(*this, format, argptr);
+#else
+    #if wxUSE_UNICODE_UTF8
+    if ( wxLocaleIsUtf8 )
+        return DoStringPrintfV<Utf8Buffer>(*this, format, argptr);
+    else
+        // wxChar* version
+        return DoStringPrintfV<wxStringBuffer>(*this, format, argptr);
+    #else
+        return DoStringPrintfV(*this, format, argptr);
+    #endif // UTF8/WCHAR
+#endif
 }
 
 // ----------------------------------------------------------------------------
 // misc other operations
 // ----------------------------------------------------------------------------
 
-// returns TRUE if the string matches the pattern which may contain '*' and
+// returns true if the string matches the pattern which may contain '*' and
 // '?' metacharacters (as usual, '?' matches any character and '*' any number
 // of them)
-bool wxString::Matches(const wxChar *pszMask) const
+bool wxString::Matches(const wxString& mask) const
 {
     // I disable this code as it doesn't seem to be faster (in fact, it seems
     // to be much slower) than the old, hand-written code below and using it
@@ -1512,8 +1837,17 @@ bool wxString::Matches(const wxChar *pszMask) const
 #else // !wxUSE_REGEX
   // TODO: this is, of course, awfully inefficient...
 
+  // FIXME-UTF8: implement using iterators, remove #if
+#if wxUSE_UNICODE_UTF8
+  wxWCharBuffer maskBuf = mask.wc_str();
+  wxWCharBuffer txtBuf = wc_str();
+  const wxChar *pszMask = maskBuf.data();
+  const wxChar *pszTxt = txtBuf.data();
+#else
+  const wxChar *pszMask = mask.wx_str();
   // the char currently being checked
-  const wxChar *pszTxt = c_str();
+  const wxChar *pszTxt = wx_str();
+#endif
 
   // the last location where '*' matched
   const wxChar *pszLastStarInText = NULL;
@@ -1524,7 +1858,7 @@ match:
     switch ( *pszMask ) {
       case wxT('?'):
         if ( *pszTxt == wxT('\0') )
-          return FALSE;
+          return false;
 
         // pszTxt and pszMask will be incremented in the loop statement
 
@@ -1543,7 +1877,7 @@ match:
 
           // if there is nothing more, match
           if ( *pszMask == wxT('\0') )
-            return TRUE;
+            return true;
 
           // are there any other metacharacters in the mask?
           size_t uiLenMask;
@@ -1561,7 +1895,7 @@ match:
           wxString strToMatch(pszMask, uiLenMask);
           const wxChar* pMatch = wxStrstr(pszTxt, strToMatch);
           if ( pMatch == NULL )
-            return FALSE;
+            return false;
 
           // -1 to compensate "++" in the loop
           pszTxt = pMatch + uiLenMask - 1;
@@ -1571,14 +1905,14 @@ match:
 
       default:
         if ( *pszMask != *pszTxt )
-          return FALSE;
+          return false;
         break;
     }
   }
 
   // match only if nothing left
   if ( *pszTxt == wxT('\0') )
-    return TRUE;
+    return true;
 
   // if we failed to match, backtrack if we can
   if ( pszLastStarInText ) {
@@ -1592,18 +1926,17 @@ match:
     goto match;
   }
 
-  return FALSE;
+  return false;
 #endif // wxUSE_REGEX/!wxUSE_REGEX
 }
 
 // Count the number of chars
-int wxString::Freq(wxChar ch) const
+int wxString::Freq(wxUniChar ch) const
 {
     int count = 0;
-    int len = Len();
-    for (int i = 0; i < len; i++)
+    for ( const_iterator i = begin(); i != end(); ++i )
     {
-        if (GetChar(i) == ch)
+        if ( *i == ch )
             count ++;
     }
     return count;
@@ -1616,697 +1949,31 @@ wxString wxString::Upper() const
 // convert to lower case, return the copy of the string
 wxString wxString::Lower() const { wxString s(*this); return s.MakeLower(); }
 
-int wxString::sprintf(const wxChar *pszFormat, ...)
-  {
-    va_list argptr;
-    va_start(argptr, pszFormat);
-    int iLen = PrintfV(pszFormat, argptr);
-    va_end(argptr);
-    return iLen;
-  }
-
-// ---------------------------------------------------------------------------
-// standard C++ library string functions
-// ---------------------------------------------------------------------------
-
-#ifdef  wxSTD_STRING_COMPATIBILITY
-
-void wxString::resize(size_t nSize, wxChar ch)
-{
-    size_t len = length();
-
-    if ( nSize < len )
-    {
-        Truncate(nSize);
-    }
-    else if ( nSize > len )
-    {
-        *this += wxString(ch, nSize - len);
-    }
-    //else: we have exactly the specified length, nothing to do
-}
-
-void wxString::swap(wxString& str)
-{
-    // this is slightly less efficient than fiddling with m_pchData directly,
-    // but it is still quite efficient as we don't copy the string here because
-    // ref count always stays positive
-    wxString tmp = str;
-    str = *this;
-    *this = str;
-}
-
-wxString& wxString::insert(size_t nPos, const wxString& str)
-{
-  wxASSERT( str.GetStringData()->IsValid() );
-  wxASSERT( nPos <= Len() );
-
-  if ( !str.IsEmpty() ) {
-    wxString strTmp;
-    wxChar *pc = strTmp.GetWriteBuf(Len() + str.Len());
-    wxStrncpy(pc, c_str(), nPos);
-    wxStrcpy(pc + nPos, str);
-    wxStrcpy(pc + nPos + str.Len(), c_str() + nPos);
-    strTmp.UngetWriteBuf();
-    *this = strTmp;
-  }
-
-  return *this;
-}
-
-size_t wxString::find(const wxString& str, size_t nStart) const
-{
-  wxASSERT( str.GetStringData()->IsValid() );
-  wxASSERT( nStart <= Len() );
-
-  const wxChar *p = wxStrstr(c_str() + nStart, str);
-
-  return p == NULL ? npos : p - c_str();
-}
-
-// VC++ 1.5 can't cope with the default argument in the header.
-#if !defined(__VISUALC__) || defined(__WIN32__)
-size_t wxString::find(const wxChar* sz, size_t nStart, size_t n) const
-{
-  return find(wxString(sz, n), nStart);
-}
-#endif // VC++ 1.5
-
-// Gives a duplicate symbol (presumably a case-insensitivity problem)
-#if !defined(__BORLANDC__)
-size_t wxString::find(wxChar ch, size_t nStart) const
-{
-  wxASSERT( nStart <= Len() );
-
-  const wxChar *p = wxStrchr(c_str() + nStart, ch);
-
-  return p == NULL ? npos : p - c_str();
-}
-#endif
-
-size_t wxString::rfind(const wxString& str, size_t nStart) const
-{
-  wxASSERT( str.GetStringData()->IsValid() );
-  wxASSERT( nStart == npos || nStart <= Len() );
-
-  // TODO could be made much quicker than that
-  const wxChar *p = c_str() + (nStart == npos ? Len() : nStart);
-  while ( p >= c_str() + str.Len() ) {
-    if ( wxStrncmp(p - str.Len(), str, str.Len()) == 0 )
-      return p - str.Len() - c_str();
-    p--;
-  }
-
-  return npos;
-}
-
-// VC++ 1.5 can't cope with the default argument in the header.
-#if !defined(__VISUALC__) || defined(__WIN32__)
-size_t wxString::rfind(const wxChar* sz, size_t nStart, size_t n) const
-{
-    return rfind(wxString(sz, n == npos ? wxSTRING_MAXLEN : n), nStart);
-}
-
-size_t wxString::rfind(wxChar ch, size_t nStart) const
-{
-    if ( nStart == npos )
-    {
-        nStart = Len();
-    }
-    else
-    {
-        wxASSERT( nStart <= Len() );
-    }
-
-    const wxChar *p = wxStrrchr(c_str(), ch);
-
-    if ( p == NULL )
-        return npos;
-
-    size_t result = p - c_str();
-    return ( result > nStart ) ? npos : result;
-}
-#endif // VC++ 1.5
-
-size_t wxString::find_first_of(const wxChar* sz, size_t nStart) const
-{
-    const wxChar *start = c_str() + nStart;
-    const wxChar *firstOf = wxStrpbrk(start, sz);
-    if ( firstOf )
-        return firstOf - c_str();
-    else
-        return npos;
-}
-
-size_t wxString::find_last_of(const wxChar* sz, size_t nStart) const
-{
-    if ( nStart == npos )
-    {
-        nStart = Len();
-    }
-    else
-    {
-        wxASSERT( nStart <= Len() );
-    }
-
-    for ( const wxChar *p = c_str() + length() - 1; p >= c_str(); p-- )
-    {
-        if ( wxStrchr(sz, *p) )
-            return p - c_str();
-    }
-
-    return npos;
-}
-
-size_t wxString::find_first_not_of(const wxChar* sz, size_t nStart) const
-{
-    if ( nStart == npos )
-    {
-        nStart = Len();
-    }
-    else
-    {
-        wxASSERT( nStart <= Len() );
-    }
-
-    size_t nAccept = wxStrspn(c_str() + nStart, sz);
-    if ( nAccept >= length() - nStart )
-        return npos;
-    else
-        return nAccept;
-}
-
-size_t wxString::find_first_not_of(wxChar ch, size_t nStart) const
-{
-    wxASSERT( nStart <= Len() );
-
-    for ( const wxChar *p = c_str() + nStart; *p; p++ )
-    {
-        if ( *p != ch )
-            return p - c_str();
-    }
-
-    return npos;
-}
-
-size_t wxString::find_last_not_of(const wxChar* sz, size_t nStart) const
-{
-    if ( nStart == npos )
-    {
-        nStart = Len();
-    }
-    else
-    {
-        wxASSERT( nStart <= Len() );
-    }
-
-    for ( const wxChar *p = c_str() + nStart - 1; p >= c_str(); p-- )
-    {
-        if ( !wxStrchr(sz, *p) )
-            return p - c_str();
-    }
-
-    return npos;
-}
-
-size_t wxString::find_last_not_of(wxChar ch, size_t nStart) const
-{
-    if ( nStart == npos )
-    {
-        nStart = Len();
-    }
-    else
-    {
-        wxASSERT( nStart <= Len() );
-    }
-
-    for ( const wxChar *p = c_str() + nStart - 1; p >= c_str(); p-- )
-    {
-        if ( *p != ch )
-            return p - c_str();
-    }
-
-    return npos;
-}
-
-wxString& wxString::erase(size_t nStart, size_t nLen)
-{
-  wxString strTmp(c_str(), nStart);
-  if ( nLen != npos ) {
-    wxASSERT( nStart + nLen <= Len() );
-
-    strTmp.append(c_str() + nStart + nLen);
-  }
-
-  *this = strTmp;
-  return *this;
-}
-
-wxString& wxString::replace(size_t nStart, size_t nLen, const wxChar *sz)
-{
-  wxASSERT_MSG( nStart + nLen <= Len(),
-                _T("index out of bounds in wxString::replace") );
-
-  wxString strTmp;
-  strTmp.Alloc(Len());      // micro optimisation to avoid multiple mem allocs
-
-  if ( nStart != 0 )
-    strTmp.append(c_str(), nStart);
-  strTmp << sz << c_str() + nStart + nLen;
-
-  *this = strTmp;
-  return *this;
-}
-
-wxString& wxString::replace(size_t nStart, size_t nLen, size_t nCount, wxChar ch)
-{
-  return replace(nStart, nLen, wxString(ch, nCount));
-}
-
-wxString& wxString::replace(size_t nStart, size_t nLen,
-                            const wxString& str, size_t nStart2, size_t nLen2)
-{
-  return replace(nStart, nLen, str.substr(nStart2, nLen2));
-}
-
-wxString& wxString::replace(size_t nStart, size_t nLen,
-                        const wxChar* sz, size_t nCount)
-{
-  return replace(nStart, nLen, wxString(sz, nCount));
-}
-
-#endif  //std::string compatibility
-
-// ============================================================================
-// ArrayString
-// ============================================================================
-
-// size increment = min(50% of current size, ARRAY_MAXSIZE_INCREMENT)
-#define   ARRAY_MAXSIZE_INCREMENT       4096
-
-#ifndef   ARRAY_DEFAULT_INITIAL_SIZE    // also defined in dynarray.h
-#define   ARRAY_DEFAULT_INITIAL_SIZE    (16)
-#endif
-
-#define   STRING(p)   ((wxString *)(&(p)))
-
-// ctor
-void wxArrayString::Init(bool autoSort)
-{
-  m_nSize  =
-  m_nCount = 0;
-  m_pItems = (wxChar **) NULL;
-  m_autoSort = autoSort;
-}
-
-// copy ctor
-wxArrayString::wxArrayString(const wxArrayString& src)
-{
-  Init(src.m_autoSort);
-
-  *this = src;
-}
-
-// assignment operator
-wxArrayString& wxArrayString::operator=(const wxArrayString& src)
-{
-  if ( m_nSize > 0 )
-    Clear();
-
-  Copy(src);
-
-  m_autoSort = src.m_autoSort;
-
-  return *this;
-}
-
-void wxArrayString::Copy(const wxArrayString& src)
-{
-  if ( src.m_nCount > ARRAY_DEFAULT_INITIAL_SIZE )
-    Alloc(src.m_nCount);
-
-  for ( size_t n = 0; n < src.m_nCount; n++ )
-    Add(src[n]);
-}
-
-// grow the array
-void wxArrayString::Grow()
-{
-  // only do it if no more place
-  if ( m_nCount == m_nSize ) {
-    // if ARRAY_DEFAULT_INITIAL_SIZE were set to 0, the initially empty would
-    // be never resized!
-    #if ARRAY_DEFAULT_INITIAL_SIZE == 0
-      #error "ARRAY_DEFAULT_INITIAL_SIZE must be > 0!"
-    #endif
-
-    if ( m_nSize == 0 ) {
-      // was empty, alloc some memory
-      m_nSize = ARRAY_DEFAULT_INITIAL_SIZE;
-      m_pItems = new wxChar *[m_nSize];
-    }
-    else {
-      // otherwise when it's called for the first time, nIncrement would be 0
-      // and the array would never be expanded
-      // add 50% but not too much
-      size_t nIncrement = m_nSize < ARRAY_DEFAULT_INITIAL_SIZE
-                          ? ARRAY_DEFAULT_INITIAL_SIZE : m_nSize >> 1;
-      if ( nIncrement > ARRAY_MAXSIZE_INCREMENT )
-        nIncrement = ARRAY_MAXSIZE_INCREMENT;
-      m_nSize += nIncrement;
-      wxChar **pNew = new wxChar *[m_nSize];
-
-      // copy data to new location
-      memcpy(pNew, m_pItems, m_nCount*sizeof(wxChar *));
-
-      // delete old memory (but do not release the strings!)
-      wxDELETEA(m_pItems);
-
-      m_pItems = pNew;
-    }
-  }
-}
-
-void wxArrayString::Free()
-{
-  for ( size_t n = 0; n < m_nCount; n++ ) {
-    STRING(m_pItems[n])->GetStringData()->Unlock();
-  }
-}
-
-// deletes all the strings from the list
-void wxArrayString::Empty()
-{
-  Free();
-
-  m_nCount = 0;
-}
-
-// as Empty, but also frees memory
-void wxArrayString::Clear()
-{
-  Free();
-
-  m_nSize  =
-  m_nCount = 0;
-
-  wxDELETEA(m_pItems);
-}
-
-// dtor
-wxArrayString::~wxArrayString()
-{
-  Free();
-
-  wxDELETEA(m_pItems);
-}
-
-// pre-allocates memory (frees the previous data!)
-void wxArrayString::Alloc(size_t nSize)
-{
-  // only if old buffer was not big enough
-  if ( nSize > m_nSize ) {
-    Free();
-    wxDELETEA(m_pItems);
-    m_pItems = new wxChar *[nSize];
-    m_nSize  = nSize;
-  }
-
-  m_nCount = 0;
-}
-
-// minimizes the memory usage by freeing unused memory
-void wxArrayString::Shrink()
-{
-  // only do it if we have some memory to free
-  if( m_nCount < m_nSize ) {
-    // allocates exactly as much memory as we need
-    wxChar **pNew = new wxChar *[m_nCount];
-
-    // copy data to new location
-    memcpy(pNew, m_pItems, m_nCount*sizeof(wxChar *));
-    delete [] m_pItems;
-    m_pItems = pNew;
-  }
-}
-
-// return a wxString[] as required for some control ctors.
-wxString* wxArrayString::GetStringArray() const
-{
-    wxString *array = 0;
-
-    if( m_nCount > 0 )
-    {
-        array = new wxString[m_nCount];
-        for( size_t i = 0; i < m_nCount; i++ )
-            array[i] = m_pItems[i];
-    }
-
-    return array;
-}
-
-// searches the array for an item (forward or backwards)
-int wxArrayString::Index(const wxChar *sz, bool bCase, bool bFromEnd) const
-{
-  if ( m_autoSort ) {
-    // use binary search in the sorted array
-    wxASSERT_MSG( bCase && !bFromEnd,
-                  wxT("search parameters ignored for auto sorted array") );
-
-    size_t i,
-           lo = 0,
-           hi = m_nCount;
-    int res;
-    while ( lo < hi ) {
-      i = (lo + hi)/2;
-
-      res = wxStrcmp(sz, m_pItems[i]);
-      if ( res < 0 )
-        hi = i;
-      else if ( res > 0 )
-        lo = i + 1;
-      else
-        return i;
-    }
-
-    return wxNOT_FOUND;
-  }
-  else {
-    // use linear search in unsorted array
-    if ( bFromEnd ) {
-      if ( m_nCount > 0 ) {
-        size_t ui = m_nCount;
-        do {
-          if ( STRING(m_pItems[--ui])->IsSameAs(sz, bCase) )
-            return ui;
-        }
-        while ( ui != 0 );
-      }
-    }
-    else {
-      for( size_t ui = 0; ui < m_nCount; ui++ ) {
-        if( STRING(m_pItems[ui])->IsSameAs(sz, bCase) )
-          return ui;
-      }
-    }
-  }
-
-  return wxNOT_FOUND;
-}
-
-// add item at the end
-size_t wxArrayString::Add(const wxString& str)
-{
-  if ( m_autoSort ) {
-    // insert the string at the correct position to keep the array sorted
-    size_t i,
-           lo = 0,
-           hi = m_nCount;
-    int res;
-    while ( lo < hi ) {
-      i = (lo + hi)/2;
-
-      res = wxStrcmp(str, m_pItems[i]);
-      if ( res < 0 )
-        hi = i;
-      else if ( res > 0 )
-        lo = i + 1;
-      else {
-        lo = hi = i;
-        break;
-      }
-    }
-
-    wxASSERT_MSG( lo == hi, wxT("binary search broken") );
-
-    Insert(str, lo);
-
-    return (size_t)lo;
-  }
-  else {
-    wxASSERT( str.GetStringData()->IsValid() );
-
-    Grow();
-
-    // the string data must not be deleted!
-    str.GetStringData()->Lock();
-
-    // just append
-    m_pItems[m_nCount] = (wxChar *)str.c_str(); // const_cast
-
-    return m_nCount++;
-  }
-}
-
-// add item at the given position
-void wxArrayString::Insert(const wxString& str, size_t nIndex)
-{
-  wxASSERT( str.GetStringData()->IsValid() );
-
-  wxCHECK_RET( nIndex <= m_nCount, wxT("bad index in wxArrayString::Insert") );
-
-  Grow();
-
-  memmove(&m_pItems[nIndex + 1], &m_pItems[nIndex],
-          (m_nCount - nIndex)*sizeof(wxChar *));
-
-  str.GetStringData()->Lock();
-  m_pItems[nIndex] = (wxChar *)str.c_str();
-
-  m_nCount++;
-}
-
-// expand the array
-void wxArrayString::SetCount(size_t count)
-{
-    Alloc(count);
-
-    wxString s;
-    while ( m_nCount < count )
-        m_pItems[m_nCount++] = (wxChar *)s.c_str();
-}
-
-// removes item from array (by index)
-void wxArrayString::Remove(size_t nIndex)
-{
-  wxCHECK_RET( nIndex <= m_nCount, wxT("bad index in wxArrayString::Remove") );
-
-  // release our lock
-  Item(nIndex).GetStringData()->Unlock();
-
-  memmove(&m_pItems[nIndex], &m_pItems[nIndex + 1],
-          (m_nCount - nIndex - 1)*sizeof(wxChar *));
-  m_nCount--;
-}
-
-// removes item from array (by value)
-void wxArrayString::Remove(const wxChar *sz)
-{
-  int iIndex = Index(sz);
-
-  wxCHECK_RET( iIndex != wxNOT_FOUND,
-               wxT("removing inexistent element in wxArrayString::Remove") );
-
-  Remove(iIndex);
-}
-
 // ----------------------------------------------------------------------------
-// sorting
+// wxUTF8StringBuffer
 // ----------------------------------------------------------------------------
 
-// we can only sort one array at a time with the quick-sort based
-// implementation
-#if wxUSE_THREADS
-  // need a critical section to protect access to gs_compareFunction and
-  // gs_sortAscending variables
-  static wxCriticalSection *gs_critsectStringSort = NULL;
-
-  // call this before the value of the global sort vars is changed/after
-  // you're finished with them
-  #define START_SORT()     wxASSERT( !gs_critsectStringSort );                \
-                           gs_critsectStringSort = new wxCriticalSection;     \
-                           gs_critsectStringSort->Enter()
-  #define END_SORT()       gs_critsectStringSort->Leave();                    \
-                           delete gs_critsectStringSort;                      \
-                           gs_critsectStringSort = NULL
-#else // !threads
-  #define START_SORT()
-  #define END_SORT()
-#endif // wxUSE_THREADS
-
-// function to use for string comparaison
-static wxArrayString::CompareFunction gs_compareFunction = NULL;
-
-// if we don't use the compare function, this flag tells us if we sort the
-// array in ascending or descending order
-static bool gs_sortAscending = TRUE;
-
-// function which is called by quick sort
-extern "C" int LINKAGEMODE
-wxStringCompareFunction(const void *first, const void *second)
-{
-  wxString *strFirst = (wxString *)first;
-  wxString *strSecond = (wxString *)second;
-
-  if ( gs_compareFunction ) {
-    return gs_compareFunction(*strFirst, *strSecond);
-  }
-  else {
-    // maybe we should use wxStrcoll
-    int result = wxStrcmp(strFirst->c_str(), strSecond->c_str());
-
-    return gs_sortAscending ? result : -result;
-  }
-}
-
-// sort array elements using passed comparaison function
-void wxArrayString::Sort(CompareFunction compareFunction)
-{
-  START_SORT();
-
-  wxASSERT( !gs_compareFunction );  // must have been reset to NULL
-  gs_compareFunction = compareFunction;
-
-  DoSort();
-
-  // reset it to NULL so that Sort(bool) will work the next time
-  gs_compareFunction = NULL;
-
-  END_SORT();
-}
-
-void wxArrayString::Sort(bool reverseOrder)
-{
-  START_SORT();
-
-  wxASSERT( !gs_compareFunction );  // must have been reset to NULL
-  gs_sortAscending = !reverseOrder;
-
-  DoSort();
-
-  END_SORT();
-}
-
-void wxArrayString::DoSort()
+#if wxUSE_UNICODE_WCHAR
+wxUTF8StringBuffer::~wxUTF8StringBuffer()
 {
-  wxCHECK_RET( !m_autoSort, wxT("can't use this method with sorted arrays") );
+    wxMBConvStrictUTF8 conv;
+    size_t wlen = conv.ToWChar(NULL, 0, m_buf);
+    wxCHECK_RET( wlen != wxCONV_FAILED, "invalid UTF-8 data in string buffer?" );
 
-  // just sort the pointers using qsort() - of course it only works because
-  // wxString() *is* a pointer to its data
-  qsort(m_pItems, m_nCount, sizeof(wxChar *), wxStringCompareFunction);
+    wxStringInternalBuffer wbuf(m_str, wlen);
+    conv.ToWChar(wbuf, wlen, m_buf);
 }
 
-bool wxArrayString::operator==(const wxArrayString& a) const
+wxUTF8StringBufferLength::~wxUTF8StringBufferLength()
 {
-    if ( m_nCount != a.m_nCount )
-        return FALSE;
+    wxCHECK_RET(m_lenSet, "length not set");
 
-    for ( size_t n = 0; n < m_nCount; n++ )
-    {
-        if ( Item(n) != a[n] )
-            return FALSE;
-    }
+    wxMBConvStrictUTF8 conv;
+    size_t wlen = conv.ToWChar(NULL, 0, m_buf, m_len);
+    wxCHECK_RET( wlen != wxCONV_FAILED, "invalid UTF-8 data in string buffer?" );
 
-    return TRUE;
+    wxStringInternalBufferLength wbuf(m_str, wlen);
+    conv.ToWChar(wbuf, wlen, m_buf, m_len);
+    wbuf.SetLength(wlen);
 }
-
+#endif // wxUSE_UNICODE_WCHAR