]> git.saurik.com Git - wxWidgets.git/blobdiff - tests/test.cpp
fixes potential crash under gatekeeper
[wxWidgets.git] / tests / test.cpp
index 667c2c0c3055e21bb510e0e323a0d772b14b2912..cdb57c535ad55c5278c513bbc71d3ef7ff406594 100644 (file)
@@ -4,9 +4,13 @@
 // Author:      Mike Wetherell
 // RCS-ID:      $Id$
 // Copyright:   (c) 2004 Mike Wetherell
 // Author:      Mike Wetherell
 // RCS-ID:      $Id$
 // Copyright:   (c) 2004 Mike Wetherell
-// Licence:     wxWidgets licence
+// Licence:     wxWindows licence
 ///////////////////////////////////////////////////////////////////////////////
 
 ///////////////////////////////////////////////////////////////////////////////
 
+// ----------------------------------------------------------------------------
+// headers
+// ----------------------------------------------------------------------------
+
 // For compilers that support precompilation, includes "wx/wx.h"
 // and "wx/cppunit.h"
 #include "testprec.h"
 // For compilers that support precompilation, includes "wx/wx.h"
 // and "wx/cppunit.h"
 #include "testprec.h"
 #ifdef __VISUALC__
     #pragma warning(disable:4100)
 #endif
 #ifdef __VISUALC__
     #pragma warning(disable:4100)
 #endif
+
 #include <cppunit/TestListener.h>
 #include <cppunit/TestListener.h>
-#ifdef __VISUALC__
-    #pragma warning(default:4100)
-#endif
 #include <cppunit/Protector.h>
 #include <cppunit/Test.h>
 #include <cppunit/TestResult.h>
 #include <cppunit/TestFailure.h>
 #include <cppunit/Protector.h>
 #include <cppunit/Test.h>
 #include <cppunit/TestResult.h>
 #include <cppunit/TestFailure.h>
+#include <cppunit/TestResultCollector.h>
+
+#ifdef __VISUALC__
+    #pragma warning(default:4100)
+#endif
 #include "wx/afterstd.h"
 
 #include "wx/cmdline.h"
 #include "wx/afterstd.h"
 
 #include "wx/cmdline.h"
+#include <exception>
 #include <iostream>
 
 #include <iostream>
 
-#ifdef __WXMSW__
+#ifdef __WINDOWS__
     #include "wx/msw/msvcrt.h"
 #endif
 
     #include "wx/msw/msvcrt.h"
 #endif
 
+#ifdef __WXOSX__
+    #include "wx/osx/private.h"
+#endif
+
+#if wxUSE_GUI
+    #include "testableframe.h"
+#endif
+
+#include "wx/socket.h"
+#include "wx/evtloop.h"
+
 using namespace std;
 
 using CppUnit::Test;
 using CppUnit::TestSuite;
 using CppUnit::TestFactoryRegistry;
 
 using namespace std;
 
 using CppUnit::Test;
 using CppUnit::TestSuite;
 using CppUnit::TestFactoryRegistry;
 
+
+// ----------------------------------------------------------------------------
+// helper classes
+// ----------------------------------------------------------------------------
+
 // exception class for MSVC debug CRT assertion failures
 #ifdef wxUSE_VC_CRTDBG
 
 // exception class for MSVC debug CRT assertion failures
 #ifdef wxUSE_VC_CRTDBG
 
@@ -61,6 +85,76 @@ struct CrtAssertFailure
 
 #endif // wxUSE_VC_CRTDBG
 
 
 #endif // wxUSE_VC_CRTDBG
 
+#if wxDEBUG_LEVEL
+
+// Information about the last not yet handled assertion.
+static wxString s_lastAssertMessage;
+
+static wxString FormatAssertMessage(const wxString& file,
+                                    int line,
+                                    const wxString& func,
+                                    const wxString& cond,
+                                    const wxString& msg)
+{
+    wxString str;
+    str << "wxWidgets assert: " << cond << " failed "
+           "at " << file << ":" << line << " in " << func
+        << " with message '" << msg << "'";
+    return str;
+}
+
+static void TestAssertHandler(const wxString& file,
+                              int line,
+                              const wxString& func,
+                              const wxString& cond,
+                              const wxString& msg)
+{
+    // Determine whether we can safely throw an exception to just make the test
+    // fail or whether we need to abort (in this case "msg" will contain the
+    // explanation why did we decide to do it).
+    wxString abortReason;
+
+    const wxString
+        assertMessage = FormatAssertMessage(file, line, func, cond, msg);
+
+    if ( !wxIsMainThread() )
+    {
+        // Exceptions thrown from worker threads are not caught currently and
+        // so we'd just die without any useful information -- abort instead.
+        abortReason << assertMessage << "in a worker thread.";
+    }
+    else if ( uncaught_exception() )
+    {
+        // Throwing while already handling an exception would result in
+        // terminate() being called and we wouldn't get any useful information
+        // about why the test failed then.
+        if ( s_lastAssertMessage.empty() )
+        {
+            abortReason << assertMessage << "while handling an exception";
+        }
+        else // In this case the exception is due to a previous assert.
+        {
+            abortReason << s_lastAssertMessage << "\n  and another "
+                        << assertMessage << " while handling it.";
+        }
+    }
+    else // Can "safely" throw from here.
+    {
+        // Remember this in case another assert happens while handling this
+        // exception: we want to show the original assert as it's usually more
+        // useful to determine the real root of the problem.
+        s_lastAssertMessage = assertMessage;
+
+        throw TestAssertFailure(file, line, func, cond, msg);
+    }
+
+    wxFputs(abortReason, stderr);
+    fflush(stderr);
+    _exit(-1);
+}
+
+#endif // wxDEBUG_LEVEL
+
 // this function should only be called from a catch clause
 static string GetExceptionMessage()
 {
 // this function should only be called from a catch clause
 static string GetExceptionMessage()
 {
@@ -71,11 +165,10 @@ static string GetExceptionMessage()
         throw;
     }
 #if wxDEBUG_LEVEL
         throw;
     }
 #if wxDEBUG_LEVEL
-    catch ( TestAssertFailure& )
+    catch ( TestAssertFailure& )
     {
     {
-        msg << "wxWidgets assert: " << e.m_cond << " failed "
-               "at " << e.m_file << ":" << e.m_line << " in " << e.m_func
-            << " with message " << e.m_msg;
+        msg = s_lastAssertMessage;
+        s_lastAssertMessage.clear();
     }
 #endif // wxDEBUG_LEVEL
 #ifdef wxUSE_VC_CRTDBG
     }
 #endif // wxDEBUG_LEVEL
 #ifdef wxUSE_VC_CRTDBG
@@ -138,7 +231,7 @@ public:
 
     virtual void startTest(CppUnit::Test *test)
     {
 
     virtual void startTest(CppUnit::Test *test)
     {
-        wxPrintf("  %-60s  ", test->getName());
+        printf("  %-60s  ", test->getName().c_str());
         m_result = RESULT_OK;
         m_watch.Start();
     }
         m_result = RESULT_OK;
         m_watch.Start();
     }
@@ -151,10 +244,10 @@ public:
     virtual void endTest(CppUnit::Test * WXUNUSED(test))
     {
         m_watch.Pause();
     virtual void endTest(CppUnit::Test * WXUNUSED(test))
     {
         m_watch.Pause();
-        wxPrintf(GetResultStr(m_result));
+        printf("%s", GetResultStr(m_result));
         if (m_timing)
         if (m_timing)
-            wxPrintf("  %6d ms", m_watch.Time());
-        wxPrintf("\n");
+            printf("  %6ld ms", m_watch.Time());
+        printf("\n");
     }
 
 protected :
     }
 
 protected :
@@ -166,7 +259,7 @@ protected :
         RESULT_MAX
     };
 
         RESULT_MAX
     };
 
-    wxString GetResultStr(ResultType type) const
+    const char* GetResultStr(ResultType type) const
     {
         static const char *resultTypeNames[] =
         {
     {
         static const char *resultTypeNames[] =
         {
@@ -233,6 +326,9 @@ private:
     wxArrayString m_registries;
     wxLocale *m_locale;
 
     wxArrayString m_registries;
     wxLocale *m_locale;
 
+    // event loop for GUI tests
+    wxEventLoop* m_eventloop;
+
     // event handling hooks
     FilterEventFunc m_filterEventFunc;
     ProcessEventFunc m_processEventFunc;
     // event handling hooks
     FilterEventFunc m_filterEventFunc;
     ProcessEventFunc m_processEventFunc;
@@ -240,6 +336,11 @@ private:
 
 IMPLEMENT_APP_NO_MAIN(TestApp)
 
 
 IMPLEMENT_APP_NO_MAIN(TestApp)
 
+
+// ----------------------------------------------------------------------------
+// global functions
+// ----------------------------------------------------------------------------
+
 #ifdef wxUSE_VC_CRTDBG
 
 static int TestCrtReportHook(int reportType, char *message, int *)
 #ifdef wxUSE_VC_CRTDBG
 
 static int TestCrtReportHook(int reportType, char *message, int *)
@@ -252,19 +353,6 @@ static int TestCrtReportHook(int reportType, char *message, int *)
 
 #endif // wxUSE_VC_CRTDBG
 
 
 #endif // wxUSE_VC_CRTDBG
 
-#if wxDEBUG_LEVEL
-
-static void TestAssertHandler(const wxString& file,
-                              int line,
-                              const wxString& func,
-                              const wxString& cond,
-                              const wxString& msg)
-{
-    throw TestAssertFailure(file, line, func, cond, msg);
-}
-
-#endif // wxDEBUG_LEVEL
-
 int main(int argc, char **argv)
 {
     // tests can be ran non-interactively so make sure we don't show any assert
 int main(int argc, char **argv)
 {
     // tests can be ran non-interactively so make sure we don't show any assert
@@ -291,6 +379,83 @@ int main(int argc, char **argv)
     return -1;
 }
 
     return -1;
 }
 
+extern void SetFilterEventFunc(FilterEventFunc func)
+{
+    wxGetApp().SetFilterEventFunc(func);
+}
+
+extern void SetProcessEventFunc(ProcessEventFunc func)
+{
+    wxGetApp().SetProcessEventFunc(func);
+}
+
+extern bool IsNetworkAvailable()
+{
+    // NOTE: we could use wxDialUpManager here if it was in wxNet; since it's in
+    //       wxCore we use a simple rough test:
+    
+    wxSocketBase::Initialize();
+    
+    wxIPV4address addr;
+    if (!addr.Hostname("www.google.com") || !addr.Service("www"))
+    {
+        wxSocketBase::Shutdown();
+        return false;
+    }
+
+    wxSocketClient sock;
+    sock.SetTimeout(10);    // 10 secs
+    bool online = sock.Connect(addr);
+    
+    wxSocketBase::Shutdown();
+    
+    return online;
+}
+
+extern bool IsAutomaticTest()
+{
+    static int s_isAutomatic = -1;
+    if ( s_isAutomatic == -1 )
+    {
+        // Allow setting an environment variable to emulate buildslave user for
+        // testing.
+        wxString username;
+        if ( !wxGetEnv("WX_TEST_USER", &username) )
+            username = wxGetUserId();
+
+        username.MakeLower();
+        s_isAutomatic = username.Matches("buildslave*") ||
+                            username.Matches("sandbox*");
+    }
+
+    return s_isAutomatic == 1;
+}
+
+// helper of OnRun(): gets the test with the given name, returning NULL (and
+// not an empty test suite) if there is no such test
+static Test *GetTestByName(const wxString& name)
+{
+    Test *
+      test = TestFactoryRegistry::getRegistry(string(name.mb_str())).makeTest();
+    if ( test )
+    {
+        TestSuite * const suite = dynamic_cast<TestSuite *>(test);
+        if ( !suite || !suite->countTestCases() )
+        {
+            // it's a bogus test, don't use it
+            delete test;
+            test = NULL;
+        }
+    }
+
+    return test;
+}
+
+
+// ----------------------------------------------------------------------------
+// TestApp
+// ----------------------------------------------------------------------------
+
 TestApp::TestApp()
   : m_list(false),
     m_longlist(false)
 TestApp::TestApp()
   : m_list(false),
     m_longlist(false)
@@ -299,6 +464,7 @@ TestApp::TestApp()
     m_processEventFunc = NULL;
 
     m_locale = NULL;
     m_processEventFunc = NULL;
 
     m_locale = NULL;
+    m_eventloop = NULL;
 }
 
 // Init
 }
 
 // Init
@@ -308,12 +474,29 @@ bool TestApp::OnInit()
     if ( !TestAppBase::OnInit() )
         return false;
 
     if ( !TestAppBase::OnInit() )
         return false;
 
-    cout << "Test program for wxWidgets\n"
-         << "build: " << WX_BUILD_OPTIONS_SIGNATURE << std::endl;
+#if wxUSE_GUI
+    cout << "Test program for wxWidgets GUI features\n"
+#else
+    cout << "Test program for wxWidgets non-GUI features\n"
+#endif
+         << "build: " << WX_BUILD_OPTIONS_SIGNATURE << "\n"
+         << "running under " << wxGetOsDescription()
+         << " as " << wxGetUserId() << std::endl;
+
+    if ( m_detail )
+    {
+        // Output some important information about the test environment.
+        cout << "Running under " << wxGetOsDescription() << ", "
+                "locale is " << setlocale(LC_ALL, NULL) << std::endl;
+    }
 
 #if wxUSE_GUI
     // create a hidden parent window to be used as parent for the GUI controls
 
 #if wxUSE_GUI
     // create a hidden parent window to be used as parent for the GUI controls
-    new wxFrame(NULL, wxID_ANY, "Hidden wx test frame");
+    wxTestableFrame* frame = new wxTestableFrame();
+    frame->Show();
+
+    m_eventloop = new wxEventLoop;
+    wxEventLoop::SetActive(m_eventloop);
 #endif // wxUSE_GUI
 
     return true;
 #endif // wxUSE_GUI
 
     return true;
@@ -336,7 +519,7 @@ void TestApp::OnInitCmdLine(wxCmdLineParser& parser)
             "print the test case names, run them",
             wxCMD_LINE_VAL_NONE, 0 },
         { wxCMD_LINE_SWITCH, "t", "timing",
             "print the test case names, run them",
             wxCMD_LINE_VAL_NONE, 0 },
         { wxCMD_LINE_SWITCH, "t", "timing",
-            "print names and mesure running time of individual test, run them",
+            "print names and measure running time of individual test, run them",
             wxCMD_LINE_VAL_NONE, 0 },
         { wxCMD_LINE_OPTION, "", "locale",
             "locale to use when running the program",
             wxCMD_LINE_VAL_NONE, 0 },
         { wxCMD_LINE_OPTION, "", "locale",
             "locale to use when running the program",
@@ -402,40 +585,17 @@ bool TestApp::ProcessEvent(wxEvent& event)
     return TestAppBase::ProcessEvent(event);
 }
 
     return TestAppBase::ProcessEvent(event);
 }
 
-extern void SetFilterEventFunc(FilterEventFunc func)
-{
-    wxGetApp().SetFilterEventFunc(func);
-}
-
-extern void SetProcessEventFunc(ProcessEventFunc func)
-{
-    wxGetApp().SetProcessEventFunc(func);
-}
-
-// helper of OnRun(): gets the test with the given name, returning NULL (and
-// not an empty test suite) if there is no such test
-static Test *GetTestByName(const wxString& name)
-{
-    Test *
-      test = TestFactoryRegistry::getRegistry(string(name.mb_str())).makeTest();
-    if ( test )
-    {
-        TestSuite * const suite = dynamic_cast<TestSuite *>(test);
-        if ( !suite || !suite->countTestCases() )
-        {
-            // it's a bogus test, don't use it
-            delete test;
-            test = NULL;
-        }
-    }
-
-    return test;
-}
-
 // Run
 //
 int TestApp::OnRun()
 {
 // Run
 //
 int TestApp::OnRun()
 {
+#if wxUSE_GUI
+#ifdef __WXOSX__
+    // make sure there's always an autorelease pool ready
+    wxMacAutoreleasePool autoreleasepool;
+#endif
+#endif
+
 #if wxUSE_LOG
     // Switch off logging unless --verbose
     bool verbose = wxLog::GetVerbose();
 #if wxUSE_LOG
     // Switch off logging unless --verbose
     bool verbose = wxLog::GetVerbose();
@@ -448,8 +608,17 @@ int TestApp::OnRun()
 
     if ( m_registries.empty() )
     {
 
     if ( m_registries.empty() )
     {
-        // run or list all tests
+        // run or list all tests which use the CPPUNIT_TEST_SUITE_REGISTRATION() macro
+        // (i.e. those registered in the "All tests" registry); if there are other
+        // tests not registered with the CPPUNIT_TEST_SUITE_REGISTRATION() macro
+        // then they won't be listed/run!
         AddTest(runner, TestFactoryRegistry::getRegistry().makeTest());
         AddTest(runner, TestFactoryRegistry::getRegistry().makeTest());
+
+        if (m_list)
+        {
+            cout << "\nNote that the list above is not complete as it doesn't include the \n";
+            cout << "tests disabled by default.\n";
+        }
     }
     else // run only the selected tests
     {
     }
     else // run only the selected tests
     {
@@ -495,7 +664,9 @@ int TestApp::OnRun()
     runner.eventManager().pushProtector(new wxUnitTestProtector);
 
     bool printProgress = !(verbose || m_detail || m_timing);
     runner.eventManager().pushProtector(new wxUnitTestProtector);
 
     bool printProgress = !(verbose || m_detail || m_timing);
-    return runner.run("", false, true, printProgress) ? EXIT_SUCCESS : EXIT_FAILURE;
+    runner.run("", false, true, printProgress);
+
+    return runner.result().testFailures() == 0 ? EXIT_SUCCESS : EXIT_FAILURE;
 }
 
 int TestApp::OnExit()
 }
 
 int TestApp::OnExit()
@@ -504,6 +675,8 @@ int TestApp::OnExit()
 
 #if wxUSE_GUI
     delete GetTopWindow();
 
 #if wxUSE_GUI
     delete GetTopWindow();
+    wxEventLoop::SetActive(NULL);
+    delete m_eventloop;
 #endif // wxUSE_GUI
 
     return 0;
 #endif // wxUSE_GUI
 
     return 0;