]> git.saurik.com Git - wxWidgets.git/blobdiff - wxPython/distrib/all/build-all
in unescape add normal characters in addition to unescaped characters :)
[wxWidgets.git] / wxPython / distrib / all / build-all
index a8308d7f4e5cfc89c7b50e15aa8fba9bce326960..736459acee8e6a229ea74a2a692a0d60f1a11168 100755 (executable)
@@ -48,7 +48,7 @@ function usage {
     echo "build types:"
     echo "   dryrun       Do the build, but don't copy anywhere (default)"
     echo "   daily        Do a daily build, copy to starship"
-    echo "   release      Do a normal release build, copy to starship"
+    echo "   release      Do a normal release (cantidate) build, copy to starship"
     echo ""
     echo "optional command flags:"
     echo "   2.2          Build for Python 2.2 (default=off)"
@@ -57,15 +57,22 @@ function usage {
     echo ""
     echo "   skipsource   Don't build the source archives, use the ones"
     echo "                already in the staging dir."
-    echo "   onlysource   Exit after building the source archives"
+    echo "   onlysource   Exit after building the source and docs archives"
     echo "   skipdocs     Don't rebuild the docs"
     echo "   skipwin      Don't do the remote Windows build"
     echo "   skiposx      Don't do the remote OSX build"
     echo "   skiplinux    Don't do the remote Linux build"
     echo "   skipclean    Don't do the cleanup step on the remote builds"
+    echo "   skipupload   Don't upload the builds to starship"
+    echo "   parallel     parallelize the builds where possible"
     echo ""
+}
+
 
 
+function PrefixLines {
+    label=$1
+    tee tmp/$label.log | awk "{ print \"** $label: \" \$0; fflush();  }"
 }
 
 # ---------------------------------------------------------------------------
@@ -90,6 +97,8 @@ skipwin=no
 skiposx=no
 skiplinux=no
 skipclean=no
+skipupload=no
+parallel=no
 
 for flag in $*; do
     case $flag in 
@@ -108,6 +117,9 @@ for flag in $*; do
        skiposx)     skiposx=yes                 ;;
        skiplinux)   skiplinux=yes               ;;
        skipclean)   skipclean=yes               ;;
+       skipupload)  skipupload=yes              ;;
+       parallel)    parallel=yes                ;;
+       noparallel)  parallel=no                 ;;
 
        help) usage; exit 1                      ;;
        *)    echo "Unknown flag \"$flag\""
@@ -133,6 +145,7 @@ VERSION=`python -c "import setup;print setup.VERSION"`
 #echo VERSION=$VERSION
 #exit 0
 
+
 echo "Getting started at " `date`
 
 # ---------------------------------------------------------------------------
@@ -189,7 +202,20 @@ fi
 # ---------------------------------------------------------------------------
 # Windows build
 
-if [ $skipwin != yes ]; then
+function DoWindowsBuild {
+    set -o errexit
+
+    # test if the target machine is online
+    if ping -q -c1 -w1 $WIN_HOST > /dev/null; then
+       echo "-----------------------------------------------------------------"
+       echo " The $WIN_HOST machine is online, Windows build continuing..."
+       echo "-----------------------------------------------------------------"
+    else
+       echo "-----------------------------------------------------------------"
+       echo "The $WIN_HOST machine is offline, skipping the Windows build."
+       echo "-----------------------------------------------------------------"
+       return 0
+    fi
     echo "-=-=- Starting Windows build..."
 
     echo "Copying source file and build script..."
@@ -205,6 +231,15 @@ if [ $skipwin != yes ]; then
      echo "Fetching the results..."
      scp "$WIN_HOST:$WIN_BUILD/wxPython*-win32*"  $STAGING_DIR
      ssh $WIN_HOST "rm $WIN_BUILD/wxPython*-win32*"
+}
+
+if [ $skipwin != yes ]; then
+    if [ $parallel = no ]; then
+       DoWindowsBuild
+    else
+       DoWindowsBuild 2>&1 | PrefixLines $WIN_HOST &
+       winPID=$!
+    fi
 fi
 
 
@@ -215,6 +250,8 @@ function DoOSXBuild {
     local host=$1
     local flavor=$2
 
+    set -o errexit
+
     # test if the target machine is online
     if ping -q -c1 -w1 $host > /dev/null; then
        echo "-----------------------------------------------------------------"
@@ -251,13 +288,17 @@ function DoOSXBuild {
 
 
 if [ $skiposx != yes ]; then
-
-    DoOSXBuild $OSX_HOST_panther panther
-    DoOSXBuild $OSX_HOST_jaguar jaguar
-
+    if [ $parallel = no ]; then
+       DoOSXBuild $OSX_HOST_jaguar jaguar
+       DoOSXBuild $OSX_HOST_panther panther
+    else
+       DoOSXBuild $OSX_HOST_jaguar jaguar   2>&1 | PrefixLines $OSX_HOST_jaguar  &
+       DoOSXBuild $OSX_HOST_panther panther 2>&1 | PrefixLines $OSX_HOST_panther &
+    fi
 fi
 
 
+
 # ---------------------------------------------------------------------------
 # Linux build
 
@@ -266,12 +307,16 @@ fi
 # binary RPMs is a very simple followup step.  But then add to that
 # the fact that we need to build on more than one distro...
 
+
+
 function DoLinuxBuild {
     local host=$1
     local reltag=$2
     shift;shift
     local pyver=$@
 
+    set -o errexit
+
     # test if the target machine is online
     if ping -q -c1 -w1 $host > /dev/null; then
        echo "-----------------------------------------------------------------"
@@ -300,14 +345,49 @@ function DoLinuxBuild {
 
 }
 
+
+
+
 if [ $skiplinux != yes ]; then
 
-    DoLinuxBuild co-rh9 rh9 $PYVER
-    DoLinuxBuild co-fc2 fc2 2.3
+    if [ $parallel = no ]; then
+       DoLinuxBuild co-rh9    rh9    $PYVER
+       DoLinuxBuild co-fc2    fc2    2.3
+       DoLinuxBuild co-mdk92  mdk92  2.3
+       DoLinuxBuild co-mdk101 mdk101 2.3
+    else
+
+        # Since the linux builds are currently done in coLinux
+        # 'machines' running on the WIN_HOST let's wait for the
+        # windows build to be done before launching them
 
+       #if [ -n $winPID ]; then
+       #    wait $winPID
+       #fi
+
+       (DoLinuxBuild co-rh9    rh9    $PYVER 2>&1 | PrefixLines co-rh9 &; \
+        DoLinuxBuild co-fc2    fc2    2.3    2>&1 | PrefixLines co-fc2    ) &
+
+       wait $!  # wait for the previous two to complete before starting the next two
+
+       (DoLinuxBuild co-mdk92  mdk92  2.3    2>&1 | PrefixLines co-mdk92  &; \
+        DoLinuxBuild co-mdk101 mdk101 2.3    2>&1 | PrefixLines co-mdk101    ) &
+    fi
 fi
 
 
+# ---------------------------------------------------------------------------
+
+if [ $parallel = yes ]; then
+
+    # TODO:  Figure out how to test if all the builds were successful
+
+    echo "***********************************"
+    echo " Waiting for builds to complete... "
+    echo "***********************************"
+    wait
+fi
+
 # ---------------------------------------------------------------------------
 # Final disposition of build results...
 
@@ -322,25 +402,27 @@ fi
 
 if [ $KIND = daily ]; then 
 
-    destdir=$UPLOAD_DAILY_ROOT/$DAILY
-    echo "Copying to the starship at $destdir..."
-    ssh $UPLOAD_HOST "mkdir -p $destdir"
-    scp $STAGING_DIR/* $UPLOAD_HOST:/$destdir
-    ssh $UPLOAD_HOST "cd $destdir && ls -al"
+    echo "Copying to the local file server..."
+    destdir=/stuff/temp/$VERSION
+    mkdir -p $destdir
+    cp $STAGING_DIR/* $destdir
 
+    if [ $skipupload != yes ]; then 
+       destdir=$UPLOAD_DAILY_ROOT/$DAILY
+       echo "Copying to the starship at $destdir..."
+       ssh $UPLOAD_HOST "mkdir -p $destdir"
+       scp $STAGING_DIR/* $UPLOAD_HOST:/$destdir
+       ssh $UPLOAD_HOST "cd $destdir && ls -al"
 
-    echo "Cleaning up staging dir..."
-    rm $STAGING_DIR/*
-    rmdir $STAGING_DIR
 
-    # TODO: something to remove old builds from starship, keeping 
-    # only N days worth
+        # TODO: something to remove old builds from starship, keeping 
+        # only N days worth
 
-    # Send email to wxPython-dev
-    DATE=`date`
-    TO=wxPython-dev@lists.wxwidgets.org
+        # Send email to wxPython-dev
+       DATE=`date`
+       TO=wxPython-dev@lists.wxwidgets.org
 
-    cat <<EOF  | /usr/sbin/sendmail  $TO
+       cat <<EOF  | /usr/sbin/sendmail  $TO
 From: R'bot <rbot@wxpython.org>
 To: $TO
 Subject: $DAILY test build uploaded
@@ -358,6 +440,11 @@ Have fun!
 R'bot
 
 EOF
+    fi
+
+    echo "Cleaning up staging dir..."
+    rm $STAGING_DIR/*
+    rmdir $STAGING_DIR
 
     echo "Finished at " `date`
     exit 0
@@ -371,20 +458,17 @@ if [ $KIND = release ]; then
     mkdir -p $destdir
     cp $STAGING_DIR/* $destdir
 
-    echo "Copying to the starship..."
-    destdir=$UPLOAD_PREVIEW_ROOT/$VERSION
-    ssh $UPLOAD_HOST "mkdir -p $destdir"
-    scp $STAGING_DIR/* $UPLOAD_HOST:/$destdir
+    if [ $skipupload != yes ]; then 
+       echo "Copying to the starship..."
+       destdir=$UPLOAD_PREVIEW_ROOT/$VERSION
+       ssh $UPLOAD_HOST "mkdir -p $destdir"
+       scp $STAGING_DIR/* $UPLOAD_HOST:/$destdir
 
-    echo "Cleaning up staging dir..."
-    rm $STAGING_DIR/*
-    rmdir $STAGING_DIR
+        # Send email to wxPython-dev
+       DATE=`date`
+       TO=wxPython-dev@lists.wxwidgets.org
 
-    # Send email to wxPython-dev
-    DATE=`date`
-    TO=wxPython-dev@lists.wxwidgets.org
-
-    cat <<EOF  | /usr/sbin/sendmail  $TO
+       cat <<EOF  | /usr/sbin/sendmail  $TO
 From: R'bot <rbot@wxpython.org>
 To: $TO
 Subject: $VERSION release candidate build uploaded
@@ -403,6 +487,12 @@ R'bot
 
 EOF
 
+    fi
+
+    echo "Cleaning up staging dir..."
+    rm $STAGING_DIR/*
+    rmdir $STAGING_DIR
+
     echo "Finished at " `date`
     exit 0
 fi