Merge pull request #4940 from diizzyy/patch-95
[feed/packages.git] / .travis_do.sh
index f2fc9c6038bfe440bec8517327bcfbf63626dfc1..1db07edfdc5dc36fc6ccf403d74d8db70d5b43d1 100755 (executable)
@@ -6,7 +6,7 @@ set -e
 
 SDK_HOME="$HOME/sdk"
 SDK_PATH=https://downloads.lede-project.org/snapshots/targets/ar71xx/generic/
-SDK=lede-sdk-ar71xx-generic_gcc-5.4.0_musl.Linux-x86_64
+SDK=lede-sdk-ar71xx-generic_gcc-5.5.0_musl.Linux-x86_64
 PACKAGES_DIR="$PWD"
 
 echo_red()   { printf "\033[1;31m$*\033[m\n"; }
@@ -14,16 +14,23 @@ echo_green() { printf "\033[1;32m$*\033[m\n"; }
 echo_blue()  { printf "\033[1;34m$*\033[m\n"; }
 
 exec_status() {
-       ("$@" 2>&1) > logoutput && status=0 || status=1
-       grep -qE 'WARNING|ERROR' logoutput && status=1
-       cat logoutput
-       if [ $status -eq 0 ]; then
-               echo_green "=> $* successful"
-               return 0
-       else
-               echo_red   "=> $* failed"
+       PATTERN="$1"
+       shift
+       while :;do sleep 590;echo "still running (please don't kill me Travis)";done &
+       ("$@" 2>&1) | tee logoutput
+       R=${PIPESTATUS[0]}
+       kill $! && wait $! 2>/dev/null
+       if [ $R -ne 0 ]; then
+               echo_red   "=> '$*' failed (return code $R)"
+               return 1
+       fi
+       if grep -qE "$PATTERN" logoutput; then
+               echo_red   "=> '$*' failed (log matched '$PATTERN')"
                return 1
        fi
+
+       echo_green "=> '$*' successful"
+       return 0
 }
 
 # download will run on the `before_script` step
@@ -38,9 +45,12 @@ download_sdk() {
        wget "$SDK_PATH/sha256sums.gpg" -O sha256sums.asc
 
        # LEDE Build System (LEDE GnuPG key for unattended build jobs)
-       gpg --recv 0xCD84BCED626471F1
+       gpg --import $PACKAGES_DIR/.travis/626471F1.asc
+       echo '54CC74307A2C6DC9CE618269CD84BCED626471F1:6:' | gpg --import-ownertrust
        # LEDE Release Builder (17.01 "Reboot" Signing Key)
-       gpg --recv 0x833C6010D52BBB6B
+       gpg --import $PACKAGES_DIR/.travis/D52BBB6B.asc
+       echo 'B09BE781AE8A0CD4702FDCD3833C6010D52BBB6B:6:' | gpg --import-ownertrust
+
        gpg --verify sha256sums.asc
        grep "$SDK" sha256sums > sha256sums.small
 
@@ -55,15 +65,14 @@ download_sdk() {
 }
 
 # test_package will run on the `script` step.
-# test_package call make download check for very new/modified package in it's
-# own clean sdk directory
-test_packages() {
+# test_package call make download check for very new/modified package
+test_packages2() {
        # search for new or modified packages. PKGS will hold a list of package like 'admin/muninlite admin/monit ...'
-       PKGS=$(git diff --name-only "$TRAVIS_COMMIT_RANGE" | grep 'Makefile$' | grep -v '/files/' | awk -F'/Makefile' '{ print $1 }')
+       PKGS=$(git diff --diff-filter=d --name-only "$TRAVIS_COMMIT_RANGE" | grep 'Makefile$' | grep -v '/files/' | awk -F'/Makefile' '{ print $1 }')
 
        if [ -z "$PKGS" ] ; then
-               echo_blue "No new or modified packages found!" >&2
-               exit 0
+               echo_blue "No new or modified packages found!"
+               return 0
        fi
 
        echo_blue "=== Found new/modified packages:"
@@ -83,9 +92,12 @@ src-link packages $PACKAGES_DIR
 src-git luci https://github.com/openwrt/luci.git
 EOF
 
-       ./scripts/feeds update -a
-       ./scripts/feeds install -a
-       make defconfig
+       # enable BUILD_LOG
+       sed -i '1s/^/config BUILD_LOG\n\tbool\n\tdefault y\n\n/' Config-build.in
+
+       ./scripts/feeds update -a > /dev/null
+       ./scripts/feeds install -a > /dev/null
+       make defconfig > /dev/null
        echo_blue "=== Setting up SDK done"
 
        RET=0
@@ -93,15 +105,39 @@ EOF
        # pkg_name => muninlite
        for pkg_dir in $PKGS ; do
                pkg_name=$(echo "$pkg_dir" | awk -F/ '{ print $NF }')
-               echo_blue "=== $pkg_name Testing package"
+               echo_blue "=== $pkg_name: Starting quick tests"
+
+               exec_status 'WARNING|ERROR' make "package/$pkg_name/download" V=s || RET=1
+               exec_status 'WARNING|ERROR' make "package/$pkg_name/check" V=s || RET=1
+
+               echo_blue "=== $pkg_name: quick tests done"
+       done
+
+       [ $RET -ne 0 ] && return $RET
+
+       for pkg_dir in $PKGS ; do
+               pkg_name=$(echo "$pkg_dir" | awk -F/ '{ print $NF }')
+               echo_blue "=== $pkg_name: Starting compile test"
 
-               exec_status make "package/$pkg_name/download" V=s || RET=1
-               exec_status make "package/$pkg_name/check" V=s || RET=1
+               # we can't enable verbose built else we often hit Travis limits
+               # on log size and the job get killed
+               exec_status '^ERROR' make "package/$pkg_name/compile" -j3 || RET=1
 
-               echo_blue "=== $pkg_name Finished package"
+               echo_blue "=== $pkg_name: compile test done"
+
+               echo_blue "=== $pkg_name: begin compile logs"
+               for f in $(find logs/package/feeds/packages/$pkg_name/ -type f); do
+                       echo_blue "Printing last 200 lines of $f"
+                       tail -n200 "$f"
+               done
+               echo_blue "=== $pkg_name: end compile logs"
+
+               echo_blue "=== $pkg_name: begin packages sizes"
+               du -ba bin/
+               echo_blue "=== $pkg_name: end packages sizes"
        done
 
-       exit $RET
+       return $RET
 }
 
 test_commits() {
@@ -122,7 +158,7 @@ test_commits() {
                fi
 
                subject="$(git show -s --format=%s $commit)"
-               if echo "$subject" | grep -q '^[0-9A-Za-z,]\+: '; then
+               if echo "$subject" | grep -q -e '^[0-9A-Za-z,/-]\+: ' -e '^Revert '; then
                        echo_green "Commit subject line seems ok ($subject)"
                else
                        echo_red "Commit subject line MUST start with '<package name>: ' ($subject)"
@@ -139,14 +175,21 @@ test_commits() {
                fi
        done
 
-       exit $RET
+       return $RET
+}
+
+test_packages() {
+       test_commits && test_packages2 || return 1
 }
 
 echo_blue "=== Travis ENV"
 env
 echo_blue "=== Travis ENV"
 
-until git merge-base ${TRAVIS_COMMIT_RANGE/.../ } > /dev/null; do
+while true; do
+       # if clone depth is too small, git rev-list / diff return incorrect or empty results
+       C="$(git rev-list ${TRAVIS_COMMIT_RANGE/.../..} | tail -n1)" 2>/dev/null
+       [ -n "$C" -a "$C" != "a22de9b74cf9579d1ce7e6cf1845b4afa4277b00" ] && break
        echo_blue "Fetching 50 commits more"
        git fetch origin --deepen=50
 done