jjb: Derive lttng-modules architecture from platform label
[lttng-ci.git] / scripts / lttng-modules / param-build.sh
index e016e135173081916b6c728f8daa22e7448970a7..ab604a99832df813381bf052424e0356b4c6e724 100644 (file)
@@ -1,6 +1,6 @@
-#!/bin/bash -exu
+#!/bin/bash
 #
-# Copyright (C) 2016-2019 Michael Jeanson <mjeanson@efficios.com>
+# Copyright (C) 2016-2019 Michael Jeanson <mjeanson@efficios.com>
 #
 # This program is free software: you can redistribute it and/or modify
 # it under the terms of the GNU General Public License as published by
 # You should have received a copy of the GNU General Public License
 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
 
+set -exu
+
 # Parameters
-arch=${arch:-}
+platforms=${platforms:-}
+# Derive arch from label if it isn't set
+if [ -z "${arch:-}" ] ; then
+    # Labels may be platform specific, eg. jammy-amd64, deb12-armhf
+    regex='[[:alnum:]]+-([[:alnum:]]+)'
+    if [[ "${platforms}" =~ ${regex} ]] ; then
+        arch="${BASH_REMATCH[1]}"
+    else
+        arch="${platforms:-}"
+    fi
+fi
 cross_arch=${cross_arch:-}
 ktag=${ktag:-}
 kgitrepo=${kgitrepo:-}
 mversion=${mversion:-}
 mgitrepo=${mgitrepo:-}
 
-
 ## FUNCTIONS ##
 
 # Kernel version compare functions
@@ -32,6 +43,7 @@ verlte() {
 }
 
 verlt() {
+    # shellcheck disable=SC2015
     [ "$1" = "$2" ] && return 1 || verlte "$1" "$2"
 }
 
@@ -40,13 +52,22 @@ vergte() {
 }
 
 vergt() {
+    # shellcheck disable=SC2015
     [ "$1" = "$2" ] && return 1 || vergte "$1" "$2"
 }
 
 
 git_clone_modules_sources() {
     mkdir -p "$MODULES_GIT_DIR"
-    git clone --depth=1 -b "${mversion}" "${mgitrepo}" "$MODULES_GIT_DIR"
+
+    # If the version starts with "refs/", checkout the specific git ref, otherwise treat it
+    # as a branch name.
+    if [ "${mversion:0:5}" = "refs/" ]; then
+        git clone --no-tags --depth=1 "${mgitrepo}" "$MODULES_GIT_DIR"
+        (cd "$MODULES_GIT_DIR" && git fetch origin "${mversion}" && git checkout FETCH_HEAD)
+    else
+        git clone --no-tags --depth=1 -b "${mversion}" "${mgitrepo}" "$MODULES_GIT_DIR"
+    fi
 }
 
 # Checkout a shallow kernel tree of the specified tag
@@ -82,6 +103,16 @@ tar_archive_obj() {
     cd -
 }
 
+list_gccs() {
+    local gccs
+    gccs=()
+    IFS=: read -r -a path_array <<< "$PATH"
+    while read -r gcc ; do
+        gccs+=("$gcc")
+    done < <(find "${path_array[@]}" -maxdepth 1 -regex '.*/gcc-[0-9\.]+$' -printf '%f\n' | sort -t- -k2 -V -r)
+    echo "${gccs[@]}"
+}
+
 # Find the most recent GCC version supported by the kernel sources
 select_compiler() {
     local selected_cc
@@ -92,7 +123,7 @@ select_compiler() {
 
     set +e
 
-    for cc in gcc-5 gcc-4.8; do
+    for cc in $(list_gccs) ; do
       if "${CROSS_COMPILE:-}${cc}" -I include/ -D__LINUX_COMPILER_H -D__LINUX_COMPILER_TYPES_H -E include/linux/compiler-gcc.h; then
         selected_cc="$cc"
         break
@@ -140,8 +171,25 @@ build_linux_kernel() {
             exit 0
           fi
         fi
+
+        # Disable riscv64 config generation, we don't have a toolchain on bionic
+        sed -i 's/riscv64 //' debian.master/etc/kernelconfig
+
         fakeroot debian/rules clean KW_DEFCONFIG_DIR=.
-        fakeroot debian/rules genconfigs KW_DEFCONFIG_DIR=.
+
+        # Hack for kernel Ubuntu-hwe-5.8
+        # The debian/control file is produced by the clean target above, so this
+        # check needs to happen afterwards.
+        if [ ! -f "debian/compat" ] && ! grep -q debhelper-compat debian/control; then
+            echo "10" > "debian/compat"
+        fi
+
+        # genconfigs check can fail in certain cases, eg. when a more recent
+        # compiler exposes kernel configuration flags which aren't set in the
+        # Ubuntu annotations.
+        # In any case, the configuration will be updated with any missing values
+        # later in our build script.
+        fakeroot debian/rules genconfigs KW_DEFCONFIG_DIR=. do_skip_checks=true
         cp CONFIGS/"${ubuntu_config}" .config
         ;;
 
@@ -246,6 +294,9 @@ build_linux_kernel() {
       scripts/config --disable CONFIG_IGBVF
     fi
 
+    # Don't fail the build on warnings
+    scripts/config --disable CONFIG_WERROR
+
     # Set required options
     scripts/config --enable CONFIG_TRACEPOINTS
     scripts/config --enable CONFIG_KALLSYMS
@@ -259,6 +310,14 @@ build_linux_kernel() {
     scripts/config --enable CONFIG_EVENT_TRACING
     scripts/config --enable CONFIG_KRETPROBES
 
+    # FIXME: disable objtool on vmlinux, it OOMs on allyesconfig
+    sed -i 's/objtool_link vmlinux.o//' scripts/link-vmlinux.sh || true
+    # Starting with v6.1-rc6
+    sed -i 's/^objtool-enabled := .*/objtool-enabled := /' scripts/Makefile.vmlinux_o || true
+
+    # Disable SORTTAB
+    sed -i 's/is_enabled CONFIG_BUILDTIME_TABLE_SORT/is_enabled CONFIG_NONEXISTANT/' scripts/link-vmlinux.sh || true
+
     # Debug
     #cat .config
 
@@ -270,7 +329,7 @@ build_linux_kernel() {
     # Save the kernel and modules
     mkdir -p "$LINUX_INSTOBJ_DIR/boot"
     make INSTALL_MOD_PATH="$LINUX_INSTOBJ_DIR" INSTALL_MOD_STRIP=1 modules_install CC="$CC"
-    make INSTALL_PATH="$LINUX_INSTOBJ_DIR/boot" install CC="$CC"
+    make INSTALL_MOD_PATH="$LINUX_INSTOBJ_DIR" INSTALL_PATH="$LINUX_INSTOBJ_DIR/boot" install CC="$CC"
     rm -f "$LINUX_INSTOBJ_DIR/lib/modules/${krelease}/source" "$LINUX_INSTOBJ_DIR/lib/modules/${krelease}/build"
     ln -s ../../../../sources "$LINUX_INSTOBJ_DIR/lib/modules/${krelease}/source"
     ln -s ../../../../sources "$LINUX_INSTOBJ_DIR/lib/modules/${krelease}/source"
@@ -314,7 +373,9 @@ extract_distro_headers() {
 
     # On powerpc 32bits this object is required to link modules
     if [ "${karch}" = "powerpc" ]; then
-        if [ "x$(scripts/config -s CONFIG_PPC64)" = "xn" ]; then
+        if [ "x$(scripts/config -s CONFIG_PPC64)" = "xy" ] && vergte "${kversion}" "5.4"; then
+            :
+        else
             cp -a --parents arch/powerpc/lib/crtsavres.[So] "${LINUX_HDROBJ_DIR}/"
         fi
     fi
@@ -364,7 +425,9 @@ extract_distro_headers() {
     touch -r "${LINUX_HDROBJ_DIR}/.config" "${LINUX_HDROBJ_DIR}/include/generated/autoconf.h"
 
     # Copy .config to include/config/auto.conf so "make prepare" is unnecessary.
-    cp "${LINUX_HDROBJ_DIR}/.config" "${LINUX_HDROBJ_DIR}/include/config/auto.conf"
+    if [ ! -f "${LINUX_HDROBJ_DIR}/include/config/auto.conf" ]; then
+        cp "${LINUX_HDROBJ_DIR}/.config" "${LINUX_HDROBJ_DIR}/include/config/auto.conf"
+    fi
 
     # Finally clean the object files from the full source tree
     make clean
@@ -374,7 +437,9 @@ extract_distro_headers() {
 
     # On powerpc 32bits this object is required to link modules
     if [ "${karch}" = "powerpc" ]; then
-        if [ "x$(scripts/config -s CONFIG_PPC64)" = "xn" ]; then
+        if [ "x$(scripts/config -s CONFIG_PPC64)" = "xy" ] && vergte "${kversion}" "5.4"; then
+            :
+        else
             make arch/powerpc/lib/crtsavres.o CC="$CC"
         fi
     fi
@@ -406,6 +471,10 @@ build_modules() {
 
     kversion=$(make -C "$LINUX_HDROBJ_DIR" -s kernelversion)
 
+    # Try to catch some compatibility problems by turning some
+    # warnings into errors.
+    #export KCFLAGS="$KCFLAGS -Wall -Werror"
+
     # Enter lttng-modules source dir
     cd "${MODULES_GIT_DIR}"
 
@@ -586,16 +655,26 @@ signature_v2 = False" > "$WORKSPACE/.s3cfg"
 
 url_hash="$(echo -n "$kgitrepo" | md5sum | awk '{ print $1 }')"
 obj_name="linux.tar.bz2"
-obj_url_prefix="$OBJ_STORE_URL/linux-build/$url_hash/$ktag/$arch/${cross_arch:-native}"
+
+if [ "x${cross_arch}" = "x" ]; then
+       obj_url_prefix="$OBJ_STORE_URL/linux-build/$url_hash/$ktag/platform-${platform}/$arch/native"
+else
+       obj_url_prefix="$OBJ_STORE_URL/linux-build/$url_hash/$ktag/platform-${platform}/${cross_arch}"
+fi
+
 obj_url="$obj_url_prefix/$obj_name"
 
 set +e
-s3cmd -c "$WORKSPACE/.s3cfg" get "$obj_url"
+# In s3cmd 2.3, the return code of get when an object does not exist (64)
+# is different than in 2.2 (12). The return codes of 's3cmd info' are
+# consistent between 2.2 and 2.3.
+s3cmd -c "$WORKSPACE/.s3cfg" info "$obj_url"
 ret=$?
 set -e
 
 case "$ret" in
     "0")
+      s3cmd -c "$WORKSPACE/.s3cfg" get "$obj_url"
       extract_archive_obj
       ;;
 
This page took 0.02589 seconds and 4 git commands to generate.