Device configuration deployment script

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Merge pull request #50 from lttng/kill-dangling-processes

Kill dangling test processes before running tests

Ignore pdudaemon runtime db

Fix: %h is only valid for user services

Use %h for pdudaemon systemd service

Ignore lava/pdudaemon/venv

laval: Add devices dictionaries

PDUdaemon service, conf, and script

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Cleanup: remove unused variable

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Archive deps for easier coredump analysis

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Cleanup of running processes and coredump before build step

Coredump are expected in /tmp. Remove any previous coredumps present if
any.

Kill (SIGKILL) all lttng related processes that are present at the start
of the build.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Check for hanging process at the end of a job.

Run in all scenarios. We force a coredump and archive it to ./build.

Use ldd on /proc/$PID/exe to get actual dependencies.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Define pgrep and print the processes to be killed

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Kill dangling test processes before running tests

Tests often fail because of "dangling" lttng processes left on CI slaves. I am not sure what leaks them (either failing tests or cancelled jobs), but they are a very frequent cause of build failures.

The code is this diff is taken from lttng-tools warn_processes.sh.

We could also clean-up at the end of the job, but I am not sure how to get Jenkins to run a "clean-up" when a job is cancelled (e.g. manually or after a time-out).

Move Scope back to github

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

Merge pull request #51 from PSRCode/maintainer-update

Replace alexmonthy email notification to new maintainer

Replace alexmonthy email notification to new maintainer

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Add lttng-modules bionic jobs

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

Add testtype to lttng-tools 2.11 jobs

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

Add stable-2.11 jobs

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

Merge pull request #49 from PSRCode/long_regression

Add long regression testing for lttng-tools

Add long regression testing for lttng-tools

Create new jobs since performing long regression testing on
multi-axial matrix would simply take to much time.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Merge pull request #48 from frdeso/add_executed_test_suite_in_desc

jjb: systems-tests: include executed test suites in job description

jjb: systems-tests: include executed test suites in job description

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

Move lttng-scope repos to Gitlab

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

Merge pull request #47 from frdeso/lava_midnight

jjb: lava: Schedule trigger jobs on early morning on week days

jjb: lava: Schedule trigger jobs on early morning on week days

Because of DNS resolving downtime during backups on weekends we need to
make sure that the long running Lava jobs are scheduled early in the day
so they have time to complete before we pass midnight.

It was causing problems when a lot of Lava jobs were scheduled late
Friday afternoon and some jobs ended up being queued until Saturday
morning when DNS resolving was down.

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

Merge pull request #46 from frdeso/lava_fuzzing_daily

jjb: lava: Run fuzzing job daily regardless of code changes

jjb: lava: Run fuzzing job daily regardless of code changes

Since the kprobe fuzzing has in important random aspect, we can run it
daily to increase the instrumentation coverage.

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

Merge pull request #45 from frdeso/lava_fuzzing_blacklist_ftrace

jjb: lava: kprobe-fuzzing: Don't fuzz ftrace functions

jjb: lava: kprobe-fuzzing: Don't fuzz ftrace functions

Probing ftrace functions like ftrace_ops_assist_func and some other
function can cause crashes and it won't be fixed by the kernel community
in the foreseeable future. See discussion [1].

People seem to agree it's a bug but we don't have a timeline on the fix.

For now, we ourselves manually blacklist the symbols from the fuzzed
instrumentation points.

[1] https://lkml.org/lkml/2018/3/16/560

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

Merge pull request #44 from frdeso/lava_fuzzing_remove_coredump

jjb: lava: kprobe-fuzzing: Remove coredump recovery step

Merge pull request #43 from frdeso/fix_lava_fuzzing_generate

jjb: lava: kprobe-fuzzing: Fix syntax error in test definition

jjb: lava: kprobe-fuzzing: Remove coredump recovery step

The fuzzing is targeting the kernel so there is no value to gather
userspace coredumps.

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

jjb: lava: kprobe-fuzzing: Fix syntax error in test definition

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

Merge pull request #42 from frdeso/lava_fuzzing_multi_iter

jjb: lava: kprobe-fuzzing: Split testcase into multiple independent ones

jjb: lava: kprobe-fuzzing: Add random seed param for generation script

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

jjb: lava: kprobe-fuzzing: Fix: clear events before next iteration

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

jjb: lava: kprobe-fuzzing: Split testcase into multiple independent ones

With the current configuration, the fuzzing is done in a single Lava
testcase. If the kernel crashes during the testcase, the Lava slave will
be rebooted once the timeout expires(currently 2 hours). If the testcase
crashes at the beginning of the testcase, the job still has to wait for
the timeout to expire. That causes a lot of wasted time.

We overcome this by split the fuzzing into multiple smaller testcases
all with a smaller timeout and a specific range of instrumentation
points to test. This has the benefits of increasing our testing coverage
and resource efficiency.

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

Merge pull request #41 from frdeso/lava_fuzzing_print_instr_point_boundary

jjb: lava: kprobe-fuzzing: print instrumentation points boundaries at…

jjb: lava: kprobe-fuzzing: print instrumentation points boundaries at each iteration

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

Merge pull request #40 from frdeso/lava_fuzzing_remove_lttng

jjb: lava: kprobe-fuzzing: Don't setup lttng env

jjb: lava: kprobe-fuzzing: Don't setup lttng env

We now use the debugfs interface to enable kprobe events, so we don't
need to setup an LTTng env anymore.

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

jjb: Use updated system bison and popt on sol11

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

Merge pull request #39 from frdeso/lava_improve_fuzzing

jjb: lava: Reimplement kprobe fuzzing job

jjb: lava: Reimplement kprobe fuzzing job

This commits reimplements the kprobe fuzzing job in Python.

The Lava job is split into two stages. The first stage generates the
list of instrumentation points to try and saves it to the Lava job.
The second stage, reads this file and perform the fuzzing.

To save the instrumentation points file, we need to attach it to the job
from a Lava test shell that doesn't crash since that would prevent the
file from being saved. Because the fuzzing stage is likely to crash, we
need to do the generation and saving in a different stage.

In the past, we only fuzzed kallsyms symbols. Now we also fuzz random
offsets from these symbols and random addresses in the entire address
range.

We now save the list of instrumentation points before running the
fuzzing, so we don't have to print tested symbols along the way.
Instead, at each iteration, we print what interval of lines we are
currently testing. When we witness a crash, we can go back to the saved
file to see what instrumentation points caused it.

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

Merge pull request #38 from frdeso/fix_lava_coredump_attach

jjb: lava: Fix: lava jobs attaching files to wrong test case

jjb: lava: Fix: lava jobs attaching files to wrong test case

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

Merge pull request #37 from frdeso/fix_update_system_tests_path

Fix: update system tests paths

jjb: lava: change lava jobs directory name

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

jjb: lava: fix: update system-tests directory path

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

Merge pull request #36 from frdeso/fix_system_tests_path

jjb: lava: fix: update path to scripts

jjb: lava: fix: update path to scripts

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

Merge pull request #35 from frdeso/lava_trigger

jjb: lava: Rework baremetal jobs and introduce trigger job

jjb: lava: keep track of job exit status and configuration

Completely rework the system trigger jobs.

Before those changes a failed sub-job would make the umbrella job fail
once but the next time the umbrella job runs, it would see no new
commit, omit the schedule the sub-job again, and return success.
Failures were forgotten after one day.

We now save on the workspace the exit status and configuration of every
sub-job. This way we can avoid re-running sub-jobs that have jailed in
the past and haven't changed since. An umbrella jobs containing such
sub-job will now directly marked as failed.

The umbrella job will keep the failed status until all sub-jobs succeed.

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

jjb: lava: do not use empty default params

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

jjb: lava: use timed trigger rather than pollscm

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

jjb: lava: remove untracked linux version

Linux kernel commit e39d200fa5bf5b94a0948db0dae44c1b73b84a56 was
backported to multiple Linux stable branches including linux-4.4.y.

That commit changes a tracepoint interface, thus prevents the build of
the unsupported LTTng version 2.7 on this version.

As a solution, we remove the test configuration with linux-4.4.y and
lttng stable 2.7.

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

jjb: lava: check for status changes of system jobs every 30 seconds

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

jjb: lava: schedule canary jobs last

Canary job are of lesser importance as they used to confirm the health
of Jenkins-Lava pipeline. We schedule them last so we can get the active
branches to run first and get test results of interest quicker.

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

jjb: fix coverity upload return code

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: Add linux-rseq coverity job

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: lava: Run trigger jobs on weekdays, to avoid DNS downtime

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

jjb: lava: use Jenkins' Git plugin to checkout projects rather than doing manual git clones

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

jjb: lava: change job parameters to uppercase

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

ansible: update hosts

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

lttng-ivc: Introduce lttng-ivc-{version}-modules jobs

Perform lttng-ivc kernel testing on standalone node.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix: use temp dir for base venv

Tox have difficulty with long base venv python path on standalone node.

Do not use -e from bash to make sure all cleanup command are run.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

jjb: lava: clarify logging statements in trigger jobs

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

jjb: lava: fix: test results not being printed

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

jjb: lava: only trigger notifications for umbrella jobs

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

jjb: lava: trigger job comments cleanup

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

jjb: lava: split trigger jobs per job type and wait for completion of all jobs

Lava jobs are now split grouped by type (vm_tests, baremetal_tests and
baremetal_benchmarks).

Wait for the completion of all triggered jobs before completing an
umbrella job.

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

jjb: lava: cleanup: use jjb macros instead of YAML anchors

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

jjb: lava: cleanup: clarify comments and fix coding style

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

jjb: lava: cleanup: reorder parameters field in PARAM job

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

jjb: lava: rename lttng-baremetal-tests to system-tests

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

jjb: lava: Rework baremetal jobs and introduce trigger job

Previously, each job was tracking jobs in its branches of interest in an
odd combination Jenkins CMS trigger and Bash script. It readability was
low and maintainability even lower.

This commit implements those features using the Groovy script console.

Lava jobs are now taking commit IDs as parameter. The trigger job checks
the status of each git branches of interest and launch the right jobs
for each new changes in those branches using the right commit IDs.

The goal of these changes is to increase maintainability and to regroup
the lava jobs under a single umbrella Jenkins project.

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

jjb: fix x86-32 kernel builds for lttng-modules

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: fix modules arm64 crossbuild

The ftrace-mod.o special case on arm64 was introduced in 4.13 and
removed in 4.15-rc4, it is also being backported in stable branches.

See upstream commit:

  commit be0f272bfc83797f70d44faca86954df62e2bbc0
  Author: Ard Biesheuvel <ard.biesheuvel@linaro.org>
  Date:   Mon Nov 20 17:41:30 2017 +0000

    arm64: ftrace: emit ftrace-mod.o contents through code

    When building the arm64 kernel with both CONFIG_ARM64_MODULE_PLTS and
    CONFIG_DYNAMIC_FTRACE enabled, the ftrace-mod.o object file is built
    with the kernel and contains a trampoline that is linked into each
    module, so that modules can be loaded far away from the kernel and
    still reach the ftrace entry point in the core kernel with an ordinary
    relative branch, as is emitted by the compiler instrumentation code
    dynamic ftrace relies on.

    In order to be able to build out of tree modules, this object file
    needs to be included into the linux-headers or linux-devel packages,
    which is undesirable, as it makes arm64 a special case (although a
    precedent does exist for 32-bit PPC).

    Given that the trampoline essentially consists of a PLT entry, let's
    not bother with a source or object file for it, and simply patch it
    in whenever the trampoline is being populated, using the existing
    PLT support routines.

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: Add objtool to kernel headers for lttng-modules

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: Add sessiond logging to lttng-ust-java-tests

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: use linux-stable-rt for modules rt build

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: Add more warnings filtering to scope jobs

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: Add warnings filtering to scope jobs

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

Merge pull request #34 from PSRCode/lttng-ivc

Introduce lttng-ivc jobs

Introduce lttng-ivc jobs

Heavily inspired from lttng-analyses job definition.

Merge pull request #33 from PSRCode/lttng_repo

Use github.com/lttng/jenkins-job-builder instead of a personal repo

Use github.com/lttng/jenkins-job-builder instead of a personal repo

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Merge pull request #32 from PSRCode/groovy_failure

Use setResult instead of getExecutor().interrupt to set FAILURE

Use setResult instead of getExecutor().interrupt to set FAILURE

getExecutor().interrupt(FAILURE) flag the build as aborted event if the final status is FAILURE.
This influence triggers such as email.

07:28:26 lttng-modules_VERSION_param-build #334163 (v4.12.14) completed with status SUCCESS
07:28:26 lttng-modules_VERSION_param-build #334160 (v4.15-rc3) completed with status FAILURE
...
07:28:26 lttng-modules_VERSION_param-build #334220 (v2.6.37.6) completed with status SUCCESS
07:28:26 Build was aborted

Marked as "aborted".

07:28:26 Started calculate disk usage of build
07:28:26 Finished Calculation of disk usage of build in 0 seconds
07:28:26 Started calculate disk usage of workspace
07:28:26 Finished Calculation of disk usage of workspace in 0 seconds
07:28:26 [WS-CLEANUP] Deleting project workspace...[WS-CLEANUP] done
07:28:26 No emails were triggered.

An email should have been fired here.

07:28:26 Finished: FAILURE

Final status is Failure. But no email were sent.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Merge pull request #31 from PSRCode/daily_monthy

Build jobs daily when @alexmonthy is the maintainer.

Build libdelorean daily

External failure and workflow of the maintainer (acts only on multiple
subsequent failures) encourage us to build this daily.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Build jabberwocky daily

External failure and workflow of the maintainer (acts only on multiple
subsequent failures) encourage us to build this daily.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Build ctf-java daily

External failure and workflow of the maintainer (acts only on multiple
subsequent failures) encourage us to build this daily.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Build lttng-scope daily

External failure and workflow of the maintainer (acts only on multiple
subsequent failures) encourage us to build this daily.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Merge pull request #30 from PSRCode/email_notification

Base email notification configuration

Add email notification to lttng-ust jobs

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Add email notification to lttng-ust java test job

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Add email notification for lttng-scope jobs

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>