Add wrappers for pipe

This is to help use pipes in a way where partial read/write and EINTR
are handled in one single call site.

Two new files are created, pipe.c/.h which are part of libcommon. The
open, close, read_close, write_close, read and write calls are
implemented using a custom lttng_pipe data structure and protected by
operation's mutex. A destroy function is also available to cleanup
memory once done with a pipe.

The motivation behind this patch is for some upcoming fixes that deals
with a race condition between read and write on a pipe in the consumer.

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: increment UST channel refcount at stream creation

Having the channel refcount incremented only when the stream is sent to a
thread could triggered a segfault with a race between a channel destroyed by
the channel thread and the stream pointers being inflight in the thread pipe.

Once read from the pipe, the streams are added to the data thread poll set and
immediately destroyed since the channel has hung up previously but the flush
buffer segfaulted on the channel that was already deleted by the channel thread
with a refcount set to 0.

This is fixed by incrementing the channel refcount once the stream is created
and the channel reference is set to it. This is done *before* the channel
object is visible in the channel thread. Now the channel thread detects the
hang up but will not destroy the channel because of the refcount > 0. The
channel cleanup will be done by the last stream hanging up.

Fixes #530

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: update tracer version in lttng-sessiond.8 and lttng.1

Fixes #535

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: use memset instead of poll reset for poll init

Signed-off-by: David Goulet <dgoulet@efficios.com>

Update README

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: epoll attributes used outside of compat layer

This was breaking the poll() support. A lttng_poll_init is added which
basically resets the lttng poll event data structure and in the case of
epoll sets the epfd to -1.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: Remove temporary trace directory on bail-out

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: Fix the number of tests in test_tracefile_count

The number of planned tests is dependent on the number of streams (1 per
cpu).

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: Add the tracefile size test

This test validate the newly introduced tracefile count feature.  In
order to so, we enable a channel with the appropriate file size limits.

After running an instrumented application, we validate that each file in
the trace folder is no larger than the limit set on the command line and
also that some events are present (it's possible that the tracer discard
events, so we can't validate on a fixed number of events in the
resulting trace).

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: Add the tracefile count test

This test validate the newly introduced tracefile count feature.  In
order to so, we enable a channel with the appropriate limits in
overwrite mode. The later constraint is to ensure that at least the last
few events are properly recorded and that we can validate that they are
present in the resulting trace (with the help of babeltrace and
babelstats).

We also validate that the tracefile count (per stream) in the trace
folder is conform to the one passed on the command line.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: Move the babelstats utility to tests/utils

This utility will prove useful in trace validation for other tests, so
put it in a common location accessible by the tests.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Read from pointer after free in unit tests

Issue 1019886 and 1019887 of coverity scan.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Read from pointer after free

Also, a fd leak is fixed in an error path in the same thread.

Issue 1019889 of coverity scan.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Uninitialized scalar variable in consumer

In notify_channel_pipe: Use of an uninitialized variable (CWE-457).

Issue 1019894 of coverity scan.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Uninitialized pointer read

The lttng poll clean call is slightly changed to handle negative epoll
fd so we don't close anything blindly creating perror() outputs for
nothing.

Issue 1019895 of coverity scan.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: fd leak in process client msg error path

The process_client_msg() function could return an error but no
sock_error. In any case, we have to close the socket since a TODO is
still there indicating that we need to reply to the client to inform of
the error.

Issue 1019920 of coverity scan.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: memory leak in UST unit test

Issue 1019913 of coverity scan.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: memory leak in URI unit test

Issue 1019914 of coverity scan.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: close fd on create unix sock error path

Issue 1019915 of coverity scan.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: memory leak in error path in UST registry

Issue 1019919 and 1019918 of coverity scan.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: memory leak in sessiond command in error path

Issue 1019921 of coverity scan.

More leaks were found of the same type also.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: kernel metadata data leak in error path

Issue 1019922 of coverity scan.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: data leak in error path of cmd_register_consumer()

Issue 1019923 of coverity scan.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: out of bounds access of kernel channel padding

The padding of the old ABI is bigger than the new one so we use the size
of the new padding size for the memcpy since it will always be smaller.

In kernctl_create_channel: Out-of-bounds access to a buffer (CWE-119).
In kernctl_open_metadata: Out-of-bounds access to a buffer (CWE-119).

Issue 1019925 and 1019924 of coverity scan.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: out of bounds access to buffer uuid

In ask_channel_creation: Out-of-bounds access to a buffer (CWE-119)

Issue 1019926 of coverity scan.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: possible out of bounds write in enable-event

In loglevel_str_to_value: Out-of-bounds write to a buffer (CWE-119).

Issue 1019927 of coverity scan.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: Replace usage of gen-ust-events testapp in ust metadata-flush test

Use the gen-ust-events binary found under
tests/utils/testapp/gen-ust-events/.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: Replace usage of gen-ust-events testapp in ust nprocesses test

Use the gen-ust-events binary found under
tests/utils/testapp/gen-ust-events/.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: Replace usage of gen-ust-events testapp in ust buffers-uid test

Use the gen-ust-events binary found under
tests/utils/testapp/gen-ust-events/.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: Replace usage of gen-ust-events testapp in ust before-after test

Use the gen-ust-events binary found under
tests/utils/testapp/gen-ust-events/.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: Replace usage of gen-ust-events testapp in streaming tests

Use the gen-ust-events binary found under
tests/utils/testapp/gen-ust-events/.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: Cleanup and move gen-ust-events testapp under utils

This will improve the maintainability and stop the copying madness going
on in each test needing a UST sample application.

Application under test should go in tests/utils/testapp/<testapp_name>/.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: Remove unused utils.h header

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Add --version command-line option to lttng.

Signed-off-by: Stefan Seefeld <stefan@codesourcery.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Add --with-lttng-ust-prefix config option.

Signed-off-by: Stefan Seefeld <stefan@codesourcery.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: check channel subbuf size against page size

Don't validate channel subbuffer size against the default values but
rather against the lower bound being the page size taken at runtime.

Reported-by: Tan Dung Le Tran <tan.dung.le.tran@ericsson.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: print an error if tracefile-size is missing with count

The command will also stop and inform the user that an option is
missing.

Reported-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Update version to v2.2.0-rc2

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: split UST per UID/PID default values

The default per UID subbuffer size are changed from 4096 bytes to 131072
bytes (128k). The rest have the same values as before.

Some DEFAULT_CHANNEL_* macros are prefixed with an underscore making
sure they are not used elsewhere in the code base and only domain
specific values are used.

Fixes #524

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: don't start the relayd with a wrong --output dir

The -o, --output option never supported a relative path but still the
relayd was able to start.

This makes sure the relayd does not start without an absolute pathname.
The help and man are also updated to document this behavior.

Ticket #523 has been opened as a feature request to support relative
path.

Fixes #481

Acked-by: Julien Desfossez <julien.desfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Erroneous automatic session name when streaming

Fixes #460

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: wrong data port when listing session's URI

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: don't create a channel on an enable channel

Fixes #465

Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: Add missing test_utils_parse_size_suffix to unit tests

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: print lttng strerror on enable event with filter

Fixes #516

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: change relayd protocol version to 2.2

Without the 2.2 protocol, the tracefile size/count can't be used for
network streaming. This should have been done at the rc1 release.

Acked-by: Julien Desfossez <julien.desfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: reset current size for tracefile rotation

Fixes #514

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: remove extra -I for python bindings

Fixes #517

Signed-off-by: David Goulet <dgoulet@efficios.com>

lttng UI: round up trace file size to subbuf size if needed

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix lttng UI: fix arg parsing, round size to next power of two

Also:
- don't accept negative values,
- don't accept 0 values where it's not allowed,
- fix tracefile size option: it was parsing the previous argument.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: check errors in lttng command argument values

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Implement get_count_order in lttng utils

Imported from Userspace RCU rculfhash.c.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

lttng cli: Accept human readable sizes for --subbuf-size

--subbuf-size accepts sizes such as:

- 123 -> 123
- 123k -> 123 * 1024
- 123M -> 123 * 1024^2
- 123G -> 123 * 1024^3

It uses the new parse_size_suffix function, which could probably be used
at other places, such as tracefile size.

Unit tests are included.

Reviewed-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: Simon Marchi <simon.marchi@polymtl.ca>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Unit tests: don't rebuild units under test

Only the tests themselves are built in the unit test folder. They reuse
the object files that are already built during the main compilation
pass. This would fix the conflicts between object names.

Signed-off-by: Simon Marchi <simon.marchi@polymtl.ca>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: consumerd metadata channel/cache/timer races

There were various races with the way metadata was handled for UST. Fix
this by:

- Ensuring that metadata cache is destroyed only when the metadata
  channel is destroyed (it is already protected by refcounting).
- Ensuring that close_metadata() command (issued by sessiond) just
  closes the stream wakeup_fd, and let the metadata management thread
  (which has ownership of the metadata stream) perform the teardown.
- Ensure that switch timer, for metadata, is always stopped before any
  of the metadata stream or channel teardown is done.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: consumerd channel destroy race

The LTTNG_CONSUMER_DESTROY_CHANNEL command is used to handle errors. It
should not call destroy_channel(), because at that point the channel
management thread has ownership of the channel. Send a notification to
the channel management thread asking it to destroy the channel instead.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Cleanup: document RCU read-side lock better

Eventually we will have to move rcu read-side lock within the callees,
but let's at least make the current code consistent.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

consumer relayd interaction: fix segfaults

State where control socket is unset but data socket is set for a relayd
socket pair can be reached if relayd suddently disconnects at the wrong
time. Ensure we always verify that the file descriptors and operations
are initialized before using them.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: change order of fd get to fix error path

Last commit had a wrong error path that could lead to an unbalanced fd
put/get.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: fd leak when creating UST metadata channel

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: fd leak on error

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix consumerd fd leak

Refcount is only incremented and owned by thread management for streams,
not metadata.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix RCU-related hangs: incorrect lttng_ht_destroy use

lttng_ht_destroy() should *NOT* be called with rcu_read_lock() held. It
can cause hangs.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

rculfhash: check for callers from RCU read-side C.S.

This is an error.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: don't call hash table destroy under rcu read-side c.s.

Fix
src/bin/lttng-sessiond/ust-registry.c:ust_registry_channel_del_free().

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Documentation: import updated comments from urcu

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: segfault in buffer_reg_channel_destroy()

Can be called with NULL pointer, which trigger segfault on ERR() which
try to dereference it.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: add missing goto error in UST consumer

On error, a channel set to NULL can be used causing a segfault when
receiving the metadata.

Reported-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: no need to use run_as_open in the relayd

The utils create stream file function is changed to handle uid and gid
set to -1 meaning that it now does not use the run_as_open() call which
is costly in performance and will instead use open().

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: typo in enable-channel man and help

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add some missing hidden attribute

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: per-uid buffers should only be flushed once on stop

They were flushed once per application previously, causing workload with many
applications to trigger too many flush on stop, which in turn caused buffer
padding bloat.

* The pseudo-code for stop behavior on per-uid buffers was:

flush session's buffers
for each application:
  - stop tracing
  - wait quiescent
  - flush buffers
  - push metadata

Now doing, for per-uid buffers:

for each application:
  - stop tracing
  - wait quiescent
  - push metadata
flush session's buffers

* And for per-pid buffers:

Previously:

for each application:
  - stop tracing
  - wait quiescent
  - flush buffers
  - push metadata

Now:

for each application:
  - stop tracing
  - wait quiescent
  - push metadata
for each application:
  - flush buffers

Fixes #497

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Cleanup: Use own mutex within timer setup/teardown

More robust than relying on single-caller-thread assumptions.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: channel management thread should hold a refcount

In order to handle teardown caused by relayd being unresponsive, we need
to ensure that we correctly handle that the streams can be cleaned up
before the channel wakeup pipe gets closed. We achieve this by making
the channel management thread hold a refcount on the channel object, so
it only gets destroyed when all streams, _and_ the channel management
thread, have released their reference.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: move metadata cache setup before ownership passing

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: consumer metadata switch timer error handling

The thread handling the metadata switch cannot call
consumer_timer_switch_stop(), because it would become stucked waiting
for itself to execute the teardown signal handler.

Moreover, only one thread is allowed to call start/stop timer (by
design). Therefore, it's a race to have the thread handling the timer
handler calling "stop".

Fix this by adding a "switch_timer_error" flag, which just inhibits the
timer if an error is encountered, but does not modify its state
otherwise.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: set ptr to NULL to suppress old gcc warnings

This has been seen with gcc 4.4.5 on a 32 bit machine.

consumer.c: In function ‘consumer_add_relayd_socket’:
consumer.c:3002: warning: ‘relayd’ may be used uninitialized in this
function

However, the relayd pointer can not be used uninitialized so this patch
suppresses the warning.

Reported-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: linking order of libraries

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: multiple type mismatch in debug statement

This removes all the type mismatch warnings for x86 architecture.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: remove mention of trace directory layout in quickstart doc

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: remove unused path variables from session obj

Furthermore, this patch also removes useless '/' in the stream path
which was creating duplicates in the trace file path.

Fixes #496

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: update lttng.1 man and enable-channel help with read timer size

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: use channel per domain default values

This is related to bug497 but does not fix it. Using the command line and the
lttng_channel_set_default_attr() API call, the default read and switch timer
were not correct for UST and Kernel domain since we now use specific default
values for each of them.

Reported-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: typos in the code base

Fixes #488

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: deny multiple event types with enable-event

Fixes #444

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: deny the same port for data and control URL

This also adds the LTTNG_ERR_NOMEM code and fix a double lttng strerror
print in the lttng create command code.

Fixes #451

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: reset consumer destination when changing URIs

Using -C and -D with lttng create, the session if first created with the
default file path and then changed to the relayd URIs.

The destination object was not reset which was causing a corruption to
the state of the consumer object.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: don't allow different control and data destination

The lttng create command does not allow anymore different destination
when using -C and -D.

Fixes #455

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: typos in error strings

Fixes #453

Signed-off-by: Simarpreet Singh <simarpreet007@gmail.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Improve channel listing output format

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: enable-channel accepts mismatched option

Also fixes a small typo in an error message of enable-channel. This
commit adds the buffer type for the UST domain with lttng list.

Fixes #489

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: validate buffer type for UST channel creation

Fixes #499

Signed-off-by: David Goulet <dgoulet@efficios.com>

Update version to v2.2.0-rc1

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Add missing header for make dist

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add missing declaration for disable-lttng-ust

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: don't keep vpid, procname, nor patchlevel environment for per-uid buffers

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Relayd add_stream command handle tracefile rotation

Extend the relayd_add_stream structure to pass the tracefile_size and
tracefile_count parameters required to handle the tracefile rotation.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Move stream file rotation functions to utils

These functions are now in libcommon which can be used by the relayd and
consumer.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Introduce the relayd socket object

Used to store the version that the relayd socket supports so we can
adapt the communication to the lowest version between the session daemon
and relayd.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Adjust the relayd protocol on version check

If the relayd and sessiond are compatible (same major number), we store
in the session the protocol version to use for the rest of the
communication (the lowest minor number).

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>