Cleanup: Re-organise source dir
authorMichael Jeanson <mjeanson@efficios.com>
Thu, 23 Jun 2016 17:39:39 +0000 (13:39 -0400)
committerMathieu Desnoyers <mathieu.desnoyers@efficios.com>
Mon, 27 Jun 2016 20:19:42 +0000 (16:19 -0400)
Re-organise the sources, add a top level "src" and "include" dir and
move relevant files.

Disable autotools automated includes and define them manually. This
fixes problems with collision of header names with system headers.

Include the autoconf config.h in the default includes and remove it
where it's explicitely included. Remove _GNU_SOURCE defines since
it's detected at configure for platforms that requires it and added
to the config.h.

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
243 files changed:
.gitignore
Makefile.am
compat-getcpu.h [deleted file]
compat_arch_x86.c [deleted file]
compat_futex.c [deleted file]
configure.ac
doc/examples/Makefile.am
include/Makefile.am [new file with mode: 0644]
include/urcu/arch/aarch64.h [new file with mode: 0644]
include/urcu/arch/alpha.h [new file with mode: 0644]
include/urcu/arch/arm.h [new file with mode: 0644]
include/urcu/arch/gcc.h [new file with mode: 0644]
include/urcu/arch/generic.h [new file with mode: 0644]
include/urcu/arch/hppa.h [new file with mode: 0644]
include/urcu/arch/ia64.h [new file with mode: 0644]
include/urcu/arch/mips.h [new file with mode: 0644]
include/urcu/arch/nios2.h [new file with mode: 0644]
include/urcu/arch/ppc.h [new file with mode: 0644]
include/urcu/arch/s390.h [new file with mode: 0644]
include/urcu/arch/sparc64.h [new file with mode: 0644]
include/urcu/arch/tile.h [new file with mode: 0644]
include/urcu/arch/unknown.h [new file with mode: 0644]
include/urcu/arch/x86.h [new file with mode: 0644]
include/urcu/cds.h [new file with mode: 0644]
include/urcu/compiler.h [new file with mode: 0644]
include/urcu/config.h.in [new file with mode: 0644]
include/urcu/debug.h [new file with mode: 0644]
include/urcu/futex.h [new file with mode: 0644]
include/urcu/hlist.h [new file with mode: 0644]
include/urcu/lfstack.h [new file with mode: 0644]
include/urcu/list.h [new file with mode: 0644]
include/urcu/map/urcu-bp.h [new file with mode: 0644]
include/urcu/map/urcu-qsbr.h [new file with mode: 0644]
include/urcu/map/urcu.h [new file with mode: 0644]
include/urcu/rand-compat.h [new file with mode: 0644]
include/urcu/rcuhlist.h [new file with mode: 0644]
include/urcu/rculfhash.h [new file with mode: 0644]
include/urcu/rculfqueue.h [new file with mode: 0644]
include/urcu/rculfstack.h [new file with mode: 0644]
include/urcu/rculist.h [new file with mode: 0644]
include/urcu/ref.h [new file with mode: 0644]
include/urcu/static/lfstack.h [new file with mode: 0644]
include/urcu/static/rculfqueue.h [new file with mode: 0644]
include/urcu/static/rculfstack.h [new file with mode: 0644]
include/urcu/static/urcu-bp.h [new file with mode: 0644]
include/urcu/static/urcu-pointer.h [new file with mode: 0644]
include/urcu/static/urcu-qsbr.h [new file with mode: 0644]
include/urcu/static/urcu.h [new file with mode: 0644]
include/urcu/static/wfcqueue.h [new file with mode: 0644]
include/urcu/static/wfqueue.h [new file with mode: 0644]
include/urcu/static/wfstack.h [new file with mode: 0644]
include/urcu/syscall-compat.h [new file with mode: 0644]
include/urcu/system.h [new file with mode: 0644]
include/urcu/tls-compat.h [new file with mode: 0644]
include/urcu/uatomic/aarch64.h [new file with mode: 0644]
include/urcu/uatomic/alpha.h [new file with mode: 0644]
include/urcu/uatomic/arm.h [new file with mode: 0644]
include/urcu/uatomic/gcc.h [new file with mode: 0644]
include/urcu/uatomic/generic.h [new file with mode: 0644]
include/urcu/uatomic/hppa.h [new file with mode: 0644]
include/urcu/uatomic/ia64.h [new file with mode: 0644]
include/urcu/uatomic/mips.h [new file with mode: 0644]
include/urcu/uatomic/nios2.h [new file with mode: 0644]
include/urcu/uatomic/ppc.h [new file with mode: 0644]
include/urcu/uatomic/s390.h [new file with mode: 0644]
include/urcu/uatomic/sparc64.h [new file with mode: 0644]
include/urcu/uatomic/tile.h [new file with mode: 0644]
include/urcu/uatomic/unknown.h [new file with mode: 0644]
include/urcu/uatomic/x86.h [new file with mode: 0644]
include/urcu/uatomic_arch.h [new file with mode: 0644]
include/urcu/urcu-futex.h [new file with mode: 0644]
include/urcu/urcu_ref.h [new file with mode: 0644]
include/urcu/wfcqueue.h [new file with mode: 0644]
include/urcu/wfqueue.h [new file with mode: 0644]
include/urcu/wfstack.h [new file with mode: 0644]
lfstack.c [deleted file]
liburcu-bp.pc.in [deleted file]
liburcu-cds.pc.in [deleted file]
liburcu-mb.pc.in [deleted file]
liburcu-qsbr.pc.in [deleted file]
liburcu-signal.pc.in [deleted file]
liburcu.pc.in [deleted file]
rculfhash-internal.h [deleted file]
rculfhash-mm-chunk.c [deleted file]
rculfhash-mm-mmap.c [deleted file]
rculfhash-mm-order.c [deleted file]
rculfhash.c [deleted file]
rculfqueue.c [deleted file]
rculfstack.c [deleted file]
src/Makefile.am [new file with mode: 0644]
src/compat-getcpu.h [new file with mode: 0644]
src/compat_arch_x86.c [new file with mode: 0644]
src/compat_futex.c [new file with mode: 0644]
src/lfstack.c [new file with mode: 0644]
src/liburcu-bp.pc.in [new file with mode: 0644]
src/liburcu-cds.pc.in [new file with mode: 0644]
src/liburcu-mb.pc.in [new file with mode: 0644]
src/liburcu-qsbr.pc.in [new file with mode: 0644]
src/liburcu-signal.pc.in [new file with mode: 0644]
src/liburcu.pc.in [new file with mode: 0644]
src/rculfhash-internal.h [new file with mode: 0644]
src/rculfhash-mm-chunk.c [new file with mode: 0644]
src/rculfhash-mm-mmap.c [new file with mode: 0644]
src/rculfhash-mm-order.c [new file with mode: 0644]
src/rculfhash.c [new file with mode: 0644]
src/rculfqueue.c [new file with mode: 0644]
src/rculfstack.c [new file with mode: 0644]
src/urcu-bp.c [new file with mode: 0644]
src/urcu-bp.h [new file with mode: 0644]
src/urcu-call-rcu-impl.h [new file with mode: 0644]
src/urcu-call-rcu.h [new file with mode: 0644]
src/urcu-defer-impl.h [new file with mode: 0644]
src/urcu-defer.h [new file with mode: 0644]
src/urcu-die.h [new file with mode: 0644]
src/urcu-flavor.h [new file with mode: 0644]
src/urcu-pointer.c [new file with mode: 0644]
src/urcu-pointer.h [new file with mode: 0644]
src/urcu-qsbr.c [new file with mode: 0644]
src/urcu-qsbr.h [new file with mode: 0644]
src/urcu-wait.h [new file with mode: 0644]
src/urcu.c [new file with mode: 0644]
src/urcu.h [new file with mode: 0644]
src/wfcqueue.c [new file with mode: 0644]
src/wfqueue.c [new file with mode: 0644]
src/wfstack.c [new file with mode: 0644]
tests/benchmark/Makefile.am
tests/benchmark/test_looplen.c
tests/benchmark/test_mutex.c
tests/benchmark/test_perthreadlock.c
tests/benchmark/test_rwlock.c
tests/benchmark/test_rwlock_timing.c
tests/benchmark/test_urcu.c
tests/benchmark/test_urcu_assign.c
tests/benchmark/test_urcu_bp.c
tests/benchmark/test_urcu_defer.c
tests/benchmark/test_urcu_gc.c
tests/benchmark/test_urcu_hash.c
tests/benchmark/test_urcu_hash.h
tests/benchmark/test_urcu_hash_rw.c
tests/benchmark/test_urcu_hash_unique.c
tests/benchmark/test_urcu_lfq.c
tests/benchmark/test_urcu_lfs.c
tests/benchmark/test_urcu_lfs_rcu.c
tests/benchmark/test_urcu_qsbr.c
tests/benchmark/test_urcu_qsbr_gc.c
tests/benchmark/test_urcu_wfcq.c
tests/benchmark/test_urcu_wfq.c
tests/benchmark/test_urcu_wfs.c
tests/common/Makefile.am
tests/common/api.h
tests/common/cpuset.h
tests/common/thread-id.h
tests/regression/Makefile.am
tests/regression/test_urcu_fork.c
tests/regression/urcutorture.c
tests/unit/Makefile.am
tests/utils/Makefile.am
tests/utils/tap.c
urcu-bp.c [deleted file]
urcu-bp.h [deleted file]
urcu-call-rcu-impl.h [deleted file]
urcu-call-rcu.h [deleted file]
urcu-defer-impl.h [deleted file]
urcu-defer.h [deleted file]
urcu-die.h [deleted file]
urcu-flavor.h [deleted file]
urcu-pointer.c [deleted file]
urcu-pointer.h [deleted file]
urcu-qsbr.c [deleted file]
urcu-qsbr.h [deleted file]
urcu-wait.h [deleted file]
urcu.c [deleted file]
urcu.h [deleted file]
urcu/arch/aarch64.h [deleted file]
urcu/arch/alpha.h [deleted file]
urcu/arch/arm.h [deleted file]
urcu/arch/gcc.h [deleted file]
urcu/arch/generic.h [deleted file]
urcu/arch/hppa.h [deleted file]
urcu/arch/ia64.h [deleted file]
urcu/arch/mips.h [deleted file]
urcu/arch/nios2.h [deleted file]
urcu/arch/ppc.h [deleted file]
urcu/arch/s390.h [deleted file]
urcu/arch/sparc64.h [deleted file]
urcu/arch/tile.h [deleted file]
urcu/arch/unknown.h [deleted file]
urcu/arch/x86.h [deleted file]
urcu/cds.h [deleted file]
urcu/compiler.h [deleted file]
urcu/config.h.in [deleted file]
urcu/debug.h [deleted file]
urcu/futex.h [deleted file]
urcu/hlist.h [deleted file]
urcu/lfstack.h [deleted file]
urcu/list.h [deleted file]
urcu/map/urcu-bp.h [deleted file]
urcu/map/urcu-qsbr.h [deleted file]
urcu/map/urcu.h [deleted file]
urcu/rand-compat.h [deleted file]
urcu/rcuhlist.h [deleted file]
urcu/rculfhash.h [deleted file]
urcu/rculfqueue.h [deleted file]
urcu/rculfstack.h [deleted file]
urcu/rculist.h [deleted file]
urcu/ref.h [deleted file]
urcu/static/lfstack.h [deleted file]
urcu/static/rculfqueue.h [deleted file]
urcu/static/rculfstack.h [deleted file]
urcu/static/urcu-bp.h [deleted file]
urcu/static/urcu-pointer.h [deleted file]
urcu/static/urcu-qsbr.h [deleted file]
urcu/static/urcu.h [deleted file]
urcu/static/wfcqueue.h [deleted file]
urcu/static/wfqueue.h [deleted file]
urcu/static/wfstack.h [deleted file]
urcu/syscall-compat.h [deleted file]
urcu/system.h [deleted file]
urcu/tls-compat.h [deleted file]
urcu/uatomic/aarch64.h [deleted file]
urcu/uatomic/alpha.h [deleted file]
urcu/uatomic/arm.h [deleted file]
urcu/uatomic/gcc.h [deleted file]
urcu/uatomic/generic.h [deleted file]
urcu/uatomic/hppa.h [deleted file]
urcu/uatomic/ia64.h [deleted file]
urcu/uatomic/mips.h [deleted file]
urcu/uatomic/nios2.h [deleted file]
urcu/uatomic/ppc.h [deleted file]
urcu/uatomic/s390.h [deleted file]
urcu/uatomic/sparc64.h [deleted file]
urcu/uatomic/tile.h [deleted file]
urcu/uatomic/unknown.h [deleted file]
urcu/uatomic/x86.h [deleted file]
urcu/uatomic_arch.h [deleted file]
urcu/urcu-futex.h [deleted file]
urcu/urcu_ref.h [deleted file]
urcu/wfcqueue.h [deleted file]
urcu/wfqueue.h [deleted file]
urcu/wfstack.h [deleted file]
wfcqueue.c [deleted file]
wfqueue.c [deleted file]
wfstack.c [deleted file]

index c4698b9..7e7242a 100644 (file)
@@ -1,5 +1,5 @@
-urcu/arch.h
-urcu/uatomic.h
+include/urcu/arch.h
+include/urcu/uatomic.h
 tests/api.h
 
 
@@ -120,7 +120,7 @@ doc/examples/rculfhash/cds_lfht_lookup
 doc/examples/rculfhash/cds_lfht_for_each_entry_duplicate
 
 #automake
-/config.h
+/include/config.h
 .deps/
 .libs/
 Makefile.in
@@ -146,8 +146,8 @@ Makefile
 /m4/ltsugar.m4
 /m4/ltversion.m4
 /libtool
-/stamp-h1
-/config.h.in
+/include/stamp-h1
+/include/config.h.in
 /config.status
 /autom4te.cache/
 config.h
index 7b21321..dacbb3b 100644 (file)
@@ -1,91 +1,16 @@
 ACLOCAL_AMFLAGS=-I m4
 
-AM_CPPFLAGS = -I$(top_builddir)/urcu
+SUBDIRS = include src doc tests
 
-#Add the -version-info directly here since we are only building
-# library that use the version-info
-AM_LDFLAGS=-version-info $(URCU_LIBRARY_VERSION)
-if USE_CYGWIN
-AM_LDFLAGS+=-no-undefined
-endif
-AM_CFLAGS=-Wall
-
-SUBDIRS = . doc tests
-
-include_HEADERS = urcu.h urcu-bp.h urcu-call-rcu.h urcu-defer.h \
-               urcu-pointer.h urcu-qsbr.h urcu-flavor.h
-nobase_dist_include_HEADERS = urcu/compiler.h urcu/hlist.h urcu/list.h \
-               urcu/rculist.h urcu/rcuhlist.h urcu/system.h urcu/futex.h \
-               urcu/uatomic/generic.h urcu/arch/generic.h urcu/wfstack.h \
-               urcu/wfqueue.h urcu/rculfstack.h urcu/rculfqueue.h \
-               urcu/ref.h urcu/cds.h urcu/urcu_ref.h urcu/urcu-futex.h \
-               urcu/uatomic_arch.h urcu/rculfhash.h urcu/wfcqueue.h \
-               urcu/lfstack.h urcu/syscall-compat.h \
-               $(top_srcdir)/urcu/map/*.h \
-               $(top_srcdir)/urcu/static/*.h \
-               urcu/rand-compat.h \
-               urcu/tls-compat.h urcu/debug.h
-nobase_nodist_include_HEADERS = urcu/arch.h urcu/uatomic.h urcu/config.h
-
-dist_noinst_HEADERS = urcu-die.h urcu-wait.h compat-getcpu.h
-
-EXTRA_DIST = $(top_srcdir)/urcu/arch/*.h $(top_srcdir)/urcu/uatomic/*.h \
-               gpl-2.0.txt lgpl-2.1.txt lgpl-relicensing.txt \
-               LICENSE compat_arch_x86.c \
-               urcu-call-rcu-impl.h urcu-defer-impl.h \
-               rculfhash-internal.h
-
-if COMPAT_ARCH
-COMPAT=compat_arch_@ARCHTYPE@.c
-else
-COMPAT=
-endif
-
-COMPAT+=compat_futex.c
-
-RCULFHASH = rculfhash.c rculfhash-mm-order.c rculfhash-mm-chunk.c \
-               rculfhash-mm-mmap.c
-
-lib_LTLIBRARIES = liburcu-common.la \
-               liburcu.la liburcu-qsbr.la \
-               liburcu-mb.la liburcu-signal.la liburcu-bp.la \
-               liburcu-cds.la
-
-#
-# liburcu-common contains wait-free queues (needed by call_rcu) as well
-# as futex fallbacks.
-#
-liburcu_common_la_SOURCES = wfqueue.c wfcqueue.c wfstack.c $(COMPAT)
-
-liburcu_la_SOURCES = urcu.c urcu-pointer.c $(COMPAT)
-liburcu_la_LIBADD = liburcu-common.la
-
-liburcu_qsbr_la_SOURCES = urcu-qsbr.c urcu-pointer.c $(COMPAT)
-liburcu_qsbr_la_LIBADD = liburcu-common.la
-
-liburcu_mb_la_SOURCES = urcu.c urcu-pointer.c $(COMPAT)
-liburcu_mb_la_CFLAGS = -DRCU_MB
-liburcu_mb_la_LIBADD = liburcu-common.la
-
-liburcu_signal_la_SOURCES = urcu.c urcu-pointer.c $(COMPAT)
-liburcu_signal_la_CFLAGS = -DRCU_SIGNAL
-liburcu_signal_la_LIBADD = liburcu-common.la
-
-liburcu_bp_la_SOURCES = urcu-bp.c urcu-pointer.c $(COMPAT)
-liburcu_bp_la_LIBADD = liburcu-common.la
-
-liburcu_cds_la_SOURCES = rculfqueue.c rculfstack.c lfstack.c \
-       $(RCULFHASH) $(COMPAT)
-liburcu_cds_la_LIBADD = liburcu-common.la
-
-pkgconfigdir = $(libdir)/pkgconfig
-pkgconfig_DATA = liburcu-cds.pc liburcu.pc liburcu-bp.pc liburcu-qsbr.pc \
-       liburcu-signal.pc liburcu-mb.pc
-
-dist_doc_DATA = README.md ChangeLog
+dist_doc_DATA = LICENSE \
+               README.md
 
 dist_noinst_DATA = CodingStyle
 
+EXTRA_DIST = gpl-2.0.txt \
+       lgpl-2.1.txt \
+       lgpl-relicensing.txt
+
 .PHONY: short_bench long_bench regtest
 short_bench:
        cd tests && $(MAKE) $(AM_MAKEFLAGS) short_bench
diff --git a/compat-getcpu.h b/compat-getcpu.h
deleted file mode 100644 (file)
index 863c80a..0000000
+++ /dev/null
@@ -1,51 +0,0 @@
-#ifndef _COMPAT_GETCPU_H
-#define _COMPAT_GETCPU_H
-
-/*
- * compat-getcpu.h
- *
- * Copyright (c) 2015 Michael Jeanson <mjeanson@efficios.com>
- *
- * This library is free software; you can redistribute it and/or
- * modify it under the terms of the GNU Lesser General Public
- * License as published by the Free Software Foundation; either
- * version 2.1 of the License, or (at your option) any later version.
- *
- * This library is distributed in the hope that it will be useful,
- * but WITHOUT ANY WARRANTY; without even the implied warranty of
- * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
- * Lesser General Public License for more details.
- *
- * You should have received a copy of the GNU Lesser General Public
- * License along with this library; if not, write to the Free Software
- * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
- */
-
-#include <config.h>
-
-#if defined(HAVE_SCHED_GETCPU)
-#include <sched.h>
-
-static inline
-int urcu_sched_getcpu(void)
-{
-       return sched_getcpu();
-}
-#elif defined(HAVE_GETCPUID)
-#include <sys/processor.h>
-
-static inline
-int urcu_sched_getcpu(void)
-{
-       return (int) getcpuid();
-}
-#else
-
-static inline
-int urcu_sched_getcpu(void)
-{
-        return -1;
-}
-#endif
-
-#endif /* _COMPAT_GETCPU_H */
diff --git a/compat_arch_x86.c b/compat_arch_x86.c
deleted file mode 100644 (file)
index 3e73f9c..0000000
+++ /dev/null
@@ -1,303 +0,0 @@
-/*
- * compat_arch_x86.c
- *
- * Userspace RCU library - x86 compatibility checks
- *
- * Copyright (c) 2009 Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
- *
- * This library is free software; you can redistribute it and/or
- * modify it under the terms of the GNU Lesser General Public
- * License as published by the Free Software Foundation; either
- * version 2.1 of the License, or (at your option) any later version.
- *
- * This library is distributed in the hope that it will be useful,
- * but WITHOUT ANY WARRANTY; without even the implied warranty of
- * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
- * Lesser General Public License for more details.
- *
- * You should have received a copy of the GNU Lesser General Public
- * License along with this library; if not, write to the Free Software
- * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
- */
-
-#include <stdio.h>
-#include <pthread.h>
-#include <signal.h>
-#include <assert.h>
-#include <urcu/uatomic.h>
-
-/*
- * Using attribute "weak" for __rcu_cas_avail and
- * __urcu_x86_compat_mutex. Those are globally visible by the entire
- * program, even though many shared objects may have their own version.
- * The first version that gets loaded will be used by the entire
- * program (executable and all shared objects).
- */
-
-/*
- * It does not really matter if the constructor is called before using
- * the library, as long as the caller checks if __rcu_cas_avail < 0 and calls
- * compat_arch_init() explicitely if needed.
- */
-int __attribute__((constructor)) __rcu_cas_init(void);
-
-/*
- * -1: unknown
- *  1: available
- *  0: unavailable
- */
-__attribute__((weak))
-int __rcu_cas_avail = -1;
-
-__attribute__((weak))
-pthread_mutex_t __urcu_x86_compat_mutex = PTHREAD_MUTEX_INITIALIZER;
-
-/*
- * get_eflags/set_eflags/compare_and_swap_is_available imported from glibc
- * 2.3.5. linuxthreads/sysdeps/i386/pt-machine.h.
- */
-
-static int get_eflags (void)
-{
-       int res;
-       __asm__ __volatile__ ("pushfl; popl %0" : "=r" (res) : );
-       return res;
-}
-
-static void set_eflags (int newflags)
-{
-       __asm__ __volatile__ ("pushl %0; popfl" : : "r" (newflags) : "cc");
-}
-
-static int compare_and_swap_is_available (void)
-{
-       int oldflags = get_eflags ();
-       int changed;
-       /* Flip AC bit in EFLAGS.  */
-       set_eflags (oldflags ^ 0x40000);
-       /* See if bit changed.  */
-       changed = (get_eflags () ^ oldflags) & 0x40000;
-       /* Restore EFLAGS.  */
-       set_eflags (oldflags);
-       /* If the AC flag did not change, it's a 386 and it lacks cmpxchg.
-       Otherwise, it's a 486 or above and it has cmpxchg.  */
-       return changed != 0;
-}
-
-static void mutex_lock_signal_save(pthread_mutex_t *mutex, sigset_t *oldmask)
-{
-       sigset_t newmask;
-       int ret;
-
-       /* Disable signals */
-       ret = sigfillset(&newmask);
-       assert(!ret);
-       ret = pthread_sigmask(SIG_BLOCK, &newmask, oldmask);
-       assert(!ret);
-       ret = pthread_mutex_lock(&__urcu_x86_compat_mutex);
-       assert(!ret);
-}
-
-static void mutex_lock_signal_restore(pthread_mutex_t *mutex, sigset_t *oldmask)
-{
-       int ret;
-
-       ret = pthread_mutex_unlock(&__urcu_x86_compat_mutex);
-       assert(!ret);
-       ret = pthread_sigmask(SIG_SETMASK, oldmask, NULL);
-       assert(!ret);
-}
-
-unsigned long _compat_uatomic_set(void *addr, unsigned long _new, int len)
-{
-       sigset_t mask;
-       unsigned long result;
-
-       mutex_lock_signal_save(&__urcu_x86_compat_mutex, &mask);
-       switch (len) {
-       case 1:
-               *(unsigned char *)addr = (unsigned char)_new;
-               result = *(unsigned char *)addr;
-               break;
-       case 2:
-               *(unsigned short *)addr = (unsigned short)_new;
-               result = *(unsigned short *)addr;
-               break;
-       case 4:
-               *(unsigned int *)addr = (unsigned int)_new;
-               result = *(unsigned int *)addr;
-               break;
-       default:
-               /*
-                * generate an illegal instruction. Cannot catch this with
-                * linker tricks when optimizations are disabled.
-                */
-               result = 0;
-               __asm__ __volatile__("ud2");
-       }
-       mutex_lock_signal_restore(&__urcu_x86_compat_mutex, &mask);
-       return result;
-}
-
-unsigned long _compat_uatomic_xchg(void *addr, unsigned long _new, int len)
-{
-       sigset_t mask;
-       unsigned long retval;
-
-       mutex_lock_signal_save(&__urcu_x86_compat_mutex, &mask);
-       switch (len) {
-       case 1:
-               retval = *(unsigned char *)addr;
-               *(unsigned char *)addr = (unsigned char)_new;
-               break;
-       case 2:
-               retval = *(unsigned short *)addr;
-               *(unsigned short *)addr = (unsigned short)_new;
-               break;
-       case 4:
-               retval = *(unsigned int *)addr;
-               *(unsigned int *)addr = (unsigned int)_new;
-               break;
-       default:
-               /*
-                * generate an illegal instruction. Cannot catch this with
-                * linker tricks when optimizations are disabled.
-                */
-               retval = 0;     /* silence gcc warnings */
-               __asm__ __volatile__("ud2");
-       }
-       mutex_lock_signal_restore(&__urcu_x86_compat_mutex, &mask);
-       return retval;
-}
-
-unsigned long _compat_uatomic_cmpxchg(void *addr, unsigned long old,
-                                     unsigned long _new, int len)
-{
-       unsigned long retval;
-       sigset_t mask;
-
-       mutex_lock_signal_save(&__urcu_x86_compat_mutex, &mask);
-       switch (len) {
-       case 1:
-       {
-               unsigned char result = *(unsigned char *)addr;
-               if (result == (unsigned char)old)
-                       *(unsigned char *)addr = (unsigned char)_new;
-               retval = result;
-               break;
-       }
-       case 2:
-       {
-               unsigned short result = *(unsigned short *)addr;
-               if (result == (unsigned short)old)
-                       *(unsigned short *)addr = (unsigned short)_new;
-               retval = result;
-               break;
-       }
-       case 4:
-       {
-               unsigned int result = *(unsigned int *)addr;
-               if (result == (unsigned int)old)
-                       *(unsigned int *)addr = (unsigned int)_new;
-               retval = result;
-               break;
-       }
-       default:
-               /*
-                * generate an illegal instruction. Cannot catch this with
-                * linker tricks when optimizations are disabled.
-                */
-               retval = 0;     /* silence gcc warnings */
-               __asm__ __volatile__("ud2");
-       }
-       mutex_lock_signal_restore(&__urcu_x86_compat_mutex, &mask);
-       return retval;
-}
-
-void _compat_uatomic_or(void *addr, unsigned long v, int len)
-{
-       sigset_t mask;
-
-       mutex_lock_signal_save(&__urcu_x86_compat_mutex, &mask);
-       switch (len) {
-       case 1:
-               *(unsigned char *)addr |= (unsigned char)v;
-               break;
-       case 2:
-               *(unsigned short *)addr |= (unsigned short)v;
-               break;
-       case 4:
-               *(unsigned int *)addr |= (unsigned int)v;
-               break;
-       default:
-               /*
-                * generate an illegal instruction. Cannot catch this with
-                * linker tricks when optimizations are disabled.
-                */
-               __asm__ __volatile__("ud2");
-       }
-       mutex_lock_signal_restore(&__urcu_x86_compat_mutex, &mask);
-}
-
-void _compat_uatomic_and(void *addr, unsigned long v, int len)
-{
-       sigset_t mask;
-
-       mutex_lock_signal_save(&__urcu_x86_compat_mutex, &mask);
-       switch (len) {
-       case 1:
-               *(unsigned char *)addr &= (unsigned char)v;
-               break;
-       case 2:
-               *(unsigned short *)addr &= (unsigned short)v;
-               break;
-       case 4:
-               *(unsigned int *)addr &= (unsigned int)v;
-               break;
-       default:
-               /*
-                * generate an illegal instruction. Cannot catch this with
-                * linker tricks when optimizations are disabled.
-                */
-               __asm__ __volatile__("ud2");
-       }
-       mutex_lock_signal_restore(&__urcu_x86_compat_mutex, &mask);
-}
-
-unsigned long _compat_uatomic_add_return(void *addr, unsigned long v, int len)
-{
-       sigset_t mask;
-       unsigned long result;
-
-       mutex_lock_signal_save(&__urcu_x86_compat_mutex, &mask);
-       switch (len) {
-       case 1:
-               *(unsigned char *)addr += (unsigned char)v;
-               result = *(unsigned char *)addr;
-               break;
-       case 2:
-               *(unsigned short *)addr += (unsigned short)v;
-               result = *(unsigned short *)addr;
-               break;
-       case 4:
-               *(unsigned int *)addr += (unsigned int)v;
-               result = *(unsigned int *)addr;
-               break;
-       default:
-               /*
-                * generate an illegal instruction. Cannot catch this with
-                * linker tricks when optimizations are disabled.
-                */
-               result = 0;     /* silence gcc warnings */
-               __asm__ __volatile__("ud2");
-       }
-       mutex_lock_signal_restore(&__urcu_x86_compat_mutex, &mask);
-       return result;
-}
-
-int __rcu_cas_init(void)
-{
-       if (__rcu_cas_avail < 0)
-               __rcu_cas_avail = compare_and_swap_is_available();
-       return __rcu_cas_avail;
-}
diff --git a/compat_futex.c b/compat_futex.c
deleted file mode 100644 (file)
index 9e918fe..0000000
+++ /dev/null
@@ -1,154 +0,0 @@
-/*
- * compat_futex.c
- *
- * Userspace RCU library - sys_futex compatibility code
- *
- * Copyright (c) 2009 Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
- *
- * This library is free software; you can redistribute it and/or
- * modify it under the terms of the GNU Lesser General Public
- * License as published by the Free Software Foundation; either
- * version 2.1 of the License, or (at your option) any later version.
- *
- * This library is distributed in the hope that it will be useful,
- * but WITHOUT ANY WARRANTY; without even the implied warranty of
- * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
- * Lesser General Public License for more details.
- *
- * You should have received a copy of the GNU Lesser General Public
- * License along with this library; if not, write to the Free Software
- * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
- */
-
-#include <stdio.h>
-#include <pthread.h>
-#include <signal.h>
-#include <assert.h>
-#include <errno.h>
-#include <poll.h>
-#include <stdint.h>
-
-#include <urcu/arch.h>
-#include <urcu/futex.h>
-#include <urcu/system.h>
-
-/*
- * Using attribute "weak" for __urcu_compat_futex_lock and
- * __urcu_compat_futex_cond. Those are globally visible by the entire
- * program, even though many shared objects may have their own version.
- * The first version that gets loaded will be used by the entire program
- * (executable and all shared objects).
- */
-
-__attribute__((weak))
-pthread_mutex_t __urcu_compat_futex_lock = PTHREAD_MUTEX_INITIALIZER;
-__attribute__((weak))
-pthread_cond_t __urcu_compat_futex_cond = PTHREAD_COND_INITIALIZER;
-
-/*
- * _NOT SIGNAL-SAFE_. pthread_cond is not signal-safe anyway. Though.
- * For now, timeout, uaddr2 and val3 are unused.
- * Waiter will relinquish the CPU until woken up.
- */
-
-int compat_futex_noasync(int32_t *uaddr, int op, int32_t val,
-       const struct timespec *timeout, int32_t *uaddr2, int32_t val3)
-{
-       int ret = 0, lockret;
-
-       /*
-        * Check if NULL. Don't let users expect that they are taken into
-        * account.
-        */
-       assert(!timeout);
-       assert(!uaddr2);
-       assert(!val3);
-
-       /*
-        * memory barriers to serialize with the previous uaddr modification.
-        */
-       cmm_smp_mb();
-
-       lockret = pthread_mutex_lock(&__urcu_compat_futex_lock);
-       if (lockret) {
-               errno = lockret;
-               ret = -1;
-               goto end;
-       }
-       switch (op) {
-       case FUTEX_WAIT:
-               /*
-                * Wait until *uaddr is changed to something else than "val".
-                * Comparing *uaddr content against val figures out which
-                * thread has been awakened.
-                */
-               while (CMM_LOAD_SHARED(*uaddr) == val)
-                       pthread_cond_wait(&__urcu_compat_futex_cond,
-                               &__urcu_compat_futex_lock);
-               break;
-       case FUTEX_WAKE:
-               /*
-                * Each wake is sending a broadcast, thus attempting wakeup of
-                * all awaiting threads, independently of their respective
-                * uaddr.
-                */
-               pthread_cond_broadcast(&__urcu_compat_futex_cond);
-               break;
-       default:
-               errno = EINVAL;
-               ret = -1;
-       }
-       lockret = pthread_mutex_unlock(&__urcu_compat_futex_lock);
-       if (lockret) {
-               errno = lockret;
-               ret = -1;
-       }
-end:
-       return ret;
-}
-
-/*
- * _ASYNC SIGNAL-SAFE_.
- * For now, timeout, uaddr2 and val3 are unused.
- * Waiter will busy-loop trying to read the condition.
- * It is OK to use compat_futex_async() on a futex address on which
- * futex() WAKE operations are also performed.
- */
-
-int compat_futex_async(int32_t *uaddr, int op, int32_t val,
-       const struct timespec *timeout, int32_t *uaddr2, int32_t val3)
-{
-       int ret = 0;
-
-       /*
-        * Check if NULL. Don't let users expect that they are taken into
-        * account.
-        */
-       assert(!timeout);
-       assert(!uaddr2);
-       assert(!val3);
-
-       /*
-        * Ensure previous memory operations on uaddr have completed.
-        */
-       cmm_smp_mb();
-
-       switch (op) {
-       case FUTEX_WAIT:
-               while (CMM_LOAD_SHARED(*uaddr) == val) {
-                       if (poll(NULL, 0, 10) < 0) {
-                               ret = -1;
-                               /* Keep poll errno. Caller handles EINTR. */
-                               goto end;
-                       }
-               }
-               break;
-       case FUTEX_WAKE:
-               break;
-       default:
-               errno = EINVAL;
-               ret = -1;
-       }
-end:
-       return ret;
-}
index ea57e7e..eb54f4e 100644 (file)
@@ -5,15 +5,14 @@ AC_INIT([userspace-rcu],[0.9.0],[mathieu dot desnoyers at efficios dot com], [],
 # http://www.gnu.org/software/libtool/manual/html_node/Updating-version-info.html
 AC_SUBST([URCU_LIBRARY_VERSION], [5:0:1])
 
-AC_CONFIG_SRCDIR([urcu.h])
-AC_CONFIG_HEADERS([config.h urcu/config.h])
+AC_CONFIG_HEADERS([include/config.h include/urcu/config.h])
 AC_CONFIG_AUX_DIR([config])
 AC_CONFIG_MACRO_DIR([m4])
 
 AC_CANONICAL_TARGET
 AC_CANONICAL_HOST
 
-AM_INIT_AUTOMAKE([foreign dist-bzip2 no-dist-gzip])
+AM_INIT_AUTOMAKE([foreign dist-bzip2 no-dist-gzip nostdinc])
 AM_MAINTAINER_MODE([enable])
 
 # Enable silent rules if available (Introduced in AM 1.11)
@@ -148,8 +147,8 @@ AS_CASE([$host],[*-cygwin*],
 AC_SUBST(ARCHTYPE)
 AC_SUBST(SUBARCHTYPE)
 
-UATOMICSRC=urcu/uatomic/$ARCHTYPE.h
-ARCHSRC=urcu/arch/$ARCHTYPE.h
+UATOMICSRC=include/urcu/uatomic/$ARCHTYPE.h
+ARCHSRC=include/urcu/arch/$ARCHTYPE.h
 
 AS_IF([test "x$SUBARCHTYPE" = xx86compat],[
        AC_DEFINE([CONFIG_RCU_COMPAT_ARCH], [1])
@@ -269,12 +268,6 @@ AS_IF([test "x$def_smp_support" = "xyes"], [AC_DEFINE([CONFIG_RCU_SMP], [1])])
 #  int sched_setaffinity (pid_t __pid, const cpu_set_t *__mask);
 # ~~~~
 
-# Since we define _GNU_SOURCE in the sources, must do so too in the
-# autoconf tests, as defining _GNU_SOURCE or not exposes
-# sched_setaffinity bits differently.
-saved_CFLAGS=$CFLAGS
-CFLAGS="$CFLAGS -D_GNU_SOURCE"
-
 AC_CHECK_TYPES([cpu_set_t],
        [have_cpu_set_t="yes"],
        [have_cpu_set_t="no"],
@@ -284,7 +277,6 @@ AC_CHECK_TYPES([cpu_set_t],
 AC_MSG_CHECKING([whether CPU_ZERO works])
 AH_TEMPLATE([HAVE_CPU_ZERO], [Defined to 1 if we have CPU_ZERO and it works])
 AC_COMPILE_IFELSE([AC_LANG_SOURCE([[
-               #define _GNU_SOURCE
                #include <sched.h>
                int main()
                {
@@ -303,7 +295,6 @@ AC_COMPILE_IFELSE([AC_LANG_SOURCE([[
 AC_MSG_CHECKING([whether CPU_SET works])
 AH_TEMPLATE([HAVE_CPU_SET], [Defined to 1 if we have CPU_SET and it works])
 AC_COMPILE_IFELSE([AC_LANG_SOURCE([[
-               #define _GNU_SOURCE
                #include <sched.h>
                int main()
                {
@@ -353,16 +344,19 @@ AC_CHECK_FUNCS([sched_setaffinity],[
        ])
 ])
 
-CFLAGS=$saved_CFLAGS
+DEFAULT_INCLUDES="-include config.h"
+AC_SUBST(DEFAULT_INCLUDES)
 
 AC_CONFIG_LINKS([
-       urcu/arch.h:$ARCHSRC
-       urcu/uatomic.h:$UATOMICSRC
+       include/urcu/arch.h:$ARCHSRC
+       include/urcu/uatomic.h:$UATOMICSRC
 ])
 AC_CONFIG_FILES([
        Makefile
        doc/Makefile
        doc/examples/Makefile
+       include/Makefile
+       src/Makefile
        tests/Makefile
        tests/common/Makefile
        tests/unit/Makefile
@@ -370,12 +364,12 @@ AC_CONFIG_FILES([
        tests/regression/Makefile
        tests/regression/regression_tests
        tests/utils/Makefile
-       liburcu.pc
-       liburcu-bp.pc
-       liburcu-cds.pc
-       liburcu-qsbr.pc
-       liburcu-mb.pc
-       liburcu-signal.pc
+       src/liburcu.pc
+       src/liburcu-bp.pc
+       src/liburcu-cds.pc
+       src/liburcu-qsbr.pc
+       src/liburcu-mb.pc
+       src/liburcu-signal.pc
 ])
 AC_OUTPUT
 
index 6828eee..88f8968 100644 (file)
@@ -145,7 +145,7 @@ all-local:
                echo "Examples: relative top_builddir path $(top_builddir)"; \
                rel_build_subdir="../"; \
        fi; \
-       $(MAKE) -f dist-files/Makefile AM_CC="$(CC)" AM_CPPFLAGS="$(CPPFLAGS) -I$$rel_src_subdir/$(top_srcdir)/ -I$$rel_build_subdir$(top_builddir)/" AM_CFLAGS='$(CFLAGS)' AM_LDFLAGS='$(LDFLAGS) -L../../../.libs/ -Wl,-rpath "$(PWD)/../../.libs/"' $(AM_MAKEFLAGS) all;
+       $(MAKE) -f dist-files/Makefile AM_CC="$(CC)" AM_CPPFLAGS="$(CPPFLAGS) -I$$rel_src_subdir/$(top_srcdir)/include/ -I$$rel_src_subdir/$(top_srcdir)/src/ -I$$rel_build_subdir$(top_builddir)/include/ -I$$rel_build_subdir$(top_builddir)/include/src/" AM_CFLAGS='$(CFLAGS)' AM_LDFLAGS='$(LDFLAGS) -L../../../src/.libs/ -Wl,-rpath "$(PWD)/../../src/.libs/"' $(AM_MAKEFLAGS) all;
 
 clean-local:
        @$(MAKE) -f dist-files/Makefile $(AM_MAKEFLAGS) clean; \
diff --git a/include/Makefile.am b/include/Makefile.am
new file mode 100644 (file)
index 0000000..61301c2
--- /dev/null
@@ -0,0 +1,17 @@
+nobase_dist_include_HEADERS = urcu/compiler.h urcu/hlist.h urcu/list.h \
+               urcu/rculist.h urcu/rcuhlist.h urcu/system.h urcu/futex.h \
+               urcu/uatomic/generic.h urcu/arch/generic.h urcu/wfstack.h \
+               urcu/wfqueue.h urcu/rculfstack.h urcu/rculfqueue.h \
+               urcu/ref.h urcu/cds.h urcu/urcu_ref.h urcu/urcu-futex.h \
+               urcu/uatomic_arch.h urcu/rculfhash.h urcu/wfcqueue.h \
+               urcu/lfstack.h urcu/syscall-compat.h \
+               $(top_srcdir)/include/urcu/map/*.h \
+               $(top_srcdir)/include/urcu/static/*.h \
+               urcu/rand-compat.h \
+               urcu/tls-compat.h urcu/debug.h
+
+# Don't distribute generated headers
+nobase_nodist_include_HEADERS = urcu/arch.h urcu/uatomic.h urcu/config.h
+
+EXTRA_DIST = $(top_srcdir)/include/urcu/arch/*.h \
+       $(top_srcdir)/include/urcu/uatomic/*.h
diff --git a/include/urcu/arch/aarch64.h b/include/urcu/arch/aarch64.h
new file mode 100644 (file)
index 0000000..d6a1337
--- /dev/null
@@ -0,0 +1,51 @@
+#ifndef _URCU_ARCH_AARCH64_H
+#define _URCU_ARCH_AARCH64_H
+
+/*
+ * arch/aarch64.h: definitions for aarch64 architecture
+ *
+ * Copyright (c) 2010 Paul E. McKenney, IBM Corporation.
+ * Copyright (c) 2009-2015 Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ */
+
+#include <urcu/compiler.h>
+#include <urcu/config.h>
+#include <urcu/syscall-compat.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+#include <stdlib.h>
+#include <sys/time.h>
+
+/*
+ * On Linux, define the membarrier system call number if not yet available in
+ * the system headers. aarch64 implements asm-generic/unistd.h system call
+ * numbers.
+ */
+#if (defined(__linux__) && !defined(__NR_membarrier))
+#define __NR_membarrier                283
+#endif
+
+#ifdef __cplusplus
+}
+#endif
+
+#include <urcu/arch/generic.h>
+
+#endif /* _URCU_ARCH_AARCH64_H */
diff --git a/include/urcu/arch/alpha.h b/include/urcu/arch/alpha.h
new file mode 100644 (file)
index 0000000..e61f82c
--- /dev/null
@@ -0,0 +1,42 @@
+#ifndef _URCU_ARCH_ALPHA_H
+#define _URCU_ARCH_ALPHA_H
+
+/*
+ * arch_alpha.h: trivial definitions for the Alpha architecture.
+ *
+ * Copyright (c) 2010 Paolo Bonzini <pbonzini@redhat.com>
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ */
+
+#include <urcu/compiler.h>
+#include <urcu/config.h>
+#include <urcu/syscall-compat.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+#define cmm_mb()                       __asm__ __volatile__ ("mb":::"memory")
+#define cmm_wmb()                      __asm__ __volatile__ ("wmb":::"memory")
+#define cmm_read_barrier_depends()     __asm__ __volatile__ ("mb":::"memory")
+
+#ifdef __cplusplus
+}
+#endif
+
+#include <urcu/arch/generic.h>
+
+#endif /* _URCU_ARCH_ALPHA_H */
diff --git a/include/urcu/arch/arm.h b/include/urcu/arch/arm.h
new file mode 100644 (file)
index 0000000..5cbca7d
--- /dev/null
@@ -0,0 +1,56 @@
+#ifndef _URCU_ARCH_ARM_H
+#define _URCU_ARCH_ARM_H
+
+/*
+ * arch_arm.h: trivial definitions for the ARM architecture.
+ *
+ * Copyright (c) 2010 Paul E. McKenney, IBM Corporation.
+ * Copyright (c) 2009 Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ */
+
+#include <urcu/compiler.h>
+#include <urcu/config.h>
+#include <urcu/syscall-compat.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+#ifdef CONFIG_RCU_ARM_HAVE_DMB
+#define cmm_mb()       __asm__ __volatile__ ("dmb":::"memory")
+#define cmm_rmb()      __asm__ __volatile__ ("dmb":::"memory")
+#define cmm_wmb()      __asm__ __volatile__ ("dmb":::"memory")
+#endif /* CONFIG_RCU_ARM_HAVE_DMB */
+
+#include <stdlib.h>
+#include <sys/time.h>
+
+/*
+ * On Linux, define the membarrier system call number if not yet available in
+ * the system headers.
+ */
+#if (defined(__linux__) && !defined(__NR_membarrier))
+#define __NR_membarrier                389
+#endif
+
+#ifdef __cplusplus
+}
+#endif
+
+#include <urcu/arch/generic.h>
+
+#endif /* _URCU_ARCH_ARM_H */
diff --git a/include/urcu/arch/gcc.h b/include/urcu/arch/gcc.h
new file mode 100644 (file)
index 0000000..e5700e4
--- /dev/null
@@ -0,0 +1,42 @@
+#ifndef _URCU_ARCH_GCC_H
+#define _URCU_ARCH_GCC_H
+
+/*
+ * arch_gcc.h: trivial definitions for architectures using gcc __sync_
+ *
+ * Copyright (c) 2010 Paul E. McKenney, IBM Corporation.
+ * Copyright (c) 2009 Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ */
+
+#include <urcu/compiler.h>
+#include <urcu/config.h>
+#include <urcu/syscall-compat.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+#include <stdlib.h>
+#include <sys/time.h>
+
+#ifdef __cplusplus
+}
+#endif
+
+#include <urcu/arch/generic.h>
+
+#endif /* _URCU_ARCH_GCC_H */
diff --git a/include/urcu/arch/generic.h b/include/urcu/arch/generic.h
new file mode 100644 (file)
index 0000000..4b56ed7
--- /dev/null
@@ -0,0 +1,209 @@
+#ifndef _URCU_ARCH_GENERIC_H
+#define _URCU_ARCH_GENERIC_H
+
+/*
+ * arch_generic.h: common definitions for multiple architectures.
+ *
+ * Copyright (c) 2010 Paolo Bonzini <pbonzini@redhat.com>
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ */
+
+#include <urcu/compiler.h>
+#include <urcu/config.h>
+#include <urcu/syscall-compat.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+#ifndef CAA_CACHE_LINE_SIZE
+#define CAA_CACHE_LINE_SIZE    64
+#endif
+
+#if !defined(cmm_mc) && !defined(cmm_rmc) && !defined(cmm_wmc)
+#define CONFIG_HAVE_MEM_COHERENCY
+/*
+ * Architectures with cache coherency must _not_ define cmm_mc/cmm_rmc/cmm_wmc.
+ *
+ * For them, cmm_mc/cmm_rmc/cmm_wmc are implemented with a simple
+ * compiler barrier; in addition, we provide defaults for cmm_mb (using
+ * GCC builtins) as well as cmm_rmb and cmm_wmb (defaulting to cmm_mb).
+ */
+
+#ifndef cmm_mb
+#define cmm_mb()    __sync_synchronize()
+#endif
+
+#ifndef cmm_rmb
+#define cmm_rmb()      cmm_mb()
+#endif
+
+#ifndef cmm_wmb
+#define cmm_wmb()      cmm_mb()
+#endif
+
+#define cmm_mc()       cmm_barrier()
+#define cmm_rmc()      cmm_barrier()
+#define cmm_wmc()      cmm_barrier()
+#else
+/*
+ * Architectures without cache coherency need something like the following:
+ *
+ * #define cmm_mc()    arch_cache_flush()
+ * #define cmm_rmc()   arch_cache_flush_read()
+ * #define cmm_wmc()   arch_cache_flush_write()
+ *
+ * Of these, only cmm_mc is mandatory. cmm_rmc and cmm_wmc default to
+ * cmm_mc. cmm_mb/cmm_rmb/cmm_wmb use these definitions by default:
+ *
+ * #define cmm_mb()    cmm_mc()
+ * #define cmm_rmb()   cmm_rmc()
+ * #define cmm_wmb()   cmm_wmc()
+ */
+
+#ifndef cmm_mb
+#define cmm_mb()       cmm_mc()
+#endif
+
+#ifndef cmm_rmb
+#define cmm_rmb()      cmm_rmc()
+#endif
+
+#ifndef cmm_wmb
+#define cmm_wmb()      cmm_wmc()
+#endif
+
+#ifndef cmm_rmc
+#define cmm_rmc()      cmm_mc()
+#endif
+
+#ifndef cmm_wmc
+#define cmm_wmc()      cmm_mc()
+#endif
+#endif
+
+/* Nop everywhere except on alpha. */
+#ifndef cmm_read_barrier_depends
+#define cmm_read_barrier_depends()
+#endif
+
+#ifdef CONFIG_RCU_SMP
+#ifndef cmm_smp_mb
+#define cmm_smp_mb()   cmm_mb()
+#endif
+#ifndef cmm_smp_rmb
+#define cmm_smp_rmb()  cmm_rmb()
+#endif
+#ifndef cmm_smp_wmb
+#define cmm_smp_wmb()  cmm_wmb()
+#endif
+#ifndef cmm_smp_mc
+#define cmm_smp_mc()   cmm_mc()
+#endif
+#ifndef cmm_smp_rmc
+#define cmm_smp_rmc()  cmm_rmc()
+#endif
+#ifndef cmm_smp_wmc
+#define cmm_smp_wmc()  cmm_wmc()
+#endif
+#ifndef cmm_smp_read_barrier_depends
+#define cmm_smp_read_barrier_depends() cmm_read_barrier_depends()
+#endif
+#else
+#ifndef cmm_smp_mb
+#define cmm_smp_mb()   cmm_barrier()
+#endif
+#ifndef cmm_smp_rmb
+#define cmm_smp_rmb()  cmm_barrier()
+#endif
+#ifndef cmm_smp_wmb
+#define cmm_smp_wmb()  cmm_barrier()
+#endif
+#ifndef cmm_smp_mc
+#define cmm_smp_mc()   cmm_barrier()
+#endif
+#ifndef cmm_smp_rmc
+#define cmm_smp_rmc()  cmm_barrier()
+#endif
+#ifndef cmm_smp_wmc
+#define cmm_smp_wmc()  cmm_barrier()
+#endif
+#ifndef cmm_smp_read_barrier_depends
+#define cmm_smp_read_barrier_depends()
+#endif
+#endif
+
+#ifndef caa_cpu_relax
+#define caa_cpu_relax()                cmm_barrier()
+#endif
+
+#ifndef HAS_CAA_GET_CYCLES
+#define HAS_CAA_GET_CYCLES
+
+#ifdef CONFIG_RCU_HAVE_CLOCK_GETTIME
+
+#include <time.h>
+#include <stdint.h>
+
+typedef uint64_t caa_cycles_t;
+
+static inline caa_cycles_t caa_get_cycles (void)
+{
+       struct timespec ts;
+
+       if (caa_unlikely(clock_gettime(CLOCK_MONOTONIC, &ts)))
+               return -1ULL;
+       return ((uint64_t) ts.tv_sec * 1000000000ULL) + ts.tv_nsec;
+}
+
+#elif defined(__APPLE__)
+
+#include <mach/mach.h>
+#include <mach/clock.h>
+#include <mach/mach_time.h>
+#include <time.h>
+#include <stdint.h>
+
+typedef uint64_t caa_cycles_t;
+
+static inline caa_cycles_t caa_get_cycles (void)
+{
+       mach_timespec_t ts = { 0, 0 };
+       static clock_serv_t clock_service;
+
+       if (caa_unlikely(!clock_service)) {
+               if (host_get_clock_service(mach_host_self(),
+                               SYSTEM_CLOCK, &clock_service))
+                       return -1ULL;
+       }
+       if (caa_unlikely(clock_get_time(clock_service, &ts)))
+               return -1ULL;
+       return ((uint64_t) ts.tv_sec * 1000000000ULL) + ts.tv_nsec;
+}
+
+#else
+
+#error caa_get_cycles() not implemented for this platform.
+
+#endif
+
+#endif /* HAS_CAA_GET_CYCLES */
+
+#ifdef __cplusplus
+}
+#endif
+
+#endif /* _URCU_ARCH_GENERIC_H */
diff --git a/include/urcu/arch/hppa.h b/include/urcu/arch/hppa.h
new file mode 100644 (file)
index 0000000..c8d4d05
--- /dev/null
@@ -0,0 +1,60 @@
+#ifndef _URCU_ARCH_HPPA_H
+#define _URCU_ARCH_HPPA_H
+
+/*
+ * arch/hppa.h: definitions for hppa architecture
+ *
+ * Copyright (c) 2014 Helge Deller <deller@gmx.de>
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ */
+
+#include <urcu/compiler.h>
+#include <urcu/config.h>
+#include <urcu/syscall-compat.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+#include <stdlib.h>
+#include <sys/time.h>
+
+/*
+ * On Linux, define the membarrier system call number if not yet available in
+ * the system headers.
+ */
+#if (defined(__linux__) && !defined(__NR_membarrier))
+#define __NR_membarrier                343
+#endif
+
+#define HAS_CAA_GET_CYCLES
+typedef unsigned long caa_cycles_t;
+
+static inline caa_cycles_t caa_get_cycles(void)
+{
+       caa_cycles_t cycles;
+
+       asm volatile("mfctl 16, %0" : "=r" (cycles));
+       return cycles;
+}
+
+#ifdef __cplusplus
+}
+#endif
+
+#include <urcu/arch/generic.h>
+
+#endif /* _URCU_ARCH_HPPA_H */
diff --git a/include/urcu/arch/ia64.h b/include/urcu/arch/ia64.h
new file mode 100644 (file)
index 0000000..bca007c
--- /dev/null
@@ -0,0 +1,50 @@
+#ifndef _URCU_ARCH_IA64_H
+#define _URCU_ARCH_IA64_H
+
+/*
+ * arch/ia64.h: definitions for ia64 architecture
+ *
+ * Copyright (c) 2010 Paul E. McKenney, IBM Corporation.
+ * Copyright (c) 2009-2015 Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ */
+
+#include <urcu/compiler.h>
+#include <urcu/config.h>
+#include <urcu/syscall-compat.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+#include <stdlib.h>
+#include <sys/time.h>
+
+/*
+ * On Linux, define the membarrier system call number if not yet available in
+ * the system headers.
+ */
+#if (defined(__linux__) && !defined(__NR_membarrier))
+#define __NR_membarrier                1344
+#endif
+
+#ifdef __cplusplus
+}
+#endif
+
+#include <urcu/arch/generic.h>
+
+#endif /* _URCU_ARCH_IA64_H */
diff --git a/include/urcu/arch/mips.h b/include/urcu/arch/mips.h
new file mode 100644 (file)
index 0000000..ea5b7e9
--- /dev/null
@@ -0,0 +1,45 @@
+#ifndef _URCU_ARCH_MIPS_H
+#define _URCU_ARCH_MIPS_H
+
+/*
+ * arch_mips.h: trivial definitions for the MIPS architecture.
+ *
+ * Copyright (c) 2010 Paolo Bonzini <pbonzini@redhat.com>
+ * Copyright (c) 2012 Ralf Baechle <ralf@linux-mips.org>
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ */
+
+#include <urcu/compiler.h>
+#include <urcu/config.h>
+#include <urcu/syscall-compat.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+#define cmm_mb()                       __asm__ __volatile__ (              \
+                                       "       .set    mips2           \n" \
+                                       "       sync                    \n" \
+                                       "       .set    mips0           \n" \
+                                       :::"memory")
+
+#ifdef __cplusplus
+}
+#endif
+
+#include <urcu/arch/generic.h>
+
+#endif /* _URCU_ARCH_MIPS_H */
diff --git a/include/urcu/arch/nios2.h b/include/urcu/arch/nios2.h
new file mode 100644 (file)
index 0000000..b4f3e50
--- /dev/null
@@ -0,0 +1,40 @@
+#ifndef _URCU_ARCH_NIOS2_H
+#define _URCU_ARCH_NIOS2_H
+
+/*
+ * arch_nios2.h: trivial definitions for the NIOS2 architecture.
+ *
+ * Copyright (c) 2016 Marek Vasut <marex@denx.de>
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ */
+
+#include <urcu/compiler.h>
+#include <urcu/config.h>
+#include <urcu/syscall-compat.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+#define cmm_mb()       cmm_barrier()
+
+#ifdef __cplusplus
+}
+#endif
+
+#include <urcu/arch/generic.h>
+
+#endif /* _URCU_ARCH_NIOS2_H */
diff --git a/include/urcu/arch/ppc.h b/include/urcu/arch/ppc.h
new file mode 100644 (file)
index 0000000..791529e
--- /dev/null
@@ -0,0 +1,125 @@
+#ifndef _URCU_ARCH_PPC_H
+#define _URCU_ARCH_PPC_H
+
+/*
+ * arch_ppc.h: trivial definitions for the powerpc architecture.
+ *
+ * Copyright (c) 2009 Paul E. McKenney, IBM Corporation.
+ * Copyright (c) 2009 Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ */
+
+#include <urcu/compiler.h>
+#include <urcu/config.h>
+#include <urcu/syscall-compat.h>
+#include <stdint.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+/* Include size of POWER5+ L3 cache lines: 256 bytes */
+#define CAA_CACHE_LINE_SIZE    256
+
+#ifdef __NO_LWSYNC__
+#define LWSYNC_OPCODE  "sync\n"
+#else
+#define LWSYNC_OPCODE  "lwsync\n"
+#endif
+
+/*
+ * Use sync for all cmm_mb/rmb/wmb barriers because lwsync does not
+ * preserve ordering of cacheable vs. non-cacheable accesses, so it
+ * should not be used to order with respect to MMIO operations.  An
+ * eieio+lwsync pair is also not enough for cmm_rmb, because it will
+ * order cacheable and non-cacheable memory operations separately---i.e.
+ * not the latter against the former.
+ */
+#define cmm_mb()         __asm__ __volatile__ ("sync":::"memory")
+
+/*
+ * lwsync orders loads in cacheable memory with respect to other loads,
+ * and stores in cacheable memory with respect to other stores.
+ * Therefore, use it for barriers ordering accesses to cacheable memory
+ * only.
+ */
+#define cmm_smp_rmb()    __asm__ __volatile__ (LWSYNC_OPCODE:::"memory")
+#define cmm_smp_wmb()    __asm__ __volatile__ (LWSYNC_OPCODE:::"memory")
+
+#define mftbl()                                                \
+       __extension__                                   \
+       ({                                              \
+               unsigned long rval;                     \
+               __asm__ __volatile__ ("mftbl %0" : "=r" (rval));        \
+               rval;                                   \
+       })
+
+#define mftbu()                                                \
+       __extension__                                   \
+       ({                                              \
+               unsigned long rval;                     \
+               __asm__ __volatile__ ("mftbu %0" : "=r" (rval));        \
+               rval;                                   \
+       })
+
+#define mftb()                                         \
+       __extension__                                   \
+       ({                                              \
+               unsigned long long rval;                \
+               __asm__ __volatile__ ("mftb %0" : "=r" (rval));         \
+               rval;                                   \
+       })
+
+#define HAS_CAA_GET_CYCLES
+
+typedef uint64_t caa_cycles_t;
+
+#ifdef __powerpc64__
+static inline caa_cycles_t caa_get_cycles(void)
+{
+       return (caa_cycles_t) mftb();
+}
+#else
+static inline caa_cycles_t caa_get_cycles(void)
+{
+       unsigned long h, l;
+
+       for (;;) {
+               h = mftbu();
+               cmm_barrier();
+               l = mftbl();
+               cmm_barrier();
+               if (mftbu() == h)
+                       return (((caa_cycles_t) h) << 32) + l;
+       }
+}
+#endif
+
+/*
+ * On Linux, define the membarrier system call number if not yet available in
+ * the system headers.
+ */
+#if (defined(__linux__) && !defined(__NR_membarrier))
+#define __NR_membarrier                365
+#endif
+
+#ifdef __cplusplus
+}
+#endif
+
+#include <urcu/arch/generic.h>
+
+#endif /* _URCU_ARCH_PPC_H */
diff --git a/include/urcu/arch/s390.h b/include/urcu/arch/s390.h
new file mode 100644 (file)
index 0000000..67461b4
--- /dev/null
@@ -0,0 +1,71 @@
+#ifndef _URCU_ARCH_S390_H
+#define _URCU_ARCH_S390_H
+
+/*
+ * Trivial definitions for the S390 architecture based on information from the
+ * Principles of Operation "CPU Serialization" (5-91), "BRANCH ON CONDITION"
+ * (7-25) and "STORE CLOCK" (7-169).
+ *
+ * Copyright (c) 2009 Novell, Inc.
+ * Author: Jan Blunck <jblunck@suse.de>
+ *
+ * Permission is hereby granted, free of charge, to any person obtaining a copy
+ * of this software and associated documentation files (the "Software"), to
+ * deal in the Software without restriction, including without limitation the
+ * rights to use, copy, modify, merge, publish, distribute, sublicense, and/or
+ * sell copies of the Software, and to permit persons to whom the Software is
+ * furnished to do so, subject to the following conditions:
+ *
+ * The above copyright notice and this permission notice shall be included in
+ * all copies or substantial portions of the Software.
+ *
+ * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+ * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+ * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+ * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+ * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING
+ * FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS
+ * IN THE SOFTWARE.
+ */
+
+#include <urcu/compiler.h>
+#include <urcu/config.h>
+#include <urcu/syscall-compat.h>
+#include <stdint.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+#define CAA_CACHE_LINE_SIZE    128
+
+#define cmm_mb()    __asm__ __volatile__("bcr 15,0" : : : "memory")
+
+#define HAS_CAA_GET_CYCLES
+
+typedef uint64_t caa_cycles_t;
+
+static inline caa_cycles_t caa_get_cycles (void)
+{
+       caa_cycles_t cycles;
+
+       __asm__ __volatile__("stck %0" : "=m" (cycles) : : "cc", "memory" );
+
+       return cycles;
+}
+
+/*
+ * On Linux, define the membarrier system call number if not yet available in
+ * the system headers.
+ */
+#if (defined(__linux__) && !defined(__NR_membarrier))
+#define __NR_membarrier                356
+#endif
+
+#ifdef __cplusplus
+}
+#endif
+
+#include <urcu/arch/generic.h>
+
+#endif /* _URCU_ARCH_S390_H */
diff --git a/include/urcu/arch/sparc64.h b/include/urcu/arch/sparc64.h
new file mode 100644 (file)
index 0000000..1ff40f5
--- /dev/null
@@ -0,0 +1,62 @@
+#ifndef _URCU_ARCH_SPARC64_H
+#define _URCU_ARCH_SPARC64_H
+
+/*
+ * arch_sparc64.h: trivial definitions for the Sparc64 architecture.
+ *
+ * Copyright (c) 2009 Paul E. McKenney, IBM Corporation.
+ * Copyright (c) 2009 Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ */
+
+#include <urcu/compiler.h>
+#include <urcu/config.h>
+#include <urcu/syscall-compat.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+/*
+ * On Linux, define the membarrier system call number if not yet available in
+ * the system headers.
+ */
+#if (defined(__linux__) && !defined(__NR_membarrier))
+#define __NR_membarrier                351
+#endif
+
+#define CAA_CACHE_LINE_SIZE    256
+
+/*
+ * Inspired from the Linux kernel. Workaround Spitfire bug #51.
+ */
+#define membar_safe(type)                      \
+__asm__ __volatile__("ba,pt %%xcc, 1f\n\t"     \
+                    "membar " type "\n"        \
+                    "1:\n"                     \
+                    : : : "memory")
+
+#define cmm_mb()       membar_safe("#LoadLoad | #LoadStore | #StoreStore | #StoreLoad")
+#define cmm_rmb()      membar_safe("#LoadLoad")
+#define cmm_wmb()      membar_safe("#StoreStore")
+
+#ifdef __cplusplus
+}
+#endif
+
+#include <urcu/arch/generic.h>
+
+#endif /* _URCU_ARCH_SPARC64_H */
diff --git a/include/urcu/arch/tile.h b/include/urcu/arch/tile.h
new file mode 100644 (file)
index 0000000..eae1161
--- /dev/null
@@ -0,0 +1,51 @@
+#ifndef _URCU_ARCH_TILE_H
+#define _URCU_ARCH_TILE_H
+
+/*
+ * arch/tile.h: definitions for tile architecture
+ *
+ * Copyright (c) 2010 Paul E. McKenney, IBM Corporation.
+ * Copyright (c) 2009-2015 Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ */
+
+#include <urcu/compiler.h>
+#include <urcu/config.h>
+#include <urcu/syscall-compat.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+#include <stdlib.h>
+#include <sys/time.h>
+
+/*
+ * On Linux, define the membarrier system call number if not yet available in
+ * the system headers. tile implements asm-generic/unistd.h system call
+ * numbers.
+ */
+#if (defined(__linux__) && !defined(__NR_membarrier))
+#define __NR_membarrier                283
+#endif
+
+#ifdef __cplusplus
+}
+#endif
+
+#include <urcu/arch/generic.h>
+
+#endif /* _URCU_ARCH_TILE_H */
diff --git a/include/urcu/arch/unknown.h b/include/urcu/arch/unknown.h
new file mode 100644 (file)
index 0000000..701575d
--- /dev/null
@@ -0,0 +1,28 @@
+#ifndef _URCU_ARCH_UNKNOWN_H
+#define _URCU_ARCH_UNKNOWN_H
+
+/*
+ * arch_unknown.h: #error to prevent build on unknown architectures.
+ *
+ * Copyright (c) 2010 Paul E. McKenney, IBM Corporation.
+ * Copyright (c) 2009 Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ */
+
+/* See configure.ac for the list of recognized architectures.  */
+#error "Cannot build: unrecognized architecture detected."
+
+#endif /* _URCU_ARCH_UNKNOWN_H */
diff --git a/include/urcu/arch/x86.h b/include/urcu/arch/x86.h
new file mode 100644 (file)
index 0000000..aac8ca1
--- /dev/null
@@ -0,0 +1,111 @@
+#ifndef _URCU_ARCH_X86_H
+#define _URCU_ARCH_X86_H
+
+/*
+ * arch_x86.h: trivial definitions for the x86 architecture.
+ *
+ * Copyright (c) 2009 Paul E. McKenney, IBM Corporation.
+ * Copyright (c) 2009 Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ */
+
+#include <urcu/compiler.h>
+#include <urcu/config.h>
+#include <urcu/syscall-compat.h>
+#include <stdint.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+#define CAA_CACHE_LINE_SIZE    128
+
+#ifdef CONFIG_RCU_HAVE_FENCE
+#define cmm_mb()    __asm__ __volatile__ ("mfence":::"memory")
+
+/*
+ * Define cmm_rmb/cmm_wmb to "strict" barriers that may be needed when
+ * using SSE or working with I/O areas.  cmm_smp_rmb/cmm_smp_wmb are
+ * only compiler barriers, which is enough for general use.
+ */
+#define cmm_rmb()     __asm__ __volatile__ ("lfence":::"memory")
+#define cmm_wmb()     __asm__ __volatile__ ("sfence"::: "memory")
+#define cmm_smp_rmb() cmm_barrier()
+#define cmm_smp_wmb() cmm_barrier()
+#else
+/*
+ * We leave smp_rmb/smp_wmb as full barriers for processors that do not have
+ * fence instructions.
+ *
+ * An empty cmm_smp_rmb() may not be enough on old PentiumPro multiprocessor
+ * systems, due to an erratum.  The Linux kernel says that "Even distro
+ * kernels should think twice before enabling this", but for now let's
+ * be conservative and leave the full barrier on 32-bit processors.  Also,
+ * IDT WinChip supports weak store ordering, and the kernel may enable it
+ * under our feet; cmm_smp_wmb() ceases to be a nop for these processors.
+ */
+#if (CAA_BITS_PER_LONG == 32)
+#define cmm_mb()    __asm__ __volatile__ ("lock; addl $0,0(%%esp)":::"memory")
+#define cmm_rmb()    __asm__ __volatile__ ("lock; addl $0,0(%%esp)":::"memory")
+#define cmm_wmb()    __asm__ __volatile__ ("lock; addl $0,0(%%esp)":::"memory")
+#else
+#define cmm_mb()    __asm__ __volatile__ ("lock; addl $0,0(%%rsp)":::"memory")
+#define cmm_rmb()    __asm__ __volatile__ ("lock; addl $0,0(%%rsp)":::"memory")
+#define cmm_wmb()    __asm__ __volatile__ ("lock; addl $0,0(%%rsp)":::"memory")
+#endif
+#endif
+
+#define caa_cpu_relax()        __asm__ __volatile__ ("rep; nop" : : : "memory")
+
+#define HAS_CAA_GET_CYCLES
+
+#define rdtscll(val)                                                     \
+       do {                                                              \
+            unsigned int __a, __d;                                       \
+            __asm__ __volatile__ ("rdtsc" : "=a" (__a), "=d" (__d));     \
+            (val) = ((unsigned long long)__a)                            \
+                       | (((unsigned long long)__d) << 32);              \
+       } while(0)
+
+typedef uint64_t caa_cycles_t;
+
+static inline caa_cycles_t caa_get_cycles(void)
+{
+        caa_cycles_t ret = 0;
+
+        rdtscll(ret);
+        return ret;
+}
+
+/*
+ * On Linux, define the membarrier system call number if not yet available in
+ * the system headers.
+ */
+#if (defined(__linux__) && !defined(__NR_membarrier))
+#if (CAA_BITS_PER_LONG == 32)
+#define __NR_membarrier                375
+#else
+#define __NR_membarrier                324
+#endif
+#endif
+
+#ifdef __cplusplus
+}
+#endif
+
+#include <urcu/arch/generic.h>
+
+#endif /* _URCU_ARCH_X86_H */
diff --git a/include/urcu/cds.h b/include/urcu/cds.h
new file mode 100644 (file)
index 0000000..78534bb
--- /dev/null
@@ -0,0 +1,38 @@
+#ifndef _URCU_CDS_H
+#define _URCU_CDS_H
+
+/*
+ * urcu/cds.h
+ *
+ * Userspace RCU library - Concurrent Data Structures
+ *
+ * Copyright 2011 - Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ */
+
+#include <urcu/hlist.h>
+#include <urcu/list.h>
+#include <urcu/rcuhlist.h>
+#include <urcu/rculist.h>
+#include <urcu/rculfqueue.h>
+#include <urcu/rculfstack.h>
+#include <urcu/rculfhash.h>
+#include <urcu/wfqueue.h>
+#include <urcu/wfcqueue.h>
+#include <urcu/wfstack.h>
+#include <urcu/lfstack.h>
+
+#endif /* _URCU_CDS_H */
diff --git a/include/urcu/compiler.h b/include/urcu/compiler.h
new file mode 100644 (file)
index 0000000..511dbdf
--- /dev/null
@@ -0,0 +1,130 @@
+#ifndef _URCU_COMPILER_H
+#define _URCU_COMPILER_H
+
+/*
+ * compiler.h
+ *
+ * Compiler definitions.
+ *
+ * Copyright (c) 2009 Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ *
+ * Permission is hereby granted, free of charge, to any person obtaining a copy
+ * of this software and associated documentation files (the "Software"), to deal
+ * in the Software without restriction, including without limitation the rights
+ * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+ * copies of the Software, and to permit persons to whom the Software is
+ * furnished to do so, subject to the following conditions:
+ *
+ * The above copyright notice and this permission notice shall be included in
+ * all copies or substantial portions of the Software.
+ */
+
+#include <stddef.h>    /* for offsetof */
+
+#define caa_likely(x)  __builtin_expect(!!(x), 1)
+#define caa_unlikely(x)        __builtin_expect(!!(x), 0)
+
+#define        cmm_barrier()   __asm__ __volatile__ ("" : : : "memory")
+
+/*
+ * Instruct the compiler to perform only a single access to a variable
+ * (prohibits merging and refetching). The compiler is also forbidden to reorder
+ * successive instances of CMM_ACCESS_ONCE(), but only when the compiler is aware of
+ * particular ordering. Compiler ordering can be ensured, for example, by
+ * putting two CMM_ACCESS_ONCE() in separate C statements.
+ *
+ * This macro does absolutely -nothing- to prevent the CPU from reordering,
+ * merging, or refetching absolutely anything at any time.  Its main intended
+ * use is to mediate communication between process-level code and irq/NMI
+ * handlers, all running on the same CPU.
+ */
+#define CMM_ACCESS_ONCE(x)     (*(__volatile__  __typeof__(x) *)&(x))
+
+#ifndef caa_max
+#define caa_max(a,b) ((a)>(b)?(a):(b))
+#endif
+
+#ifndef caa_min
+#define caa_min(a,b) ((a)<(b)?(a):(b))
+#endif
+
+#if defined(__SIZEOF_LONG__)
+#define CAA_BITS_PER_LONG      (__SIZEOF_LONG__ * 8)
+#elif defined(_LP64)
+#define CAA_BITS_PER_LONG      64
+#else
+#define CAA_BITS_PER_LONG      32
+#endif
+
+/*
+ * caa_container_of - Get the address of an object containing a field.
+ *
+ * @ptr: pointer to the field.
+ * @type: type of the object.
+ * @member: name of the field within the object.
+ */
+#define caa_container_of(ptr, type, member)                            \
+       __extension__                                                   \
+       ({                                                              \
+               const __typeof__(((type *) NULL)->member) * __ptr = (ptr); \
+               (type *)((char *)__ptr - offsetof(type, member));       \
+       })
+
+#define CAA_BUILD_BUG_ON_ZERO(cond) (sizeof(struct { int:-!!(cond); }))
+#define CAA_BUILD_BUG_ON(cond) ((void)CAA_BUILD_BUG_ON_ZERO(cond))
+
+/*
+ * __rcu is an annotation that documents RCU pointer accesses that need
+ * to be protected by a read-side critical section. Eventually, a static
+ * checker will be able to use this annotation to detect incorrect RCU
+ * usage.
+ */
+#define __rcu
+
+#ifdef __cplusplus
+#define URCU_FORCE_CAST(type, arg)     (reinterpret_cast<type>(arg))
+#else
+#define URCU_FORCE_CAST(type, arg)     ((type) (arg))
+#endif
+
+#define caa_is_signed_type(type)       ((type) -1 < (type) 0)
+
+/*
+ * Cast to unsigned long, sign-extending if @v is signed.
+ * Note: casting to a larger type or to same type size keeps the sign of
+ * the expression being cast (see C99 6.3.1.3).
+ */
+#define caa_cast_long_keep_sign(v)     ((unsigned long) (v))
+
+#if defined (__GNUC__) \
+       && ((__GNUC__ == 4) && (__GNUC_MINOR__ >= 5)    \
+               || __GNUC__ >= 5)
+#define CDS_DEPRECATED(msg)    \
+       __attribute__((deprecated(msg)))
+#else
+#define CDS_DEPRECATED(msg)    \
+       __attribute__((deprecated))
+#endif
+
+#define CAA_ARRAY_SIZE(x)      (sizeof(x) / sizeof((x)[0]))
+
+/*
+ * Don't allow compiling with buggy compiler.
+ */
+
+#ifdef __GNUC__
+# define URCU_GCC_VERSION      (__GNUC__ * 10000 \
+                               + __GNUC_MINOR__ * 100 \
+                               + __GNUC_PATCHLEVEL__)
+
+/*
+ * http://gcc.gnu.org/bugzilla/show_bug.cgi?id=58854
+ */
+# ifdef __ARMEL__
+#  if URCU_GCC_VERSION >= 40800 && URCU_GCC_VERSION <= 40802
+#   error Your gcc version produces clobbered frame accesses
+#  endif
+# endif
+#endif
+
+#endif /* _URCU_COMPILER_H */
diff --git a/include/urcu/config.h.in b/include/urcu/config.h.in
new file mode 100644 (file)
index 0000000..4b856dc
--- /dev/null
@@ -0,0 +1,24 @@
+/* urcu/config.h.in. Manually generated for control over the contained defs. */
+
+/* Defined when on a system that has memory fence instructions. */
+#undef CONFIG_RCU_HAVE_FENCE
+
+/* Defined when on a system with futex support. */
+#undef CONFIG_RCU_HAVE_FUTEX
+
+/* Enable SMP support. With SMP support enabled, uniprocessors are also
+   supported. With SMP support disabled, UP systems work fine, but the
+   behavior of SMP systems is undefined. */
+#undef CONFIG_RCU_SMP
+
+/* Compatibility mode for i386 which lacks cmpxchg instruction. */
+#undef CONFIG_RCU_COMPAT_ARCH
+
+/* Use the dmb instruction is available for use on ARM. */
+#undef CONFIG_RCU_ARM_HAVE_DMB
+
+/* TLS provided by the compiler. */
+#undef CONFIG_RCU_TLS
+
+/* clock_gettime() is detected. */
+#undef CONFIG_RCU_HAVE_CLOCK_GETTIME
diff --git a/include/urcu/debug.h b/include/urcu/debug.h
new file mode 100644 (file)
index 0000000..327bd92
--- /dev/null
@@ -0,0 +1,30 @@
+#ifndef _URCU_DEBUG_H
+#define _URCU_DEBUG_H
+
+/*
+ * urcu/debug.h
+ *
+ * Userspace RCU debugging facilities.
+ *
+ * Copyright (c) 2015 Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ *
+ * Permission is hereby granted, free of charge, to any person obtaining a copy
+ * of this software and associated documentation files (the "Software"), to deal
+ * in the Software without restriction, including without limitation the rights
+ * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+ * copies of the Software, and to permit persons to whom the Software is
+ * furnished to do so, subject to the following conditions:
+ *
+ * The above copyright notice and this permission notice shall be included in
+ * all copies or substantial portions of the Software.
+ */
+
+#include <assert.h>
+
+#ifdef DEBUG_RCU
+#define urcu_assert(...)       assert(__VA_ARGS__)
+#else
+#define urcu_assert(...)
+#endif
+
+#endif /* _URCU_DEBUG_H */
diff --git a/include/urcu/futex.h b/include/urcu/futex.h
new file mode 100644 (file)
index 0000000..0486ff6
--- /dev/null
@@ -0,0 +1,125 @@
+#ifndef _URCU_FUTEX_H
+#define _URCU_FUTEX_H
+
+/*
+ * urcu-futex.h
+ *
+ * Userspace RCU - sys_futex/compat_futex header.
+ *
+ * Copyright 2011-2012 - Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ */
+
+#include <urcu/config.h>
+#include <stdint.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+#define FUTEX_WAIT             0
+#define FUTEX_WAKE             1
+
+/*
+ * sys_futex compatibility header.
+ * Use *only* *either of* futex_noasync OR futex_async on a given address.
+ *
+ * futex_noasync cannot be executed in signal handlers, but ensures that
+ * it will be put in a wait queue even in compatibility mode.
+ *
+ * futex_async is signal-handler safe for the wakeup. It uses polling
+ * on the wait-side in compatibility mode.
+ *
+ * BEWARE: sys_futex() FUTEX_WAIT may return early if interrupted
+ * (returns EINTR).
+ */
+
+extern int compat_futex_noasync(int32_t *uaddr, int op, int32_t val,
+               const struct timespec *timeout, int32_t *uaddr2, int32_t val3);
+extern int compat_futex_async(int32_t *uaddr, int op, int32_t val,
+               const struct timespec *timeout, int32_t *uaddr2, int32_t val3);
+
+#ifdef CONFIG_RCU_HAVE_FUTEX
+
+#include <unistd.h>
+#include <errno.h>
+#include <urcu/compiler.h>
+#include <urcu/arch.h>
+
+static inline int futex(int32_t *uaddr, int op, int32_t val,
+               const struct timespec *timeout, int32_t *uaddr2, int32_t val3)
+{
+       return syscall(__NR_futex, uaddr, op, val, timeout,
+                       uaddr2, val3);
+}
+
+static inline int futex_noasync(int32_t *uaddr, int op, int32_t val,
+               const struct timespec *timeout, int32_t *uaddr2, int32_t val3)
+{
+       int ret;
+
+       ret = futex(uaddr, op, val, timeout, uaddr2, val3);
+       if (caa_unlikely(ret < 0 && errno == ENOSYS)) {
+               /*
+                * The fallback on ENOSYS is the async-safe version of
+                * the compat futex implementation, because the
+                * async-safe compat implementation allows being used
+                * concurrently with calls to futex(). Indeed, sys_futex
+                * FUTEX_WAIT, on some architectures (mips and parisc),
+                * within a given process, spuriously return ENOSYS due
+                * to signal restart bugs on some kernel versions.
+                */
+               return compat_futex_async(uaddr, op, val, timeout,
+                               uaddr2, val3);
+       }
+       return ret;
+
+}
+
+static inline int futex_async(int32_t *uaddr, int op, int32_t val,
+               const struct timespec *timeout, int32_t *uaddr2, int32_t val3)
+{
+       int ret;
+
+       ret = futex(uaddr, op, val, timeout, uaddr2, val3);
+       if (caa_unlikely(ret < 0 && errno == ENOSYS)) {
+               return compat_futex_async(uaddr, op, val, timeout,
+                               uaddr2, val3);
+       }
+       return ret;
+}
+
+#else
+
+static inline int futex_noasync(int32_t *uaddr, int op, int32_t val,
+               const struct timespec *timeout, int32_t *uaddr2, int32_t val3)
+{
+       return compat_futex_noasync(uaddr, op, val, timeout, uaddr2, val3);
+}
+
+static inline int futex_async(int32_t *uaddr, int op, int32_t val,
+               const struct timespec *timeout, int32_t *uaddr2, int32_t val3)
+{
+       return compat_futex_async(uaddr, op, val, timeout, uaddr2, val3);
+}
+
+#endif
+
+#ifdef __cplusplus
+}
+#endif
+
+#endif /* _URCU_FUTEX_H */
diff --git a/include/urcu/hlist.h b/include/urcu/hlist.h
new file mode 100644 (file)
index 0000000..3444811
--- /dev/null
@@ -0,0 +1,110 @@
+#ifndef _KCOMPAT_HLIST_H
+#define _KCOMPAT_HLIST_H
+
+/*
+ * Kernel sourcecode compatible lightweight single pointer list head useful
+ * for implementing hash tables
+ *
+ * Copyright (C) 2009 Novell Inc.
+ *
+ * Author: Jan Blunck <jblunck@suse.de>
+ *
+ * Copyright (C) 2010-2013 Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ *
+ * This program is free software; you can redistribute it and/or modify it
+ * under the terms of the GNU Lesser General Public License version 2.1 as
+ * published by the Free  Software Foundation.
+ */
+
+#include <stddef.h>
+
+struct cds_hlist_head {
+       struct cds_hlist_node *next;
+};
+
+struct cds_hlist_node {
+       struct cds_hlist_node *next, *prev;
+};
+
+/* Initialize a new list head. */
+static inline
+void CDS_INIT_HLIST_HEAD(struct cds_hlist_head *ptr)
+{
+       ptr->next = NULL;
+}
+
+#define CDS_HLIST_HEAD(name) \
+       struct cds_hlist_head name = { NULL }
+
+#define CDS_HLIST_HEAD_INIT(name) \
+       { .next = NULL }
+
+/* Get typed element from list at a given position. */
+#define cds_hlist_entry(ptr, type, member) \
+       ((type *) ((char *) (ptr) - (unsigned long) (&((type *) 0)->member)))
+
+/* Add new element at the head of the list. */
+static inline
+void cds_hlist_add_head(struct cds_hlist_node *newp,
+               struct cds_hlist_head *head)
+{
+       if (head->next)
+               head->next->prev = newp;
+       newp->next = head->next;
+       newp->prev = (struct cds_hlist_node *) head;
+       head->next = newp;
+}
+
+/* Remove element from list. */
+static inline
+void cds_hlist_del(struct cds_hlist_node *elem)
+{
+       if (elem->next)
+               elem->next->prev = elem->prev;
+       elem->prev->next = elem->next;
+}
+
+#define cds_hlist_for_each(pos, head) \
+       for (pos = (head)->next; pos != NULL; pos = pos->next)
+
+#define cds_hlist_for_each_safe(pos, p, head) \
+       for (pos = (head)->next; \
+               (pos != NULL) && (p = pos->next, 1); \
+               pos = p)
+
+/*
+ * cds_hlist_for_each_entry and cds_hlist_for_each_entry_safe take
+ * respectively 4 and 5 arguments, while the Linux kernel APIs take 3,
+ * and 4. We implement cds_hlist_for_each_entry_2() and
+ * cds_hlist_for_each_entry_safe_2() to follow the Linux kernel APIs.
+ */
+#define cds_hlist_for_each_entry(entry, pos, head, member) \
+       for (pos = (head)->next, \
+                       entry = cds_hlist_entry(pos, __typeof__(*entry), member); \
+               pos != NULL; \
+               pos = pos->next, \
+                       entry = cds_hlist_entry(pos, __typeof__(*entry), member))
+
+#define cds_hlist_for_each_entry_safe(entry, pos, p, head, member) \
+       for (pos = (head)->next, \
+                       entry = cds_hlist_entry(pos, __typeof__(*entry), member); \
+               (pos != NULL) && (p = pos->next, 1); \
+               pos = p, \
+                       entry = cds_hlist_entry(pos, __typeof__(*entry), member))
+
+#define cds_hlist_for_each_entry_2(entry, head, member) \
+       for (entry = ((head)->next == NULL ? NULL \
+                       : cds_hlist_entry((head)->next, __typeof__(*entry), member)); \
+               entry != NULL; \
+               entry = (entry->member.next == NULL ? NULL \
+                       : cds_hlist_entry(entry->member.next, __typeof__(*entry), member)))
+
+#define cds_hlist_for_each_entry_safe_2(entry, e, head, member) \
+       for (entry = ((head)->next == NULL ? NULL \
+                       : cds_hlist_entry((head)->next, __typeof__(*entry), member)); \
+               (entry != NULL) && (e = (entry->member.next == NULL ? NULL \
+                                       : cds_hlist_entry(entry->member.next, \
+                                               __typeof__(*entry), member)), 1); \
+               entry = e)
+
+#endif /* _KCOMPAT_HLIST_H */
diff --git a/include/urcu/lfstack.h b/include/urcu/lfstack.h
new file mode 100644 (file)
index 0000000..5a9bca3
--- /dev/null
@@ -0,0 +1,260 @@
+#ifndef _URCU_LFSTACK_H
+#define _URCU_LFSTACK_H
+
+/*
+ * lfstack.h
+ *
+ * Userspace RCU library - Lock-Free Stack
+ *
+ * Copyright 2010-2012 - Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ */
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+#include <stdbool.h>
+#include <pthread.h>
+
+/*
+ * Lock-free stack.
+ *
+ * Stack implementing push, pop, pop_all operations, as well as iterator
+ * on the stack head returned by pop_all.
+ *
+ * Synchronization table:
+ *
+ * External synchronization techniques described in the API below is
+ * required between pairs marked with "X". No external synchronization
+ * required between pairs marked with "-".
+ *
+ *                      cds_lfs_push  __cds_lfs_pop  __cds_lfs_pop_all
+ * cds_lfs_push               -              -                  -
+ * __cds_lfs_pop              -              X                  X
+ * __cds_lfs_pop_all          -              X                  -
+ *
+ * cds_lfs_pop_blocking and cds_lfs_pop_all_blocking use an internal
+ * mutex to provide synchronization.
+ */
+
+/*
+ * struct cds_lfs_node is returned by cds_lfs_pop, and also used as
+ * iterator on stack. It is not safe to dereference the node next
+ * pointer when returned by cds_lfs_pop.
+ */
+struct cds_lfs_node {
+       struct cds_lfs_node *next;
+};
+
+/*
+ * struct cds_lfs_head is returned by __cds_lfs_pop_all, and can be used
+ * to begin iteration on the stack. "node" needs to be the first field
+ * of cds_lfs_head, so the end-of-stack pointer value can be used for
+ * both types.
+ */
+struct cds_lfs_head {
+       struct cds_lfs_node node;
+};
+
+struct __cds_lfs_stack {
+       struct cds_lfs_head *head;
+};
+
+struct cds_lfs_stack {
+       struct cds_lfs_head *head;
+       pthread_mutex_t lock;
+};
+
+/*
+ * The transparent union allows calling functions that work on both
+ * struct cds_lfs_stack and struct __cds_lfs_stack on any of those two
+ * types.
+ */
+typedef union {
+       struct __cds_lfs_stack *_s;
+       struct cds_lfs_stack *s;
+} __attribute__((__transparent_union__)) cds_lfs_stack_ptr_t;
+
+#ifdef _LGPL_SOURCE
+
+#include <urcu/static/lfstack.h>
+
+#define cds_lfs_node_init              _cds_lfs_node_init
+#define cds_lfs_init                   _cds_lfs_init
+#define cds_lfs_destroy                        _cds_lfs_destroy
+#define __cds_lfs_init                 ___cds_lfs_init
+#define cds_lfs_empty                  _cds_lfs_empty
+#define cds_lfs_push                   _cds_lfs_push
+
+/* Locking performed internally */
+#define cds_lfs_pop_blocking           _cds_lfs_pop_blocking
+#define cds_lfs_pop_all_blocking       _cds_lfs_pop_all_blocking
+
+/* Synchronize pop with internal mutex */
+#define cds_lfs_pop_lock               _cds_lfs_pop_lock
+#define cds_lfs_pop_unlock             _cds_lfs_pop_unlock
+
+/* Synchronization ensured by the caller. See synchronization table. */
+#define __cds_lfs_pop                  ___cds_lfs_pop
+#define __cds_lfs_pop_all              ___cds_lfs_pop_all
+
+#else /* !_LGPL_SOURCE */
+
+/*
+ * cds_lfs_node_init: initialize lock-free stack node.
+ */
+extern void cds_lfs_node_init(struct cds_lfs_node *node);
+
+/*
+ * cds_lfs_init: initialize lock-free stack (with locking). Pair with
+ * cds_lfs_destroy().
+ */
+extern void cds_lfs_init(struct cds_lfs_stack *s);
+
+/*
+ * cds_lfs_destroy: destroy lock-free stack (with lock). Pair with
+ * cds_lfs_init().
+ */
+extern void cds_lfs_destroy(struct cds_lfs_stack *s);
+
+/*
+ * __cds_lfs_init: initialize lock-free stack (without lock).
+ * Don't pair with any destroy function.
+ */
+extern void __cds_lfs_init(struct __cds_lfs_stack *s);
+
+/*
+ * cds_lfs_empty: return whether lock-free stack is empty.
+ *
+ * No memory barrier is issued. No mutual exclusion is required.
+ */
+extern bool cds_lfs_empty(cds_lfs_stack_ptr_t s);
+
+/*
+ * cds_lfs_push: push a node into the stack.
+ *
+ * Does not require any synchronization with other push nor pop.
+ *
+ * Returns 0 if the stack was empty prior to adding the node.
+ * Returns non-zero otherwise.
+ */
+extern bool cds_lfs_push(cds_lfs_stack_ptr_t s,
+                       struct cds_lfs_node *node);
+
+/*
+ * cds_lfs_pop_blocking: pop a node from the stack.
+ *
+ * Calls __cds_lfs_pop with an internal pop mutex held.
+ */
+extern struct cds_lfs_node *cds_lfs_pop_blocking(struct cds_lfs_stack *s);
+
+/*
+ * cds_lfs_pop_all_blocking: pop all nodes from a stack.
+ *
+ * Calls __cds_lfs_pop_all with an internal pop mutex held.
+ */
+extern struct cds_lfs_head *cds_lfs_pop_all_blocking(struct cds_lfs_stack *s);
+
+/*
+ * cds_lfs_pop_lock: lock stack pop-protection mutex.
+ */
+extern void cds_lfs_pop_lock(struct cds_lfs_stack *s);
+
+/*
+ * cds_lfs_pop_unlock: unlock stack pop-protection mutex.
+ */
+extern void cds_lfs_pop_unlock(struct cds_lfs_stack *s);
+
+/*
+ * __cds_lfs_pop: pop a node from the stack.
+ *
+ * Returns NULL if stack is empty.
+ *
+ * __cds_lfs_pop needs to be synchronized using one of the following
+ * techniques:
+ *
+ * 1) Calling __cds_lfs_pop under rcu read lock critical section.
+ *    Both __cds_lfs_pop and __cds_lfs_pop_all callers must wait for a
+ *    grace period to pass before freeing the returned node or pushing
+ *    the node back into the stack. It is valid to overwrite the content
+ *    of cds_lfs_node immediately after __cds_lfs_pop and
+ *    __cds_lfs_pop_all.
+ * 2) Using mutual exclusion (e.g. mutexes) to protect __cds_lfs_pop
+ *    and __cds_lfs_pop_all callers.
+ * 3) Ensuring that only ONE thread can call __cds_lfs_pop() and
+ *    __cds_lfs_pop_all(). (multi-provider/single-consumer scheme).
+ */
+extern struct cds_lfs_node *__cds_lfs_pop(cds_lfs_stack_ptr_t s);
+
+/*
+ * __cds_lfs_pop_all: pop all nodes from a stack.
+ *
+ * __cds_lfs_pop_all does not require any synchronization with other
+ * push, nor with other __cds_lfs_pop_all, but requires synchronization
+ * matching the technique used to synchronize __cds_lfs_pop:
+ *
+ * 1) If __cds_lfs_pop is called under rcu read lock critical section,
+ *    both __cds_lfs_pop and __cds_lfs_pop_all callers must wait for a
+ *    grace period to pass before freeing the returned node or pushing
+ *    the node back into the stack. It is valid to overwrite the content
+ *    of cds_lfs_node immediately after __cds_lfs_pop and
+ *    __cds_lfs_pop_all. No RCU read-side critical section is needed
+ *    around __cds_lfs_pop_all.
+ * 2) Using mutual exclusion (e.g. mutexes) to protect __cds_lfs_pop and
+ *    __cds_lfs_pop_all callers.
+ * 3) Ensuring that only ONE thread can call __cds_lfs_pop() and
+ *    __cds_lfs_pop_all(). (multi-provider/single-consumer scheme).
+ */
+extern struct cds_lfs_head *__cds_lfs_pop_all(cds_lfs_stack_ptr_t s);
+
+#endif /* !_LGPL_SOURCE */
+
+/*
+ * cds_lfs_for_each: Iterate over all nodes returned by
+ *                   __cds_lfs_pop_all.
+ * @__head: node returned by __cds_lfs_pop_all (struct cds_lfs_head pointer).
+ * @__node: node to use as iterator (struct cds_lfs_node pointer).
+ *
+ * Content written into each node before push is guaranteed to be
+ * consistent, but no other memory ordering is ensured.
+ */
+#define cds_lfs_for_each(__head, __node)       \
+       for (__node = &__head->node;            \
+               __node != NULL;                 \
+               __node = __node->next)
+
+/*
+ * cds_lfs_for_each_safe: Iterate over all nodes returned by
+ *                        __cds_lfs_pop_all, safe against node deletion.
+ * @__head: node returned by __cds_lfs_pop_all (struct cds_lfs_head pointer).
+ * @__node: node to use as iterator (struct cds_lfs_node pointer).
+ * @__n: struct cds_lfs_node pointer holding the next pointer (used
+ *       internally).
+ *
+ * Content written into each node before push is guaranteed to be
+ * consistent, but no other memory ordering is ensured.
+ */
+#define cds_lfs_for_each_safe(__head, __node, __n)                        \
+       for (__node = &__head->node, __n = (__node ? __node->next : NULL); \
+               __node != NULL;                                            \
+               __node = __n, __n = (__node ? __node->next : NULL))
+
+#ifdef __cplusplus
+}
+#endif
+
+#endif /* _URCU_LFSTACK_H */
diff --git a/include/urcu/list.h b/include/urcu/list.h
new file mode 100644 (file)
index 0000000..4aaf869
--- /dev/null
@@ -0,0 +1,200 @@
+/*
+ * Copyright (C) 2002 Free Software Foundation, Inc.
+ * (originally part of the GNU C Library)
+ * Contributed by Ulrich Drepper <drepper@redhat.com>, 2002.
+ *
+ * Copyright (C) 2009 Pierre-Marc Fournier
+ * Conversion to RCU list.
+ * Copyright (C) 2010 Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ */
+
+#ifndef _CDS_LIST_H
+#define _CDS_LIST_H    1
+
+/*
+ * The definitions of this file are adopted from those which can be
+ * found in the Linux kernel headers to enable people familiar with the
+ * latter find their way in these sources as well.
+ */
+
+/* Basic type for the double-link list. */
+struct cds_list_head {
+       struct cds_list_head *next, *prev;
+};
+
+/* Define a variable with the head and tail of the list. */
+#define CDS_LIST_HEAD(name) \
+       struct cds_list_head name = { &(name), &(name) }
+
+/* Initialize a new list head. */
+#define CDS_INIT_LIST_HEAD(ptr) \
+       (ptr)->next = (ptr)->prev = (ptr)
+
+#define CDS_LIST_HEAD_INIT(name) { .prev = &(name), .next = &(name) }
+
+/* Add new element at the head of the list. */
+static inline
+void cds_list_add(struct cds_list_head *newp, struct cds_list_head *head)
+{
+       head->next->prev = newp;
+       newp->next = head->next;
+       newp->prev = head;
+       head->next = newp;
+}
+
+/* Add new element at the tail of the list. */
+static inline
+void cds_list_add_tail(struct cds_list_head *newp, struct cds_list_head *head)
+{
+       head->prev->next = newp;
+       newp->next = head;
+       newp->prev = head->prev;
+       head->prev = newp;
+}
+
+/* Remove element from list. */
+static inline
+void __cds_list_del(struct cds_list_head *prev, struct cds_list_head *next)
+{
+       next->prev = prev;
+       prev->next = next;
+}
+
+/* Remove element from list. */
+static inline
+void cds_list_del(struct cds_list_head *elem)
+{
+       __cds_list_del(elem->prev, elem->next);
+}
+
+/* Remove element from list, initializing the element's list pointers. */
+static inline
+void cds_list_del_init(struct cds_list_head *elem)
+{
+       cds_list_del(elem);
+       CDS_INIT_LIST_HEAD(elem);
+}
+
+/* Delete from list, add to another list as head. */
+static inline
+void cds_list_move(struct cds_list_head *elem, struct cds_list_head *head)
+{
+       __cds_list_del(elem->prev, elem->next);
+       cds_list_add(elem, head);
+}
+
+/* Replace an old entry. */
+static inline
+void cds_list_replace(struct cds_list_head *old, struct cds_list_head *_new)
+{
+       _new->next = old->next;
+       _new->prev = old->prev;
+       _new->prev->next = _new;
+       _new->next->prev = _new;
+}
+
+/* Join two lists. */
+static inline
+void cds_list_splice(struct cds_list_head *add, struct cds_list_head *head)
+{
+       /* Do nothing if the list which gets added is empty. */
+       if (add != add->next) {
+               add->next->prev = head;
+               add->prev->next = head->next;
+               head->next->prev = add->prev;
+               head->next = add->next;
+       }
+}
+
+/* Get typed element from list at a given position. */
+#define cds_list_entry(ptr, type, member) \
+       ((type *) ((char *) (ptr) - (unsigned long) (&((type *) 0)->member)))
+
+
+/* Get first entry from a list. */
+#define cds_list_first_entry(ptr, type, member) \
+       cds_list_entry((ptr)->next, type, member)
+
+/* Iterate forward over the elements of the list. */
+#define cds_list_for_each(pos, head) \
+       for (pos = (head)->next; pos != (head); pos = pos->next)
+
+/*
+ * Iterate forward over the elements list. The list elements can be
+ * removed from the list while doing this.
+ */
+#define cds_list_for_each_safe(pos, p, head) \
+       for (pos = (head)->next, p = pos->next; \
+               pos != (head); \
+               pos = p, p = pos->next)
+
+/* Iterate backward over the elements of the list. */
+#define cds_list_for_each_prev(pos, head) \
+       for (pos = (head)->prev; pos != (head); pos = pos->prev)
+
+/*
+ * Iterate backwards over the elements list. The list elements can be
+ * removed from the list while doing this.
+ */
+#define cds_list_for_each_prev_safe(pos, p, head) \
+       for (pos = (head)->prev, p = pos->prev; \
+               pos != (head); \
+               pos = p, p = pos->prev)
+
+#define cds_list_for_each_entry(pos, head, member) \
+       for (pos = cds_list_entry((head)->next, __typeof__(*pos), member); \
+               &pos->member != (head); \
+               pos = cds_list_entry(pos->member.next, __typeof__(*pos), member))
+
+#define cds_list_for_each_entry_reverse(pos, head, member) \
+       for (pos = cds_list_entry((head)->prev, __typeof__(*pos), member); \
+               &pos->member != (head); \
+               pos = cds_list_entry(pos->member.prev, __typeof__(*pos), member))
+
+#define cds_list_for_each_entry_safe(pos, p, head, member) \
+       for (pos = cds_list_entry((head)->next, __typeof__(*pos), member), \
+                       p = cds_list_entry(pos->member.next, __typeof__(*pos), member); \
+               &pos->member != (head); \
+               pos = p, p = cds_list_entry(pos->member.next, __typeof__(*pos), member))
+
+/*
+ * Same as cds_list_for_each_entry_safe, but starts from "pos" which should
+ * point to an entry within the list.
+ */
+#define cds_list_for_each_entry_safe_from(pos, p, head, member) \
+        for (p = cds_list_entry(pos->member.next, __typeof__(*pos), member); \
+                &pos->member != (head); \
+                pos = p, p = cds_list_entry(pos->member.next, __typeof__(*pos), member))
+
+static inline
+int cds_list_empty(struct cds_list_head *head)
+{
+       return head == head->next;
+}
+
+static inline
+void cds_list_replace_init(struct cds_list_head *old,
+               struct cds_list_head *_new)
+{
+       struct cds_list_head *head = old->next;
+
+       cds_list_del(old);
+       cds_list_add_tail(_new, head);
+       CDS_INIT_LIST_HEAD(old);
+}
+
+#endif /* _CDS_LIST_H */
diff --git a/include/urcu/map/urcu-bp.h b/include/urcu/map/urcu-bp.h
new file mode 100644 (file)
index 0000000..67ba5c3
--- /dev/null
@@ -0,0 +1,80 @@
+#ifndef _URCU_BP_MAP_H
+#define _URCU_BP_MAP_H
+
+/*
+ * urcu-map.h
+ *
+ * Userspace RCU header -- name mapping to allow multiple flavors to be
+ * used in the same executable.
+ *
+ * Copyright (c) 2009 Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ * Copyright (c) 2009 Paul E. McKenney, IBM Corporation.
+ *
+ * LGPL-compatible code should include this header with :
+ *
+ * #define _LGPL_SOURCE
+ * #include <urcu.h>
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ *
+ * IBM's contributions to this file may be relicensed under LGPLv2 or later.
+ */
+
+/* Mapping macros to allow multiple flavors in a single binary. */
+
+#define rcu_read_lock                  rcu_read_lock_bp
+#define _rcu_read_lock                 _rcu_read_lock_bp
+#define rcu_read_unlock                        rcu_read_unlock_bp
+#define _rcu_read_unlock               _rcu_read_unlock_bp
+#define rcu_read_ongoing               rcu_read_ongoing_bp
+#define _rcu_read_ongoing              _rcu_read_ongoing_bp
+#define rcu_register_thread            rcu_register_thread_bp
+#define rcu_unregister_thread          rcu_unregister_thread_bp
+#define rcu_init                       rcu_init_bp
+#define rcu_exit                       rcu_exit_bp
+#define synchronize_rcu                        synchronize_rcu_bp
+#define rcu_reader                     rcu_reader_bp
+#define rcu_gp                         rcu_gp_bp
+
+#define get_cpu_call_rcu_data          get_cpu_call_rcu_data_bp
+#define get_call_rcu_thread            get_call_rcu_thread_bp
+#define create_call_rcu_data           create_call_rcu_data_bp
+#define set_cpu_call_rcu_data          set_cpu_call_rcu_data_bp
+#define get_default_call_rcu_data      get_default_call_rcu_data_bp
+#define get_call_rcu_data              get_call_rcu_data_bp
+#define get_thread_call_rcu_data       get_thread_call_rcu_data_bp
+#define set_thread_call_rcu_data       set_thread_call_rcu_data_bp
+#define create_all_cpu_call_rcu_data   create_all_cpu_call_rcu_data_bp
+#define free_all_cpu_call_rcu_data     free_all_cpu_call_rcu_data_bp
+#define call_rcu                       call_rcu_bp
+#define call_rcu_data_free             call_rcu_data_free_bp
+#define call_rcu_before_fork           call_rcu_before_fork_bp
+#define call_rcu_after_fork_parent     call_rcu_after_fork_parent_bp
+#define call_rcu_after_fork_child      call_rcu_after_fork_child_bp
+#define rcu_barrier                    rcu_barrier_bp
+
+#define defer_rcu                      defer_rcu_bp
+#define rcu_defer_register_thread      rcu_defer_register_thread_bp
+#define rcu_defer_unregister_thread    rcu_defer_unregister_thread_bp
+#define rcu_defer_barrier              rcu_defer_barrier_bp
+#define rcu_defer_barrier_thread       rcu_defer_barrier_thread_bp
+#define rcu_defer_exit                 rcu_defer_exit_bp
+
+#define rcu_flavor                     rcu_flavor_bp
+
+#define rcu_yield_active               rcu_yield_active_bp
+#define rcu_rand_yield                 rcu_rand_yield_bp
+
+#endif /* _URCU_BP_MAP_H */
diff --git a/include/urcu/map/urcu-qsbr.h b/include/urcu/map/urcu-qsbr.h
new file mode 100644 (file)
index 0000000..9e90e3c
--- /dev/null
@@ -0,0 +1,79 @@
+#ifndef _URCU_QSBR_MAP_H
+#define _URCU_QSBR_MAP_H
+
+/*
+ * urcu-map.h
+ *
+ * Userspace RCU header -- name mapping to allow multiple flavors to be
+ * used in the same executable.
+ *
+ * Copyright (c) 2009 Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ * Copyright (c) 2009 Paul E. McKenney, IBM Corporation.
+ *
+ * LGPL-compatible code should include this header with :
+ *
+ * #define _LGPL_SOURCE
+ * #include <urcu.h>
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ *
+ * IBM's contributions to this file may be relicensed under LGPLv2 or later.
+ */
+
+/* Mapping macros to allow multiple flavors in a single binary. */
+
+#define rcu_read_lock                  rcu_read_lock_qsbr
+#define _rcu_read_lock                 _rcu_read_lock_qsbr
+#define rcu_read_unlock                        rcu_read_unlock_qsbr
+#define _rcu_read_unlock               _rcu_read_unlock_qsbr
+#define rcu_read_ongoing               rcu_read_ongoing_qsbr
+#define _rcu_read_ongoing              _rcu_read_ongoing_qsbr
+#define rcu_quiescent_state            rcu_quiescent_state_qsbr
+#define _rcu_quiescent_state           _rcu_quiescent_state_qsbr
+#define rcu_thread_offline             rcu_thread_offline_qsbr
+#define rcu_thread_online              rcu_thread_online_qsbr
+#define rcu_register_thread            rcu_register_thread_qsbr
+#define rcu_unregister_thread          rcu_unregister_thread_qsbr
+#define rcu_exit                       rcu_exit_qsbr
+#define synchronize_rcu                        synchronize_rcu_qsbr
+#define rcu_reader                     rcu_reader_qsbr
+#define rcu_gp                         rcu_gp_qsbr
+
+#define get_cpu_call_rcu_data          get_cpu_call_rcu_data_qsbr
+#define get_call_rcu_thread            get_call_rcu_thread_qsbr
+#define create_call_rcu_data           create_call_rcu_data_qsbr
+#define set_cpu_call_rcu_data          set_cpu_call_rcu_data_qsbr
+#define get_default_call_rcu_data      get_default_call_rcu_data_qsbr
+#define get_call_rcu_data              get_call_rcu_data_qsbr
+#define get_thread_call_rcu_data       get_thread_call_rcu_data_qsbr
+#define set_thread_call_rcu_data       set_thread_call_rcu_data_qsbr
+#define create_all_cpu_call_rcu_data   create_all_cpu_call_rcu_data_qsbr
+#define call_rcu                       call_rcu_qsbr
+#define call_rcu_data_free             call_rcu_data_free_qsbr
+#define call_rcu_before_fork           call_rcu_before_fork_qsbr
+#define call_rcu_after_fork_parent     call_rcu_after_fork_parent_qsbr
+#define call_rcu_after_fork_child      call_rcu_after_fork_child_qsbr
+#define rcu_barrier                    rcu_barrier_qsbr
+
+#define defer_rcu                      defer_rcu_qsbr
+#define rcu_defer_register_thread      rcu_defer_register_thread_qsbr
+#define rcu_defer_unregister_thread    rcu_defer_unregister_thread_qsbr
+#define        rcu_defer_barrier               rcu_defer_barrier_qsbr
+#define rcu_defer_barrier_thread       rcu_defer_barrier_thread_qsbr
+#define rcu_defer_exit                 rcu_defer_exit_qsbr
+
+#define rcu_flavor                     rcu_flavor_qsbr
+
+#endif /* _URCU_QSBR_MAP_H */
diff --git a/include/urcu/map/urcu.h b/include/urcu/map/urcu.h
new file mode 100644 (file)
index 0000000..9a4bb1a
--- /dev/null
@@ -0,0 +1,176 @@
+#ifndef _URCU_MAP_H
+#define _URCU_MAP_H
+
+/*
+ * urcu-map.h
+ *
+ * Userspace RCU header -- name mapping to allow multiple flavors to be
+ * used in the same executable.
+ *
+ * Copyright (c) 2009 Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ * Copyright (c) 2009 Paul E. McKenney, IBM Corporation.
+ *
+ * LGPL-compatible code should include this header with :
+ *
+ * #define _LGPL_SOURCE
+ * #include <urcu.h>
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ *
+ * IBM's contributions to this file may be relicensed under LGPLv2 or later.
+ */
+
+/* Mapping macros to allow multiple flavors in a single binary. */
+
+#if !defined(RCU_MEMBARRIER) && !defined(RCU_SIGNAL) && !defined(RCU_MB)
+#define RCU_MEMBARRIER
+#endif
+
+#ifdef RCU_MEMBARRIER
+
+#define rcu_read_lock                  rcu_read_lock_memb
+#define _rcu_read_lock                 _rcu_read_lock_memb
+#define rcu_read_unlock                        rcu_read_unlock_memb
+#define _rcu_read_unlock               _rcu_read_unlock_memb
+#define rcu_read_ongoing               rcu_read_ongoing_memb
+#define _rcu_read_ongoing              _rcu_read_ongoing_memb
+#define rcu_register_thread            rcu_register_thread_memb
+#define rcu_unregister_thread          rcu_unregister_thread_memb
+#define rcu_init                       rcu_init_memb
+#define rcu_exit                       rcu_exit_memb
+#define synchronize_rcu                        synchronize_rcu_memb
+#define rcu_reader                     rcu_reader_memb
+#define rcu_gp                         rcu_gp_memb
+
+#define get_cpu_call_rcu_data          get_cpu_call_rcu_data_memb
+#define get_call_rcu_thread            get_call_rcu_thread_memb
+#define create_call_rcu_data           create_call_rcu_data_memb
+#define set_cpu_call_rcu_data          set_cpu_call_rcu_data_memb
+#define get_default_call_rcu_data      get_default_call_rcu_data_memb
+#define get_call_rcu_data              get_call_rcu_data_memb
+#define get_thread_call_rcu_data       get_thread_call_rcu_data_memb
+#define set_thread_call_rcu_data       set_thread_call_rcu_data_memb
+#define create_all_cpu_call_rcu_data   create_all_cpu_call_rcu_data_memb
+#define free_all_cpu_call_rcu_data     free_all_cpu_call_rcu_data_memb
+#define call_rcu                       call_rcu_memb
+#define call_rcu_data_free             call_rcu_data_free_memb
+#define call_rcu_before_fork           call_rcu_before_fork_memb
+#define call_rcu_after_fork_parent     call_rcu_after_fork_parent_memb
+#define call_rcu_after_fork_child      call_rcu_after_fork_child_memb
+#define rcu_barrier                    rcu_barrier_memb
+
+#define defer_rcu                      defer_rcu_memb
+#define rcu_defer_register_thread      rcu_defer_register_thread_memb
+#define rcu_defer_unregister_thread    rcu_defer_unregister_thread_memb
+#define rcu_defer_barrier              rcu_defer_barrier_memb
+#define rcu_defer_barrier_thread       rcu_defer_barrier_thread_memb
+#define rcu_defer_exit                 rcu_defer_exit_memb
+
+#define rcu_flavor                     rcu_flavor_memb
+
+/* Specific to MEMBARRIER flavor */
+#define rcu_has_sys_membarrier         rcu_has_sys_membarrier_memb
+
+#elif defined(RCU_SIGNAL)
+
+#define rcu_read_lock                  rcu_read_lock_sig
+#define _rcu_read_lock                 _rcu_read_lock_sig
+#define rcu_read_unlock                        rcu_read_unlock_sig
+#define _rcu_read_unlock               _rcu_read_unlock_sig
+#define rcu_read_ongoing               rcu_read_ongoing_sig
+#define _rcu_read_ongoing              _rcu_read_ongoing_sig
+#define rcu_register_thread            rcu_register_thread_sig
+#define rcu_unregister_thread          rcu_unregister_thread_sig
+#define rcu_init                       rcu_init_sig
+#define rcu_exit                       rcu_exit_sig
+#define synchronize_rcu                        synchronize_rcu_sig
+#define rcu_reader                     rcu_reader_sig
+#define rcu_gp                         rcu_gp_sig
+
+#define get_cpu_call_rcu_data          get_cpu_call_rcu_data_sig
+#define get_call_rcu_thread            get_call_rcu_thread_sig
+#define create_call_rcu_data           create_call_rcu_data_sig
+#define set_cpu_call_rcu_data          set_cpu_call_rcu_data_sig
+#define get_default_call_rcu_data      get_default_call_rcu_data_sig
+#define get_call_rcu_data              get_call_rcu_data_sig
+#define get_thread_call_rcu_data       get_thread_call_rcu_data_sig
+#define set_thread_call_rcu_data       set_thread_call_rcu_data_sig
+#define create_all_cpu_call_rcu_data   create_all_cpu_call_rcu_data_sig
+#define free_all_cpu_call_rcu_data     free_all_cpu_call_rcu_data_sig
+#define call_rcu                       call_rcu_sig
+#define call_rcu_data_free             call_rcu_data_free_sig
+#define call_rcu_before_fork           call_rcu_before_fork_sig
+#define call_rcu_after_fork_parent     call_rcu_after_fork_parent_sig
+#define call_rcu_after_fork_child      call_rcu_after_fork_child_sig
+#define rcu_barrier                    rcu_barrier_sig
+
+#define defer_rcu                      defer_rcu_sig
+#define rcu_defer_register_thread      rcu_defer_register_thread_sig
+#define rcu_defer_unregister_thread    rcu_defer_unregister_thread_sig
+#define rcu_defer_barrier              rcu_defer_barrier_sig
+#define rcu_defer_barrier_thread       rcu_defer_barrier_thread_sig
+#define rcu_defer_exit                 rcu_defer_exit_sig
+
+#define rcu_flavor                     rcu_flavor_sig
+
+#elif defined(RCU_MB)
+
+#define rcu_read_lock                  rcu_read_lock_mb
+#define _rcu_read_lock                 _rcu_read_lock_mb
+#define rcu_read_unlock                        rcu_read_unlock_mb
+#define _rcu_read_unlock               _rcu_read_unlock_mb
+#define rcu_read_ongoing               rcu_read_ongoing_mb
+#define _rcu_read_ongoing              _rcu_read_ongoing_mb
+#define rcu_register_thread            rcu_register_thread_mb
+#define rcu_unregister_thread          rcu_unregister_thread_mb
+#define rcu_init                       rcu_init_mb
+#define rcu_exit                       rcu_exit_mb
+#define synchronize_rcu                        synchronize_rcu_mb
+#define rcu_reader                     rcu_reader_mb
+#define rcu_gp                         rcu_gp_mb
+
+#define get_cpu_call_rcu_data          get_cpu_call_rcu_data_mb
+#define get_call_rcu_thread            get_call_rcu_thread_mb
+#define create_call_rcu_data           create_call_rcu_data_mb
+#define set_cpu_call_rcu_data          set_cpu_call_rcu_data_mb
+#define get_default_call_rcu_data      get_default_call_rcu_data_mb
+#define get_call_rcu_data              get_call_rcu_data_mb
+#define get_thread_call_rcu_data       get_thread_call_rcu_data_mb
+#define set_thread_call_rcu_data       set_thread_call_rcu_data_mb
+#define create_all_cpu_call_rcu_data   create_all_cpu_call_rcu_data_mb
+#define free_all_cpu_call_rcu_data     free_all_cpu_call_rcu_data_mb
+#define call_rcu                       call_rcu_mb
+#define call_rcu_data_free             call_rcu_data_free_mb
+#define call_rcu_before_fork           call_rcu_before_fork_mb
+#define call_rcu_after_fork_parent     call_rcu_after_fork_parent_mb
+#define call_rcu_after_fork_child      call_rcu_after_fork_child_mb
+#define rcu_barrier                    rcu_barrier_mb
+
+#define defer_rcu                      defer_rcu_mb
+#define rcu_defer_register_thread      rcu_defer_register_thread_mb
+#define rcu_defer_unregister_thread    rcu_defer_unregister_thread_mb
+#define rcu_defer_barrier              rcu_defer_barrier_mb
+#define rcu_defer_barrier_thread       rcu_defer_barrier_thread_mb
+#define rcu_defer_exit                 rcu_defer_exit_mb
+
+#define rcu_flavor                     rcu_flavor_mb
+
+#else
+
+#error "Undefined selection"
+
+#endif
+
+#endif /* _URCU_MAP_H */
diff --git a/include/urcu/rand-compat.h b/include/urcu/rand-compat.h
new file mode 100644 (file)
index 0000000..2c57751
--- /dev/null
@@ -0,0 +1,63 @@
+#ifndef _URCU_RAND_COMPAT_H
+#define _URCU_RAND_COMPAT_H
+
+/*
+ * urcu/rand-compat.h
+ *
+ * Userspace RCU library - rand/rand_r Compatibility Header
+ *
+ * Copyright 1996 - Ulrich Drepper <drepper@cygnus.com >
+ * Copyright 2013 - Pierre-Luc St-Charles <pierre-luc.st-charles@polymtl.ca>
+ *
+ * Note: this file is only used to simplify the code required to
+ * use the 'rand_r(...)' system function across multiple platforms,
+ * which might not always be referenced the same way.
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ */
+
+#ifdef __ANDROID__
+/*
+ * Reentrant random function from POSIX.1c.
+ * Copyright (C) 1996, 1999 Free Software Foundation, Inc.
+ * This file is part of the GNU C Library.
+ * Contributed by Ulrich Drepper <drepper@cygnus.com <mailto:drepper@cygnus.com>>, 1996.
+ */
+static inline int rand_r(unsigned int *seed)
+{
+       unsigned int next = *seed;
+       int result;
+
+       next *= 1103515245;
+       next += 12345;
+       result = (unsigned int) (next / 65536) % 2048;
+
+       next *= 1103515245;
+       next += 12345;
+       result <<= 10;
+       result ^= (unsigned int) (next / 65536) % 1024;
+
+       next *= 1103515245;
+       next += 12345;
+       result <<= 10;
+       result ^= (unsigned int) (next / 65536) % 1024;
+
+       *seed = next;
+
+       return result;
+}
+#endif /* __ANDROID__ */
+
+#endif /* _URCU_RAND_COMPAT_H */
diff --git a/include/urcu/rcuhlist.h b/include/urcu/rcuhlist.h
new file mode 100644 (file)
index 0000000..69c4d31
--- /dev/null
@@ -0,0 +1,81 @@
+/*
+ * Copyright (C) 2002 Free Software Foundation, Inc.
+ * (originally part of the GNU C Library)
+ * Contributed by Ulrich Drepper <drepper@redhat.com>, 2002.
+ *
+ * Copyright (C) 2009 Pierre-Marc Fournier
+ * Conversion to RCU list.
+ * Copyright (C) 2010 Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ */
+
+#ifndef _URCU_RCUHLIST_H
+#define _URCU_RCUHLIST_H
+
+#include <urcu/hlist.h>
+#include <urcu/arch.h>
+#include <urcu-pointer.h>
+
+/* Add new element at the head of the list. */
+static inline
+void cds_hlist_add_head_rcu(struct cds_hlist_node *newp,
+               struct cds_hlist_head *head)
+{
+       newp->next = head->next;
+       newp->prev = (struct cds_hlist_node *)head;
+       if (head->next)
+               head->next->prev = newp;
+       rcu_assign_pointer(head->next, newp);
+}
+
+/* Remove element from list. */
+static inline
+void cds_hlist_del_rcu(struct cds_hlist_node *elem)
+{
+       if (elem->next)
+               elem->next->prev = elem->prev;
+       CMM_STORE_SHARED(elem->prev->next, elem->next);
+}
+
+/*
+ * Iterate through elements of the list.
+ * This must be done while rcu_read_lock() is held.
+ */
+#define cds_hlist_for_each_rcu(pos, head) \
+       for (pos = rcu_dereference((head)->next); pos != NULL; \
+               pos = rcu_dereference(pos->next))
+
+/*
+ * cds_hlist_for_each_entry_rcu takes 4 arguments, while the Linux
+ * kernel API only takes 3.
+ * We implement cds_hlist_for_each_entry_rcu_2() to follow the Linux
+ * kernel APIs.
+ */
+#define cds_hlist_for_each_entry_rcu(entry, pos, head, member) \
+       for (pos = rcu_dereference((head)->next), \
+                       entry = cds_hlist_entry(pos, __typeof__(*entry), member); \
+               pos != NULL; \
+               pos = rcu_dereference(pos->next), \
+                       entry = cds_hlist_entry(pos, __typeof__(*entry), member))
+
+#define cds_hlist_for_each_entry_rcu_2(entry, head, member) \
+       for (entry = cds_hlist_entry(rcu_dereference((head)->next), \
+                       __typeof__(*entry), member); \
+               &entry->member != NULL; \
+               entry = cds_hlist_entry(rcu_dereference(entry->member.next), \
+                       __typeof__(*entry), member))
+
+#endif /* _URCU_RCUHLIST_H */
diff --git a/include/urcu/rculfhash.h b/include/urcu/rculfhash.h
new file mode 100644 (file)
index 0000000..9934422
--- /dev/null
@@ -0,0 +1,493 @@
+#ifndef _URCU_RCULFHASH_H
+#define _URCU_RCULFHASH_H
+
+/*
+ * urcu/rculfhash.h
+ *
+ * Userspace RCU library - Lock-Free RCU Hash Table
+ *
+ * Copyright 2011 - Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ * Copyright 2011 - Lai Jiangshan <laijs@cn.fujitsu.com>
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ *
+ * Include this file _after_ including your URCU flavor.
+ */
+
+#include <stdint.h>
+#include <urcu/compiler.h>
+#include <urcu-call-rcu.h>
+#include <urcu-flavor.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+/*
+ * cds_lfht_node: Contains the next pointers and reverse-hash
+ * value required for lookup and traversal of the hash table.
+ *
+ * struct cds_lfht_node should be aligned on 8-bytes boundaries because
+ * the three lower bits are used as flags. It is worth noting that the
+ * information contained within these three bits could be represented on
+ * two bits by re-using the same bit for REMOVAL_OWNER_FLAG and
+ * BUCKET_FLAG. This can be done if we ensure that no iterator nor
+ * updater check the BUCKET_FLAG after it detects that the REMOVED_FLAG
+ * is set. Given the minimum size of struct cds_lfht_node is 8 bytes on
+ * 32-bit architectures, we choose to go for simplicity and reserve
+ * three bits.
+ *
+ * struct cds_lfht_node can be embedded into a structure (as a field).
+ * caa_container_of() can be used to get the structure from the struct
+ * cds_lfht_node after a lookup.
+ *
+ * The structure which embeds it typically holds the key (or key-value
+ * pair) of the object. The caller code is responsible for calculation
+ * of the hash value for cds_lfht APIs.
+ */
+struct cds_lfht_node {
+       struct cds_lfht_node *next;     /* ptr | REMOVAL_OWNER_FLAG | BUCKET_FLAG | REMOVED_FLAG */
+       unsigned long reverse_hash;
+} __attribute__((aligned(8)));
+
+/* cds_lfht_iter: Used to track state while traversing a hash chain. */
+struct cds_lfht_iter {
+       struct cds_lfht_node *node, *next;
+};
+
+static inline
+struct cds_lfht_node *cds_lfht_iter_get_node(struct cds_lfht_iter *iter)
+{
+       return iter->node;
+}
+
+struct cds_lfht;
+
+/*
+ * Caution !
+ * Ensure reader and writer threads are registered as urcu readers.
+ */
+
+typedef int (*cds_lfht_match_fct)(struct cds_lfht_node *node, const void *key);
+
+/*
+ * cds_lfht_node_init - initialize a hash table node
+ * @node: the node to initialize.
+ *
+ * This function is kept to be eventually used for debugging purposes
+ * (detection of memory corruption).
+ */
+static inline
+void cds_lfht_node_init(struct cds_lfht_node *node)
+{
+}
+
+/*
+ * Hash table creation flags.
+ */
+enum {
+       CDS_LFHT_AUTO_RESIZE = (1U << 0),
+       CDS_LFHT_ACCOUNTING = (1U << 1),
+};
+
+struct cds_lfht_mm_type {
+       struct cds_lfht *(*alloc_cds_lfht)(unsigned long min_nr_alloc_buckets,
+                       unsigned long max_nr_buckets);
+       void (*alloc_bucket_table)(struct cds_lfht *ht, unsigned long order);
+       void (*free_bucket_table)(struct cds_lfht *ht, unsigned long order);
+       struct cds_lfht_node *(*bucket_at)(struct cds_lfht *ht,
+                       unsigned long index);
+};
+
+extern const struct cds_lfht_mm_type cds_lfht_mm_order;
+extern const struct cds_lfht_mm_type cds_lfht_mm_chunk;
+extern const struct cds_lfht_mm_type cds_lfht_mm_mmap;
+
+/*
+ * _cds_lfht_new - API used by cds_lfht_new wrapper. Do not use directly.
+ */
+extern
+struct cds_lfht *_cds_lfht_new(unsigned long init_size,
+                       unsigned long min_nr_alloc_buckets,
+                       unsigned long max_nr_buckets,
+                       int flags,
+                       const struct cds_lfht_mm_type *mm,
+                       const struct rcu_flavor_struct *flavor,
+                       pthread_attr_t *attr);
+
+/*
+ * cds_lfht_new - allocate a hash table.
+ * @init_size: number of buckets to allocate initially. Must be power of two.
+ * @min_nr_alloc_buckets: the minimum number of allocated buckets.
+ *                        (must be power of two)
+ * @max_nr_buckets: the maximum number of hash table buckets allowed.
+ *                  (must be power of two, 0 is accepted, means
+ *                  "infinite")
+ * @flags: hash table creation flags (can be combined with bitwise or: '|').
+ *           0: no flags.
+ *           CDS_LFHT_AUTO_RESIZE: automatically resize hash table.
+ *           CDS_LFHT_ACCOUNTING: count the number of node addition
+ *                                and removal in the table
+ * @attr: optional resize worker thread attributes. NULL for default.
+ *
+ * Return NULL on error.
+ * Note: the RCU flavor must be already included before the hash table header.
+ *
+ * The programmer is responsible for ensuring that resize operation has a
+ * priority equal to hash table updater threads. It should be performed by
+ * specifying the appropriate priority in the pthread "attr" argument, and,
+ * for CDS_LFHT_AUTO_RESIZE, by ensuring that call_rcu worker threads also have
+ * this priority level. Having lower priority for call_rcu and resize threads
+ * does not pose any correctness issue, but the resize operations could be
+ * starved by updates, thus leading to long hash table bucket chains.
+ * Threads calling cds_lfht_new are NOT required to be registered RCU
+ * read-side threads. It can be called very early. (e.g. before RCU is
+ * initialized)
+ */
+static inline
+struct cds_lfht *cds_lfht_new(unsigned long init_size,
+                       unsigned long min_nr_alloc_buckets,
+                       unsigned long max_nr_buckets,
+                       int flags,
+                       pthread_attr_t *attr)
+{
+       return _cds_lfht_new(init_size, min_nr_alloc_buckets, max_nr_buckets,
+                       flags, NULL, &rcu_flavor, attr);
+}
+
+/*
+ * cds_lfht_destroy - destroy a hash table.
+ * @ht: the hash table to destroy.
+ * @attr: (output) resize worker thread attributes, as received by cds_lfht_new.
+ *        The caller will typically want to free this pointer if dynamically
+ *        allocated. The attr point can be NULL if the caller does not
+ *        need to be informed of the value passed to cds_lfht_new().
+ *
+ * Return 0 on success, negative error value on error.
+ * Threads calling this API need to be registered RCU read-side threads.
+ * cds_lfht_destroy should *not* be called from a RCU read-side critical
+ * section. It should *not* be called from a call_rcu thread context
+ * neither.
+ */
+extern
+int cds_lfht_destroy(struct cds_lfht *ht, pthread_attr_t **attr);
+
+/*
+ * cds_lfht_count_nodes - count the number of nodes in the hash table.
+ * @ht: the hash table.
+ * @split_count_before: sample the node count split-counter before traversal.
+ * @count: traverse the hash table, count the number of nodes observed.
+ * @split_count_after: sample the node count split-counter after traversal.
+ *
+ * Call with rcu_read_lock held.
+ * Threads calling this API need to be registered RCU read-side threads.
+ */
+extern
+void cds_lfht_count_nodes(struct cds_lfht *ht,
+               long *split_count_before,
+               unsigned long *count,
+               long *split_count_after);
+
+/*
+ * cds_lfht_lookup - lookup a node by key.
+ * @ht: the hash table.
+ * @hash: the key hash.
+ * @match: the key match function.
+ * @key: the current node key.
+ * @iter: node, if found (output). *iter->node set to NULL if not found.
+ *
+ * Call with rcu_read_lock held.
+ * Threads calling this API need to be registered RCU read-side threads.
+ * This function acts as a rcu_dereference() to read the node pointer.
+ */
+extern
+void cds_lfht_lookup(struct cds_lfht *ht, unsigned long hash,
+               cds_lfht_match_fct match, const void *key,
+               struct cds_lfht_iter *iter);
+
+/*
+ * cds_lfht_next_duplicate - get the next item with same key, after iterator.
+ * @ht: the hash table.
+ * @match: the key match function.
+ * @key: the current node key.
+ * @iter: input: current iterator.
+ *        output: node, if found. *iter->node set to NULL if not found.
+ *
+ * Uses an iterator initialized by a lookup or traversal. Important: the
+ * iterator _needs_ to be initialized before calling
+ * cds_lfht_next_duplicate.
+ * Sets *iter-node to the following node with same key.
+ * Sets *iter->node to NULL if no following node exists with same key.
+ * RCU read-side lock must be held across cds_lfht_lookup and
+ * cds_lfht_next calls, and also between cds_lfht_next calls using the
+ * node returned by a previous cds_lfht_next.
+ * Call with rcu_read_lock held.
+ * Threads calling this API need to be registered RCU read-side threads.
+ * This function acts as a rcu_dereference() to read the node pointer.
+ */
+extern
+void cds_lfht_next_duplicate(struct cds_lfht *ht,
+               cds_lfht_match_fct match, const void *key,
+               struct cds_lfht_iter *iter);
+
+/*
+ * cds_lfht_first - get the first node in the table.
+ * @ht: the hash table.
+ * @iter: First node, if exists (output). *iter->node set to NULL if not found.
+ *
+ * Output in "*iter". *iter->node set to NULL if table is empty.
+ * Call with rcu_read_lock held.
+ * Threads calling this API need to be registered RCU read-side threads.
+ * This function acts as a rcu_dereference() to read the node pointer.
+ */
+extern
+void cds_lfht_first(struct cds_lfht *ht, struct cds_lfht_iter *iter);
+
+/*
+ * cds_lfht_next - get the next node in the table.
+ * @ht: the hash table.
+ * @iter: input: current iterator.
+ *        output: next node, if exists. *iter->node set to NULL if not found.
+ *
+ * Input/Output in "*iter". *iter->node set to NULL if *iter was
+ * pointing to the last table node.
+ * Call with rcu_read_lock held.
+ * Threads calling this API need to be registered RCU read-side threads.
+ * This function acts as a rcu_dereference() to read the node pointer.
+ */
+extern
+void cds_lfht_next(struct cds_lfht *ht, struct cds_lfht_iter *iter);
+
+/*
+ * cds_lfht_add - add a node to the hash table.
+ * @ht: the hash table.
+ * @hash: the key hash.
+ * @node: the node to add.
+ *
+ * This function supports adding redundant keys into the table.
+ * Call with rcu_read_lock held.
+ * Threads calling this API need to be registered RCU read-side threads.
+ * This function issues a full memory barrier before and after its
+ * atomic commit.
+ */
+extern
+void cds_lfht_add(struct cds_lfht *ht, unsigned long hash,
+               struct cds_lfht_node *node);
+
+/*
+ * cds_lfht_add_unique - add a node to hash table, if key is not present.
+ * @ht: the hash table.
+ * @hash: the node's hash.
+ * @match: the key match function.
+ * @key: the node's key.
+ * @node: the node to try adding.
+ *
+ * Return the node added upon success.
+ * Return the unique node already present upon failure. If
+ * cds_lfht_add_unique fails, the node passed as parameter should be
+ * freed by the caller. In this case, the caller does NOT need to wait
+ * for a grace period before freeing or re-using the node.
+ * Call with rcu_read_lock held.
+ * Threads calling this API need to be registered RCU read-side threads.
+ *
+ * The semantic of this function is that if only this function is used
+ * to add keys into the table, no duplicated keys should ever be
+ * observable in the table. The same guarantee apply for combination of
+ * add_unique and add_replace (see below).
+ *
+ * Upon success, this function issues a full memory barrier before and
+ * after its atomic commit. Upon failure, this function acts like a
+ * simple lookup operation: it acts as a rcu_dereference() to read the
+ * node pointer. The failure case does not guarantee any other memory
+ * barrier.
+ */
+extern
+struct cds_lfht_node *cds_lfht_add_unique(struct cds_lfht *ht,
+               unsigned long hash,
+               cds_lfht_match_fct match,
+               const void *key,
+               struct cds_lfht_node *node);
+
+/*
+ * cds_lfht_add_replace - replace or add a node within hash table.
+ * @ht: the hash table.
+ * @hash: the node's hash.
+ * @match: the key match function.
+ * @key: the node's key.
+ * @node: the node to add.
+ *
+ * Return the node replaced upon success. If no node matching the key
+ * was present, return NULL, which also means the operation succeeded.
+ * This replacement operation should never fail.
+ * Call with rcu_read_lock held.
+ * Threads calling this API need to be registered RCU read-side threads.
+ * After successful replacement, a grace period must be waited for before
+ * freeing or re-using the memory reserved for the returned node.
+ *
+ * The semantic of replacement vs lookups and traversals is the
+ * following: if lookups and traversals are performed between a key
+ * unique insertion and its removal, we guarantee that the lookups and
+ * traversals will always find exactly one instance of the key if it is
+ * replaced concurrently with the lookups.
+ *
+ * Providing this semantic allows us to ensure that replacement-only
+ * schemes will never generate duplicated keys. It also allows us to
+ * guarantee that a combination of add_replace and add_unique updates
+ * will never generate duplicated keys.
+ *
+ * This function issues a full memory barrier before and after its
+ * atomic commit.
+ */
+extern
+struct cds_lfht_node *cds_lfht_add_replace(struct cds_lfht *ht,
+               unsigned long hash,
+               cds_lfht_match_fct match,
+               const void *key,
+               struct cds_lfht_node *node);
+
+/*
+ * cds_lfht_replace - replace a node pointed to by iter within hash table.
+ * @ht: the hash table.
+ * @old_iter: the iterator position of the node to replace.
+ * @hash: the node's hash.
+ * @match: the key match function.
+ * @key: the node's key.
+ * @new_node: the new node to use as replacement.
+ *
+ * Return 0 if replacement is successful, negative value otherwise.
+ * Replacing a NULL old node or an already removed node will fail with
+ * -ENOENT.
+ * If the hash or value of the node to replace and the new node differ,
+ * this function returns -EINVAL without proceeding to the replacement.
+ * Old node can be looked up with cds_lfht_lookup and cds_lfht_next.
+ * RCU read-side lock must be held between lookup and replacement.
+ * Call with rcu_read_lock held.
+ * Threads calling this API need to be registered RCU read-side threads.
+ * After successful replacement, a grace period must be waited for before
+ * freeing or re-using the memory reserved for the old node (which can
+ * be accessed with cds_lfht_iter_get_node).
+ *
+ * The semantic of replacement vs lookups is the same as
+ * cds_lfht_add_replace().
+ *
+ * Upon success, this function issues a full memory barrier before and
+ * after its atomic commit. Upon failure, this function does not issue
+ * any memory barrier.
+ */
+extern
+int cds_lfht_replace(struct cds_lfht *ht,
+               struct cds_lfht_iter *old_iter,
+               unsigned long hash,
+               cds_lfht_match_fct match,
+               const void *key,
+               struct cds_lfht_node *new_node);
+
+/*
+ * cds_lfht_del - remove node pointed to by iterator from hash table.
+ * @ht: the hash table.
+ * @node: the node to delete.
+ *
+ * Return 0 if the node is successfully removed, negative value
+ * otherwise.
+ * Deleting a NULL node or an already removed node will fail with a
+ * negative value.
+ * Node can be looked up with cds_lfht_lookup and cds_lfht_next,
+ * followed by use of cds_lfht_iter_get_node.
+ * RCU read-side lock must be held between lookup and removal.
+ * Call with rcu_read_lock held.
+ * Threads calling this API need to be registered RCU read-side threads.
+ * After successful removal, a grace period must be waited for before
+ * freeing or re-using the memory reserved for old node (which can be
+ * accessed with cds_lfht_iter_get_node).
+ * Upon success, this function issues a full memory barrier before and
+ * after its atomic commit. Upon failure, this function does not issue
+ * any memory barrier.
+ */
+extern
+int cds_lfht_del(struct cds_lfht *ht, struct cds_lfht_node *node);
+
+/*
+ * cds_lfht_is_node_deleted - query whether a node is removed from hash table.
+ *
+ * Return non-zero if the node is deleted from the hash table, 0
+ * otherwise.
+ * Node can be looked up with cds_lfht_lookup and cds_lfht_next,
+ * followed by use of cds_lfht_iter_get_node.
+ * RCU read-side lock must be held between lookup and call to this
+ * function.
+ * Call with rcu_read_lock held.
+ * Threads calling this API need to be registered RCU read-side threads.
+ * This function does not issue any memory barrier.
+ */
+extern
+int cds_lfht_is_node_deleted(struct cds_lfht_node *node);
+
+/*
+ * cds_lfht_resize - Force a hash table resize
+ * @ht: the hash table.
+ * @new_size: update to this hash table size.
+ *
+ * Threads calling this API need to be registered RCU read-side threads.
+ * This function does not (necessarily) issue memory barriers.
+ * cds_lfht_resize should *not* be called from a RCU read-side critical
+ * section.
+ */
+extern
+void cds_lfht_resize(struct cds_lfht *ht, unsigned long new_size);
+
+/*
+ * Note: it is safe to perform element removal (del), replacement, or
+ * any hash table update operation during any of the following hash
+ * table traversals.
+ * These functions act as rcu_dereference() to read the node pointers.
+ */
+#define cds_lfht_for_each(ht, iter, node)                              \
+       for (cds_lfht_first(ht, iter),                                  \
+                       node = cds_lfht_iter_get_node(iter);            \
+               node != NULL;                                           \
+               cds_lfht_next(ht, iter),                                \
+                       node = cds_lfht_iter_get_node(iter))
+
+#define cds_lfht_for_each_duplicate(ht, hash, match, key, iter, node)  \
+       for (cds_lfht_lookup(ht, hash, match, key, iter),               \
+                       node = cds_lfht_iter_get_node(iter);            \
+               node != NULL;                                           \
+               cds_lfht_next_duplicate(ht, match, key, iter),          \
+                       node = cds_lfht_iter_get_node(iter))
+
+#define cds_lfht_for_each_entry(ht, iter, pos, member)                 \
+       for (cds_lfht_first(ht, iter),                                  \
+                       pos = caa_container_of(cds_lfht_iter_get_node(iter), \
+                                       __typeof__(*(pos)), member);    \
+               cds_lfht_iter_get_node(iter) != NULL;                   \
+               cds_lfht_next(ht, iter),                                \
+                       pos = caa_container_of(cds_lfht_iter_get_node(iter), \
+                                       __typeof__(*(pos)), member))
+
+#define cds_lfht_for_each_entry_duplicate(ht, hash, match, key,                \
+                               iter, pos, member)                      \
+       for (cds_lfht_lookup(ht, hash, match, key, iter),               \
+                       pos = caa_container_of(cds_lfht_iter_get_node(iter), \
+                                       __typeof__(*(pos)), member);    \
+               cds_lfht_iter_get_node(iter) != NULL;                   \
+               cds_lfht_next_duplicate(ht, match, key, iter),          \
+                       pos = caa_container_of(cds_lfht_iter_get_node(iter), \
+                                       __typeof__(*(pos)), member))
+
+#ifdef __cplusplus
+}
+#endif
+
+#endif /* _URCU_RCULFHASH_H */
diff --git a/include/urcu/rculfqueue.h b/include/urcu/rculfqueue.h
new file mode 100644 (file)
index 0000000..598fa50
--- /dev/null
@@ -0,0 +1,91 @@
+#ifndef _URCU_RCULFQUEUE_H
+#define _URCU_RCULFQUEUE_H
+
+/*
+ * rculfqueue.h
+ *
+ * Userspace RCU library - Lock-Free RCU Queue
+ *
+ * Copyright 2010 - Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ */
+
+#include <assert.h>
+#include <urcu-call-rcu.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+struct cds_lfq_queue_rcu;
+
+struct cds_lfq_node_rcu {
+       struct cds_lfq_node_rcu *next;
+       int dummy;
+};
+
+struct cds_lfq_queue_rcu {
+       struct cds_lfq_node_rcu *head, *tail;
+       void (*queue_call_rcu)(struct rcu_head *head,
+               void (*func)(struct rcu_head *head));
+};
+
+#ifdef _LGPL_SOURCE
+
+#include <urcu/static/rculfqueue.h>
+
+#define cds_lfq_node_init_rcu          _cds_lfq_node_init_rcu
+#define cds_lfq_init_rcu               _cds_lfq_init_rcu
+#define cds_lfq_destroy_rcu            _cds_lfq_destroy_rcu
+#define cds_lfq_enqueue_rcu            _cds_lfq_enqueue_rcu
+#define cds_lfq_dequeue_rcu            _cds_lfq_dequeue_rcu
+
+#else /* !_LGPL_SOURCE */
+
+extern void cds_lfq_node_init_rcu(struct cds_lfq_node_rcu *node);
+extern void cds_lfq_init_rcu(struct cds_lfq_queue_rcu *q,
+                            void queue_call_rcu(struct rcu_head *head,
+                                       void (*func)(struct rcu_head *head)));
+/*
+ * The queue should be emptied before calling destroy.
+ *
+ * Return 0 on success, -EPERM if queue is not empty.
+ */
+extern int cds_lfq_destroy_rcu(struct cds_lfq_queue_rcu *q);
+
+/*
+ * Should be called under rcu read lock critical section.
+ */
+extern void cds_lfq_enqueue_rcu(struct cds_lfq_queue_rcu *q,
+                               struct cds_lfq_node_rcu *node);
+
+/*
+ * Should be called under rcu read lock critical section.
+ *
+ * The caller must wait for a grace period to pass before freeing the returned
+ * node or modifying the cds_lfq_node_rcu structure.
+ * Returns NULL if queue is empty.
+ */
+extern
+struct cds_lfq_node_rcu *cds_lfq_dequeue_rcu(struct cds_lfq_queue_rcu *q);
+
+#endif /* !_LGPL_SOURCE */
+
+#ifdef __cplusplus
+}
+#endif
+
+#endif /* _URCU_RCULFQUEUE_H */
diff --git a/include/urcu/rculfstack.h b/include/urcu/rculfstack.h
new file mode 100644 (file)
index 0000000..c7e5599
--- /dev/null
@@ -0,0 +1,100 @@
+#ifndef _URCU_RCULFSTACK_H
+#define _URCU_RCULFSTACK_H
+
+/*
+ * rculfstack.h
+ *
+ * Userspace RCU library - Lock-Free RCU Stack
+ *
+ * Copyright 2010 - Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ */
+
+#include <urcu/compiler.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+#ifndef CDS_LFS_RCU_DEPRECATED
+#define CDS_LFS_RCU_DEPRECATED \
+       CDS_DEPRECATED("urcu/rculfstack.h is deprecated. Please use urcu/lfstack.h instead.")
+#endif
+
+struct cds_lfs_node_rcu {
+       struct cds_lfs_node_rcu *next;
+};
+
+struct cds_lfs_stack_rcu {
+       struct cds_lfs_node_rcu *head;
+};
+
+#ifdef _LGPL_SOURCE
+
+#include <urcu/static/rculfstack.h>
+
+static inline CDS_LFS_RCU_DEPRECATED
+void cds_lfs_node_init_rcu(struct cds_lfs_node_rcu *node)
+{
+       _cds_lfs_node_init_rcu(node);
+}
+
+static inline
+void cds_lfs_init_rcu(struct cds_lfs_stack_rcu *s)
+{
+       _cds_lfs_init_rcu(s);
+}
+
+static inline CDS_LFS_RCU_DEPRECATED
+int cds_lfs_push_rcu(struct cds_lfs_stack_rcu *s,
+                       struct cds_lfs_node_rcu *node)
+{
+       return _cds_lfs_push_rcu(s, node);
+}
+
+static inline CDS_LFS_RCU_DEPRECATED
+struct cds_lfs_node_rcu *cds_lfs_pop_rcu(struct cds_lfs_stack_rcu *s)
+{
+       return _cds_lfs_pop_rcu(s);
+}
+
+#else /* !_LGPL_SOURCE */
+
+extern CDS_LFS_RCU_DEPRECATED
+void cds_lfs_node_init_rcu(struct cds_lfs_node_rcu *node);
+extern CDS_LFS_RCU_DEPRECATED
+void cds_lfs_init_rcu(struct cds_lfs_stack_rcu *s);
+extern CDS_LFS_RCU_DEPRECATED
+int cds_lfs_push_rcu(struct cds_lfs_stack_rcu *s,
+                       struct cds_lfs_node_rcu *node);
+
+/*
+ * Should be called under rcu read lock critical section.
+ *
+ * The caller must wait for a grace period to pass before freeing the returned
+ * node or modifying the cds_lfs_node_rcu structure.
+ * Returns NULL if stack is empty.
+ */
+extern CDS_LFS_RCU_DEPRECATED
+struct cds_lfs_node_rcu *cds_lfs_pop_rcu(struct cds_lfs_stack_rcu *s);
+
+#endif /* !_LGPL_SOURCE */
+
+#ifdef __cplusplus
+}
+#endif
+
+#endif /* _URCU_RCULFSTACK_H */
diff --git a/include/urcu/rculist.h b/include/urcu/rculist.h
new file mode 100644 (file)
index 0000000..1fd2df3
--- /dev/null
@@ -0,0 +1,92 @@
+/*
+ * Copyright (C) 2002 Free Software Foundation, Inc.
+ * (originally part of the GNU C Library)
+ * Contributed by Ulrich Drepper <drepper@redhat.com>, 2002.
+ *
+ * Copyright (C) 2009 Pierre-Marc Fournier
+ * Conversion to RCU list.
+ * Copyright (C) 2010 Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ */
+
+#ifndef _URCU_RCULIST_H
+#define _URCU_RCULIST_H
+
+#include <urcu/list.h>
+#include <urcu/arch.h>
+#include <urcu-pointer.h>
+
+/* Add new element at the head of the list. */
+static inline
+void cds_list_add_rcu(struct cds_list_head *newp, struct cds_list_head *head)
+{
+       newp->next = head->next;
+       newp->prev = head;
+       head->next->prev = newp;
+       rcu_assign_pointer(head->next, newp);
+}
+
+/* Add new element at the tail of the list. */
+static inline
+void cds_list_add_tail_rcu(struct cds_list_head *newp,
+               struct cds_list_head *head)
+{
+       newp->next = head;
+       newp->prev = head->prev;
+       rcu_assign_pointer(head->prev->next, newp);
+       head->prev = newp;
+}
+
+/*
+ * Replace an old entry atomically with respect to concurrent RCU
+ * traversal. Mutual exclusion against concurrent updates is required
+ * though.
+ */
+static inline
+void cds_list_replace_rcu(struct cds_list_head *old, struct cds_list_head *_new)
+{
+       _new->next = old->next;
+       _new->prev = old->prev;
+       rcu_assign_pointer(_new->prev->next, _new);
+       _new->next->prev = _new;
+}
+
+/* Remove element from list. */
+static inline
+void cds_list_del_rcu(struct cds_list_head *elem)
+{
+       elem->next->prev = elem->prev;
+       CMM_STORE_SHARED(elem->prev->next, elem->next);
+}
+
+/*
+ * Iteration through all elements of the list must be done while rcu_read_lock()
+ * is held.
+ */
+
+/* Iterate forward over the elements of the list.  */
+#define cds_list_for_each_rcu(pos, head) \
+       for (pos = rcu_dereference((head)->next); pos != (head); \
+               pos = rcu_dereference(pos->next))
+
+
+/* Iterate through elements of the list. */
+#define cds_list_for_each_entry_rcu(pos, head, member) \
+       for (pos = cds_list_entry(rcu_dereference((head)->next), __typeof__(*pos), member); \
+               &pos->member != (head); \
+               pos = cds_list_entry(rcu_dereference(pos->member.next), __typeof__(*pos), member))
+
+#endif /* _URCU_RCULIST_H */
diff --git a/include/urcu/ref.h b/include/urcu/ref.h
new file mode 100644 (file)
index 0000000..e546da5
--- /dev/null
@@ -0,0 +1,98 @@
+#ifndef _URCU_REF_H
+#define _URCU_REF_H
+
+/*
+ * Userspace RCU - Reference counting
+ *
+ * Copyright (C) 2009 Novell Inc.
+ * Copyright (C) 2010 Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ *
+ * Author: Jan Blunck <jblunck@suse.de>
+ *
+ * This program is free software; you can redistribute it and/or modify it
+ * under the terms of the GNU Lesser General Public License version 2.1 as
+ * published by the Free  Software Foundation.
+ */
+
+#include <assert.h>
+#include <stdbool.h>
+#include <limits.h>
+#include <stdlib.h>
+#include <urcu/uatomic.h>
+
+struct urcu_ref {
+       long refcount; /* ATOMIC */
+};
+
+static inline void urcu_ref_set(struct urcu_ref *ref, long val)
+{
+       uatomic_set(&ref->refcount, val);
+}
+
+static inline void urcu_ref_init(struct urcu_ref *ref)
+{
+       urcu_ref_set(ref, 1);
+}
+
+static inline bool  __attribute__((warn_unused_result))
+               urcu_ref_get_safe(struct urcu_ref *ref)
+{
+       long old, _new, res;
+
+       old = uatomic_read(&ref->refcount);
+       for (;;) {
+               if (old == LONG_MAX) {
+                       return false;   /* Failure. */
+               }
+               _new = old + 1;
+               res = uatomic_cmpxchg(&ref->refcount, old, _new);
+               if (res == old) {
+                       return true;    /* Success. */
+               }
+               old = res;
+       }
+}
+
+static inline void urcu_ref_get(struct urcu_ref *ref)
+{
+       if (!urcu_ref_get_safe(ref))
+               abort();
+}
+
+static inline void urcu_ref_put(struct urcu_ref *ref,
+                               void (*release)(struct urcu_ref *))
+{
+       long res = uatomic_sub_return(&ref->refcount, 1);
+       assert (res >= 0);
+       if (res == 0)
+               release(ref);
+}
+
+/*
+ * urcu_ref_get_unless_zero
+ *
+ * Allows getting a reference atomically if the reference count is not
+ * zero. Returns true if the reference is taken, false otherwise. This
+ * needs to be used in conjunction with another synchronization
+ * technique (e.g.  RCU or mutex) to ensure existence of the reference
+ * count. False is also returned in case incrementing the refcount would
+ * result in an overflow.
+ */
+static inline bool urcu_ref_get_unless_zero(struct urcu_ref *ref)
+{
+       long old, _new, res;
+
+       old = uatomic_read(&ref->refcount);
+       for (;;) {
+               if (old == 0 || old == LONG_MAX)
+                       return false;   /* Failure. */
+               _new = old + 1;
+               res = uatomic_cmpxchg(&ref->refcount, old, _new);
+               if (res == old) {
+                       return true;    /* Success. */
+               }
+               old = res;
+       }
+}
+
+#endif /* _URCU_REF_H */
diff --git a/include/urcu/static/lfstack.h b/include/urcu/static/lfstack.h
new file mode 100644 (file)
index 0000000..05d0bb4
--- /dev/null
@@ -0,0 +1,318 @@
+#ifndef _URCU_STATIC_LFSTACK_H
+#define _URCU_STATIC_LFSTACK_H
+
+/*
+ * urcu/static/lfstack.h
+ *
+ * Userspace RCU library - Lock-Free Stack
+ *
+ * Copyright 2010-2012 - Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ *
+ * TO BE INCLUDED ONLY IN LGPL-COMPATIBLE CODE. See urcu/lfstack.h for
+ * linking dynamically with the userspace rcu library.
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ */
+
+#include <stdbool.h>
+#include <pthread.h>
+#include <assert.h>
+#include <urcu/uatomic.h>
+#include <urcu-pointer.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+/*
+ * Lock-free stack.
+ *
+ * Stack implementing push, pop, pop_all operations, as well as iterator
+ * on the stack head returned by pop_all.
+ *
+ * Synchronization table:
+ *
+ * External synchronization techniques described in the API below is
+ * required between pairs marked with "X". No external synchronization
+ * required between pairs marked with "-".
+ *
+ *                      cds_lfs_push  __cds_lfs_pop  __cds_lfs_pop_all
+ * cds_lfs_push               -              -                  -
+ * __cds_lfs_pop              -              X                  X
+ * __cds_lfs_pop_all          -              X                  -
+ *
+ * cds_lfs_pop_blocking and cds_lfs_pop_all_blocking use an internal
+ * mutex to provide synchronization.
+ */
+
+/*
+ * cds_lfs_node_init: initialize lock-free stack node.
+ */
+static inline
+void _cds_lfs_node_init(struct cds_lfs_node *node)
+{
+}
+
+/*
+ * cds_lfs_init: initialize lock-free stack (with lock). Pair with
+ * cds_lfs_destroy().
+ */
+static inline
+void _cds_lfs_init(struct cds_lfs_stack *s)
+{
+        int ret;
+
+       s->head = NULL;
+       ret = pthread_mutex_init(&s->lock, NULL);
+       assert(!ret);
+}
+
+/*
+ * cds_lfs_destroy: destroy lock-free stack (with lock). Pair with
+ * cds_lfs_init().
+ */
+static inline
+void _cds_lfs_destroy(struct cds_lfs_stack *s)
+{
+        int ret = pthread_mutex_destroy(&s->lock);
+       assert(!ret);
+}
+
+/*
+ * ___cds_lfs_init: initialize lock-free stack (without lock).
+ * Don't pair with any destroy function.
+ */
+static inline
+void ___cds_lfs_init(struct __cds_lfs_stack *s)
+{
+       s->head = NULL;
+}
+
+static inline
+bool ___cds_lfs_empty_head(struct cds_lfs_head *head)
+{
+       return head == NULL;
+}
+
+/*
+ * cds_lfs_empty: return whether lock-free stack is empty.
+ *
+ * No memory barrier is issued. No mutual exclusion is required.
+ */
+static inline
+bool _cds_lfs_empty(cds_lfs_stack_ptr_t s)
+{
+       return ___cds_lfs_empty_head(CMM_LOAD_SHARED(s._s->head));
+}
+
+/*
+ * cds_lfs_push: push a node into the stack.
+ *
+ * Does not require any synchronization with other push nor pop.
+ *
+ * Lock-free stack push is not subject to ABA problem, so no need to
+ * take the RCU read-side lock. Even if "head" changes between two
+ * uatomic_cmpxchg() invocations here (being popped, and then pushed
+ * again by one or more concurrent threads), the second
+ * uatomic_cmpxchg() invocation only cares about pushing a new entry at
+ * the head of the stack, ensuring consistency by making sure the new
+ * node->next is the same pointer value as the value replaced as head.
+ * It does not care about the content of the actual next node, so it can
+ * very well be reallocated between the two uatomic_cmpxchg().
+ *
+ * We take the approach of expecting the stack to be usually empty, so
+ * we first try an initial uatomic_cmpxchg() on a NULL old_head, and
+ * retry if the old head was non-NULL (the value read by the first
+ * uatomic_cmpxchg() is used as old head for the following loop). The
+ * upside of this scheme is to minimize the amount of cacheline traffic,
+ * always performing an exclusive cacheline access, rather than doing
+ * non-exclusive followed by exclusive cacheline access (which would be
+ * required if we first read the old head value). This design decision
+ * might be revisited after more thorough benchmarking on various
+ * platforms.
+ *
+ * Returns 0 if the stack was empty prior to adding the node.
+ * Returns non-zero otherwise.
+ */
+static inline
+bool _cds_lfs_push(cds_lfs_stack_ptr_t u_s,
+                 struct cds_lfs_node *node)
+{
+       struct __cds_lfs_stack *s = u_s._s;
+       struct cds_lfs_head *head = NULL;
+       struct cds_lfs_head *new_head =
+               caa_container_of(node, struct cds_lfs_head, node);
+
+       for (;;) {
+               struct cds_lfs_head *old_head = head;
+
+               /*
+                * node->next is still private at this point, no need to
+                * perform a _CMM_STORE_SHARED().
+                */
+               node->next = &head->node;
+               /*
+                * uatomic_cmpxchg() implicit memory barrier orders earlier
+                * stores to node before publication.
+                */
+               head = uatomic_cmpxchg(&s->head, old_head, new_head);
+               if (old_head == head)
+                       break;
+       }
+       return !___cds_lfs_empty_head(head);
+}
+
+/*
+ * __cds_lfs_pop: pop a node from the stack.
+ *
+ * Returns NULL if stack is empty.
+ *
+ * __cds_lfs_pop needs to be synchronized using one of the following
+ * techniques:
+ *
+ * 1) Calling __cds_lfs_pop under rcu read lock critical section.
+ *    Both __cds_lfs_pop and __cds_lfs_pop_all callers must wait for a
+ *    grace period to pass before freeing the returned node or pushing
+ *    the node back into the stack. It is valid to overwrite the content
+ *    of cds_lfs_node immediately after __cds_lfs_pop and
+ *    __cds_lfs_pop_all. No RCU read-side critical section is needed
+ *    around __cds_lfs_pop_all.
+ * 2) Using mutual exclusion (e.g. mutexes) to protect __cds_lfs_pop
+ *    and __cds_lfs_pop_all callers.
+ * 3) Ensuring that only ONE thread can call __cds_lfs_pop() and
+ *    __cds_lfs_pop_all(). (multi-provider/single-consumer scheme).
+ */
+static inline
+struct cds_lfs_node *___cds_lfs_pop(cds_lfs_stack_ptr_t u_s)
+{
+       struct __cds_lfs_stack *s = u_s._s;
+
+       for (;;) {
+               struct cds_lfs_head *head, *next_head;
+               struct cds_lfs_node *next;
+
+               head = _CMM_LOAD_SHARED(s->head);
+               if (___cds_lfs_empty_head(head))
+                       return NULL;    /* Empty stack */
+
+               /*
+                * Read head before head->next. Matches the implicit
+                * memory barrier before uatomic_cmpxchg() in
+                * cds_lfs_push.
+                */
+               cmm_smp_read_barrier_depends();
+               next = _CMM_LOAD_SHARED(head->node.next);
+               next_head = caa_container_of(next,
+                               struct cds_lfs_head, node);
+               if (uatomic_cmpxchg(&s->head, head, next_head) == head)
+                       return &head->node;
+               /* busy-loop if head changed under us */
+       }
+}
+
+/*
+ * __cds_lfs_pop_all: pop all nodes from a stack.
+ *
+ * __cds_lfs_pop_all does not require any synchronization with other
+ * push, nor with other __cds_lfs_pop_all, but requires synchronization
+ * matching the technique used to synchronize __cds_lfs_pop:
+ *
+ * 1) If __cds_lfs_pop is called under rcu read lock critical section,
+ *    both __cds_lfs_pop and __cds_lfs_pop_all callers must wait for a
+ *    grace period to pass before freeing the returned node or pushing
+ *    the node back into the stack. It is valid to overwrite the content
+ *    of cds_lfs_node immediately after __cds_lfs_pop and
+ *    __cds_lfs_pop_all. No RCU read-side critical section is needed
+ *    around __cds_lfs_pop_all.
+ * 2) Using mutual exclusion (e.g. mutexes) to protect __cds_lfs_pop and
+ *    __cds_lfs_pop_all callers.
+ * 3) Ensuring that only ONE thread can call __cds_lfs_pop() and
+ *    __cds_lfs_pop_all(). (multi-provider/single-consumer scheme).
+ */
+static inline
+struct cds_lfs_head *___cds_lfs_pop_all(cds_lfs_stack_ptr_t u_s)
+{
+       struct __cds_lfs_stack *s = u_s._s;
+
+       /*
+        * Implicit memory barrier after uatomic_xchg() matches implicit
+        * memory barrier before uatomic_cmpxchg() in cds_lfs_push. It
+        * ensures that all nodes of the returned list are consistent.
+        * There is no need to issue memory barriers when iterating on
+        * the returned list, because the full memory barrier issued
+        * prior to each uatomic_cmpxchg, which each write to head, are
+        * taking care to order writes to each node prior to the full
+        * memory barrier after this uatomic_xchg().
+        */
+       return uatomic_xchg(&s->head, NULL);
+}
+
+/*
+ * cds_lfs_pop_lock: lock stack pop-protection mutex.
+ */
+static inline void _cds_lfs_pop_lock(struct cds_lfs_stack *s)
+{
+       int ret;
+
+       ret = pthread_mutex_lock(&s->lock);
+       assert(!ret);
+}
+
+/*
+ * cds_lfs_pop_unlock: unlock stack pop-protection mutex.
+ */
+static inline void _cds_lfs_pop_unlock(struct cds_lfs_stack *s)
+{
+       int ret;
+
+       ret = pthread_mutex_unlock(&s->lock);
+       assert(!ret);
+}
+
+/*
+ * Call __cds_lfs_pop with an internal pop mutex held.
+ */
+static inline
+struct cds_lfs_node *
+_cds_lfs_pop_blocking(struct cds_lfs_stack *s)
+{
+       struct cds_lfs_node *retnode;
+
+       _cds_lfs_pop_lock(s);
+       retnode = ___cds_lfs_pop(s);
+       _cds_lfs_pop_unlock(s);
+       return retnode;
+}
+
+/*
+ * Call __cds_lfs_pop_all with an internal pop mutex held.
+ */
+static inline
+struct cds_lfs_head *
+_cds_lfs_pop_all_blocking(struct cds_lfs_stack *s)
+{
+       struct cds_lfs_head *rethead;
+
+       _cds_lfs_pop_lock(s);
+       rethead = ___cds_lfs_pop_all(s);
+       _cds_lfs_pop_unlock(s);
+       return rethead;
+}
+
+#ifdef __cplusplus
+}
+#endif
+
+#endif /* _URCU_STATIC_LFSTACK_H */
diff --git a/include/urcu/static/rculfqueue.h b/include/urcu/static/rculfqueue.h
new file mode 100644 (file)
index 0000000..af73c6f
--- /dev/null
@@ -0,0 +1,228 @@
+#ifndef _URCU_RCULFQUEUE_STATIC_H
+#define _URCU_RCULFQUEUE_STATIC_H
+
+/*
+ * rculfqueue-static.h
+ *
+ * Userspace RCU library - Lock-Free RCU Queue
+ *
+ * Copyright 2010 - Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ *
+ * TO BE INCLUDED ONLY IN LGPL-COMPATIBLE CODE. See rculfqueue.h for linking
+ * dynamically with the userspace rcu library.
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ */
+
+#include <urcu-call-rcu.h>
+#include <urcu/uatomic.h>
+#include <urcu-pointer.h>
+#include <assert.h>
+#include <errno.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+struct cds_lfq_node_rcu_dummy {
+       struct cds_lfq_node_rcu parent;
+       struct rcu_head head;
+       struct cds_lfq_queue_rcu *q;
+};
+
+/*
+ * Lock-free RCU queue. Enqueue and dequeue operations hold a RCU read
+ * lock to deal with cmpxchg ABA problem. This queue is *not* circular:
+ * head points to the oldest node, tail points to the newest node.
+ * A dummy node is kept to ensure enqueue and dequeue can always proceed
+ * concurrently. Keeping a separate head and tail helps with large
+ * queues: enqueue and dequeue can proceed concurrently without
+ * wrestling for exclusive access to the same variables.
+ *
+ * Dequeue retry if it detects that it would be dequeueing the last node
+ * (it means a dummy node dequeue-requeue is in progress). This ensures
+ * that there is always at least one node in the queue.
+ *
+ * In the dequeue operation, we internally reallocate the dummy node
+ * upon dequeue/requeue and use call_rcu to free the old one after a
+ * grace period.
+ */
+
+static inline
+struct cds_lfq_node_rcu *make_dummy(struct cds_lfq_queue_rcu *q,
+                                   struct cds_lfq_node_rcu *next)
+{
+       struct cds_lfq_node_rcu_dummy *dummy;
+
+       dummy = malloc(sizeof(struct cds_lfq_node_rcu_dummy));
+       assert(dummy);
+       dummy->parent.next = next;
+       dummy->parent.dummy = 1;
+       dummy->q = q;
+       return &dummy->parent;
+}
+
+static inline
+void free_dummy_cb(struct rcu_head *head)
+{
+       struct cds_lfq_node_rcu_dummy *dummy =
+               caa_container_of(head, struct cds_lfq_node_rcu_dummy, head);
+       free(dummy);
+}
+
+static inline
+void rcu_free_dummy(struct cds_lfq_node_rcu *node)
+{
+       struct cds_lfq_node_rcu_dummy *dummy;
+
+       assert(node->dummy);
+       dummy = caa_container_of(node, struct cds_lfq_node_rcu_dummy, parent);
+       dummy->q->queue_call_rcu(&dummy->head, free_dummy_cb);
+}
+
+static inline
+void free_dummy(struct cds_lfq_node_rcu *node)
+{
+       struct cds_lfq_node_rcu_dummy *dummy;
+
+       assert(node->dummy);
+       dummy = caa_container_of(node, struct cds_lfq_node_rcu_dummy, parent);
+       free(dummy);
+}
+
+static inline
+void _cds_lfq_node_init_rcu(struct cds_lfq_node_rcu *node)
+{
+       node->next = NULL;
+       node->dummy = 0;
+}
+
+static inline
+void _cds_lfq_init_rcu(struct cds_lfq_queue_rcu *q,
+                      void queue_call_rcu(struct rcu_head *head,
+                               void (*func)(struct rcu_head *head)))
+{
+       q->tail = make_dummy(q, NULL);
+       q->head = q->tail;
+       q->queue_call_rcu = queue_call_rcu;
+}
+
+/*
+ * The queue should be emptied before calling destroy.
+ *
+ * Return 0 on success, -EPERM if queue is not empty.
+ */
+static inline
+int _cds_lfq_destroy_rcu(struct cds_lfq_queue_rcu *q)
+{
+       struct cds_lfq_node_rcu *head;
+
+       head = rcu_dereference(q->head);
+       if (!(head->dummy && head->next == NULL))
+               return -EPERM;  /* not empty */
+       free_dummy(head);
+       return 0;
+}
+
+/*
+ * Should be called under rcu read lock critical section.
+ */
+static inline
+void _cds_lfq_enqueue_rcu(struct cds_lfq_queue_rcu *q,
+                         struct cds_lfq_node_rcu *node)
+{
+       /*
+        * uatomic_cmpxchg() implicit memory barrier orders earlier stores to
+        * node before publication.
+        */
+
+       for (;;) {
+               struct cds_lfq_node_rcu *tail, *next;
+
+               tail = rcu_dereference(q->tail);
+               next = uatomic_cmpxchg(&tail->next, NULL, node);
+               if (next == NULL) {
+                       /*
+                        * Tail was at the end of queue, we successfully
+                        * appended to it. Now move tail (another
+                        * enqueue might beat us to it, that's fine).
+                        */
+                       (void) uatomic_cmpxchg(&q->tail, tail, node);
+                       return;
+               } else {
+                       /*
+                        * Failure to append to current tail.
+                        * Help moving tail further and retry.
+                        */
+                       (void) uatomic_cmpxchg(&q->tail, tail, next);
+                       continue;
+               }
+       }
+}
+
+static inline
+void enqueue_dummy(struct cds_lfq_queue_rcu *q)
+{
+       struct cds_lfq_node_rcu *node;
+
+       /* We need to reallocate to protect from ABA. */
+       node = make_dummy(q, NULL);
+       _cds_lfq_enqueue_rcu(q, node);
+}
+
+/*
+ * Should be called under rcu read lock critical section.
+ *
+ * The caller must wait for a grace period to pass before freeing the returned
+ * node or modifying the cds_lfq_node_rcu structure.
+ * Returns NULL if queue is empty.
+ */
+static inline
+struct cds_lfq_node_rcu *_cds_lfq_dequeue_rcu(struct cds_lfq_queue_rcu *q)
+{
+       for (;;) {
+               struct cds_lfq_node_rcu *head, *next;
+
+               head = rcu_dereference(q->head);
+               next = rcu_dereference(head->next);
+               if (head->dummy && next == NULL)
+                       return NULL;    /* empty */
+               /*
+                * We never, ever allow dequeue to get to a state where
+                * the queue is empty (we need at least one node in the
+                * queue). This is ensured by checking if the head next
+                * is NULL, which means we need to enqueue a dummy node
+                * before we can hope dequeuing anything.
+                */
+               if (!next) {
+                       enqueue_dummy(q);
+                       next = rcu_dereference(head->next);
+               }
+               if (uatomic_cmpxchg(&q->head, head, next) != head)
+                       continue;       /* Concurrently pushed. */
+               if (head->dummy) {
+                       /* Free dummy after grace period. */
+                       rcu_free_dummy(head);
+                       continue;       /* try again */
+               }
+               return head;
+       }
+}
+
+#ifdef __cplusplus
+}
+#endif
+
+#endif /* _URCU_RCULFQUEUE_STATIC_H */
diff --git a/include/urcu/static/rculfstack.h b/include/urcu/static/rculfstack.h
new file mode 100644 (file)
index 0000000..3473cce
--- /dev/null
@@ -0,0 +1,128 @@
+#ifndef _URCU_RCULFSTACK_STATIC_H
+#define _URCU_RCULFSTACK_STATIC_H
+
+/*
+ * rculfstack-static.h
+ *
+ * Userspace RCU library - Lock-Free RCU Stack
+ *
+ * Copyright 2010 - Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ *
+ * TO BE INCLUDED ONLY IN LGPL-COMPATIBLE CODE. See rculfstack.h for linking
+ * dynamically with the userspace rcu library.
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ */
+
+#include <urcu/uatomic.h>
+#include <urcu-pointer.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+static inline
+void _cds_lfs_node_init_rcu(struct cds_lfs_node_rcu *node)
+{
+}
+
+static inline
+void _cds_lfs_init_rcu(struct cds_lfs_stack_rcu *s)
+{
+       s->head = NULL;
+}
+
+/*
+ * Lock-free stack push is not subject to ABA problem, so no need to
+ * take the RCU read-side lock. Even if "head" changes between two
+ * uatomic_cmpxchg() invocations here (being popped, and then pushed
+ * again by one or more concurrent threads), the second
+ * uatomic_cmpxchg() invocation only cares about pushing a new entry at
+ * the head of the stack, ensuring consistency by making sure the new
+ * node->next is the same pointer value as the value replaced as head.
+ * It does not care about the content of the actual next node, so it can
+ * very well be reallocated between the two uatomic_cmpxchg().
+ *
+ * We take the approach of expecting the stack to be usually empty, so
+ * we first try an initial uatomic_cmpxchg() on a NULL old_head, and
+ * retry if the old head was non-NULL (the value read by the first
+ * uatomic_cmpxchg() is used as old head for the following loop). The
+ * upside of this scheme is to minimize the amount of cacheline traffic,
+ * always performing an exclusive cacheline access, rather than doing
+ * non-exclusive followed by exclusive cacheline access (which would be
+ * required if we first read the old head value). This design decision
+ * might be revisited after more throrough benchmarking on various
+ * platforms.
+ *
+ * Returns 0 if the stack was empty prior to adding the node.
+ * Returns non-zero otherwise.
+ */
+static inline
+int _cds_lfs_push_rcu(struct cds_lfs_stack_rcu *s,
+                         struct cds_lfs_node_rcu *node)
+{
+       struct cds_lfs_node_rcu *head = NULL;
+
+       for (;;) {
+               struct cds_lfs_node_rcu *old_head = head;
+
+               node->next = head;
+               /*
+                * uatomic_cmpxchg() implicit memory barrier orders earlier
+                * stores to node before publication.
+                */
+               head = uatomic_cmpxchg(&s->head, old_head, node);
+               if (old_head == head)
+                       break;
+       }
+       return (int) !!((unsigned long) head);
+}
+
+/*
+ * Should be called under rcu read-side lock.
+ *
+ * The caller must wait for a grace period to pass before freeing the returned
+ * node or modifying the cds_lfs_node_rcu structure.
+ * Returns NULL if stack is empty.
+ */
+static inline
+struct cds_lfs_node_rcu *
+_cds_lfs_pop_rcu(struct cds_lfs_stack_rcu *s)
+{
+       for (;;) {
+               struct cds_lfs_node_rcu *head;
+
+               head = rcu_dereference(s->head);
+               if (head) {
+                       struct cds_lfs_node_rcu *next = rcu_dereference(head->next);
+
+                       if (uatomic_cmpxchg(&s->head, head, next) == head) {
+                               return head;
+                       } else {
+                               /* Concurrent modification. Retry. */
+                               continue;
+                       }
+               } else {
+                       /* Empty stack */
+                       return NULL;
+               }
+       }
+}
+
+#ifdef __cplusplus
+}
+#endif
+
+#endif /* _URCU_RCULFSTACK_STATIC_H */
diff --git a/include/urcu/static/urcu-bp.h b/include/urcu/static/urcu-bp.h
new file mode 100644 (file)
index 0000000..6e52d84
--- /dev/null
@@ -0,0 +1,206 @@
+#ifndef _URCU_BP_STATIC_H
+#define _URCU_BP_STATIC_H
+
+/*
+ * urcu-bp-static.h
+ *
+ * Userspace RCU header.
+ *
+ * TO BE INCLUDED ONLY IN CODE THAT IS TO BE RECOMPILED ON EACH LIBURCU
+ * RELEASE. See urcu.h for linking dynamically with the userspace rcu library.
+ *
+ * Copyright (c) 2009 Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ * Copyright (c) 2009 Paul E. McKenney, IBM Corporation.
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ *
+ * IBM's contributions to this file may be relicensed under LGPLv2 or later.
+ */
+
+#include <stdlib.h>
+#include <pthread.h>
+#include <unistd.h>
+
+#include <urcu/compiler.h>
+#include <urcu/arch.h>
+#include <urcu/system.h>
+#include <urcu/uatomic.h>
+#include <urcu/list.h>
+#include <urcu/tls-compat.h>
+#include <urcu/debug.h>
+
+/*
+ * This code section can only be included in LGPL 2.1 compatible source code.
+ * See below for the function call wrappers which can be used in code meant to
+ * be only linked with the Userspace RCU library. This comes with a small
+ * performance degradation on the read-side due to the added function calls.
+ * This is required to permit relinking with newer versions of the library.
+ */
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+enum rcu_state {
+       RCU_READER_ACTIVE_CURRENT,
+       RCU_READER_ACTIVE_OLD,
+       RCU_READER_INACTIVE,
+};
+
+/*
+ * The trick here is that RCU_GP_CTR_PHASE must be a multiple of 8 so we can use a
+ * full 8-bits, 16-bits or 32-bits bitmask for the lower order bits.
+ */
+#define RCU_GP_COUNT           (1UL << 0)
+/* Use the amount of bits equal to half of the architecture long size */
+#define RCU_GP_CTR_PHASE               (1UL << (sizeof(long) << 2))
+#define RCU_GP_CTR_NEST_MASK   (RCU_GP_CTR_PHASE - 1)
+
+/*
+ * Used internally by _rcu_read_lock.
+ */
+extern void rcu_bp_register(void);
+
+struct rcu_gp {
+       /*
+        * Global grace period counter.
+        * Contains the current RCU_GP_CTR_PHASE.
+        * Also has a RCU_GP_COUNT of 1, to accelerate the reader fast path.
+        * Written to only by writer with mutex taken.
+        * Read by both writer and readers.
+        */
+       unsigned long ctr;
+} __attribute__((aligned(CAA_CACHE_LINE_SIZE)));
+
+extern struct rcu_gp rcu_gp;
+
+struct rcu_reader {
+       /* Data used by both reader and synchronize_rcu() */
+       unsigned long ctr;
+       /* Data used for registry */
+       struct cds_list_head node __attribute__((aligned(CAA_CACHE_LINE_SIZE)));
+       pthread_t tid;
+       int alloc;      /* registry entry allocated */
+};
+
+/*
+ * Bulletproof version keeps a pointer to a registry not part of the TLS.
+ * Adds a pointer dereference on the read-side, but won't require to unregister
+ * the reader thread.
+ */
+extern DECLARE_URCU_TLS(struct rcu_reader *, rcu_reader);
+
+extern int urcu_bp_has_sys_membarrier;
+
+static inline void urcu_bp_smp_mb_slave(void)
+{
+       if (caa_likely(urcu_bp_has_sys_membarrier))
+               cmm_barrier();
+       else
+               cmm_smp_mb();
+}
+
+static inline enum rcu_state rcu_reader_state(unsigned long *ctr)
+{
+       unsigned long v;
+
+       if (ctr == NULL)
+               return RCU_READER_INACTIVE;
+       /*
+        * Make sure both tests below are done on the same version of *value
+        * to insure consistency.
+        */
+       v = CMM_LOAD_SHARED(*ctr);
+       if (!(v & RCU_GP_CTR_NEST_MASK))
+               return RCU_READER_INACTIVE;
+       if (!((v ^ rcu_gp.ctr) & RCU_GP_CTR_PHASE))
+               return RCU_READER_ACTIVE_CURRENT;
+       return RCU_READER_ACTIVE_OLD;
+}
+
+/*
+ * Helper for _rcu_read_lock().  The format of rcu_gp.ctr (as well as
+ * the per-thread rcu_reader.ctr) has the upper bits containing a count of
+ * _rcu_read_lock() nesting, and a lower-order bit that contains either zero
+ * or RCU_GP_CTR_PHASE.  The smp_mb_slave() ensures that the accesses in
+ * _rcu_read_lock() happen before the subsequent read-side critical section.
+ */
+static inline void _rcu_read_lock_update(unsigned long tmp)
+{
+       if (caa_likely(!(tmp & RCU_GP_CTR_NEST_MASK))) {
+               _CMM_STORE_SHARED(URCU_TLS(rcu_reader)->ctr, _CMM_LOAD_SHARED(rcu_gp.ctr));
+               urcu_bp_smp_mb_slave();
+       } else
+               _CMM_STORE_SHARED(URCU_TLS(rcu_reader)->ctr, tmp + RCU_GP_COUNT);
+}
+
+/*
+ * Enter an RCU read-side critical section.
+ *
+ * The first cmm_barrier() call ensures that the compiler does not reorder
+ * the body of _rcu_read_lock() with a mutex.
+ *
+ * This function and its helper are both less than 10 lines long.  The
+ * intent is that this function meets the 10-line criterion in LGPL,
+ * allowing this function to be invoked directly from non-LGPL code.
+ */
+static inline void _rcu_read_lock(void)
+{
+       unsigned long tmp;
+
+       if (caa_unlikely(!URCU_TLS(rcu_reader)))
+               rcu_bp_register(); /* If not yet registered. */
+       cmm_barrier();  /* Ensure the compiler does not reorder us with mutex */
+       tmp = URCU_TLS(rcu_reader)->ctr;
+       urcu_assert((tmp & RCU_GP_CTR_NEST_MASK) != RCU_GP_CTR_NEST_MASK);
+       _rcu_read_lock_update(tmp);
+}
+
+/*
+ * Exit an RCU read-side critical section.  This function is less than
+ * 10 lines of code, and is intended to be usable by non-LGPL code, as
+ * called out in LGPL.
+ */
+static inline void _rcu_read_unlock(void)
+{
+       unsigned long tmp;
+
+       tmp = URCU_TLS(rcu_reader)->ctr;
+       urcu_assert(tmp & RCU_GP_CTR_NEST_MASK);
+       /* Finish using rcu before decrementing the pointer. */
+       urcu_bp_smp_mb_slave();
+       _CMM_STORE_SHARED(URCU_TLS(rcu_reader)->ctr, tmp - RCU_GP_COUNT);
+       cmm_barrier();  /* Ensure the compiler does not reorder us with mutex */
+}
+
+/*
+ * Returns whether within a RCU read-side critical section.
+ *
+ * This function is less than 10 lines long.  The intent is that this
+ * function meets the 10-line criterion for LGPL, allowing this function
+ * to be invoked directly from non-LGPL code.
+ */
+static inline int _rcu_read_ongoing(void)
+{
+       if (caa_unlikely(!URCU_TLS(rcu_reader)))
+               rcu_bp_register(); /* If not yet registered. */
+       return URCU_TLS(rcu_reader)->ctr & RCU_GP_CTR_NEST_MASK;
+}
+
+#ifdef __cplusplus
+}
+#endif
+
+#endif /* _URCU_BP_STATIC_H */
diff --git a/include/urcu/static/urcu-pointer.h b/include/urcu/static/urcu-pointer.h
new file mode 100644 (file)
index 0000000..28333c5
--- /dev/null
@@ -0,0 +1,148 @@
+#ifndef _URCU_POINTER_STATIC_H
+#define _URCU_POINTER_STATIC_H
+
+/*
+ * urcu-pointer-static.h
+ *
+ * Userspace RCU header. Operations on pointers.
+ *
+ * TO BE INCLUDED ONLY IN CODE THAT IS TO BE RECOMPILED ON EACH LIBURCU
+ * RELEASE. See urcu.h for linking dynamically with the userspace rcu library.
+ *
+ * Copyright (c) 2009 Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ * Copyright (c) 2009 Paul E. McKenney, IBM Corporation.
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ *
+ * IBM's contributions to this file may be relicensed under LGPLv2 or later.
+ */
+
+#include <urcu/compiler.h>
+#include <urcu/arch.h>
+#include <urcu/system.h>
+#include <urcu/uatomic.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+/**
+ * _rcu_dereference - reads (copy) a RCU-protected pointer to a local variable
+ * into a RCU read-side critical section. The pointer can later be safely
+ * dereferenced within the critical section.
+ *
+ * This ensures that the pointer copy is invariant thorough the whole critical
+ * section.
+ *
+ * Inserts memory barriers on architectures that require them (currently only
+ * Alpha) and documents which pointers are protected by RCU.
+ *
+ * The compiler memory barrier in CMM_LOAD_SHARED() ensures that value-speculative
+ * optimizations (e.g. VSS: Value Speculation Scheduling) does not perform the
+ * data read before the pointer read by speculating the value of the pointer.
+ * Correct ordering is ensured because the pointer is read as a volatile access.
+ * This acts as a global side-effect operation, which forbids reordering of
+ * dependent memory operations. Note that such concern about dependency-breaking
+ * optimizations will eventually be taken care of by the "memory_order_consume"
+ * addition to forthcoming C++ standard.
+ *
+ * Should match rcu_assign_pointer() or rcu_xchg_pointer().
+ *
+ * This macro is less than 10 lines long.  The intent is that this macro
+ * meets the 10-line criterion in LGPL, allowing this function to be
+ * expanded directly in non-LGPL code.
+ */
+#define _rcu_dereference(p)                                            \
+                               __extension__                           \
+                               ({                                      \
+                               __typeof__(p) _________p1 = CMM_LOAD_SHARED(p); \
+                               cmm_smp_read_barrier_depends();         \
+                               (_________p1);                          \
+                               })
+
+/**
+ * _rcu_cmpxchg_pointer - same as rcu_assign_pointer, but tests if the pointer
+ * is as expected by "old". If succeeds, returns the previous pointer to the
+ * data structure, which can be safely freed after waiting for a quiescent state
+ * using synchronize_rcu(). If fails (unexpected value), returns old (which
+ * should not be freed !).
+ *
+ * This macro is less than 10 lines long.  The intent is that this macro
+ * meets the 10-line criterion in LGPL, allowing this function to be
+ * expanded directly in non-LGPL code.
+ */
+#define _rcu_cmpxchg_pointer(p, old, _new)                             \
+       __extension__                                                   \
+       ({                                                              \
+               __typeof__(*p) _________pold = (old);                   \
+               __typeof__(*p) _________pnew = (_new);                  \
+               if (!__builtin_constant_p(_new) ||                      \
+                   ((_new) != NULL))                                   \
+                       cmm_wmb();                                              \
+               uatomic_cmpxchg(p, _________pold, _________pnew);       \
+       })
+
+/**
+ * _rcu_xchg_pointer - same as rcu_assign_pointer, but returns the previous
+ * pointer to the data structure, which can be safely freed after waiting for a
+ * quiescent state using synchronize_rcu().
+ *
+ * This macro is less than 10 lines long.  The intent is that this macro
+ * meets the 10-line criterion in LGPL, allowing this function to be
+ * expanded directly in non-LGPL code.
+ */
+#define _rcu_xchg_pointer(p, v)                                \
+       __extension__                                   \
+       ({                                              \
+               __typeof__(*p) _________pv = (v);       \
+               if (!__builtin_constant_p(v) ||         \
+                   ((v) != NULL))                      \
+                       cmm_wmb();                              \
+               uatomic_xchg(p, _________pv);           \
+       })
+
+
+#define _rcu_set_pointer(p, v)                         \
+       do {                                            \
+               __typeof__(*p) _________pv = (v);       \
+               if (!__builtin_constant_p(v) ||         \
+                   ((v) != NULL))                      \
+                       cmm_wmb();                              \
+               uatomic_set(p, _________pv);            \
+       } while (0)
+
+/**
+ * _rcu_assign_pointer - assign (publicize) a pointer to a new data structure
+ * meant to be read by RCU read-side critical sections. Returns the assigned
+ * value.
+ *
+ * Documents which pointers will be dereferenced by RCU read-side critical
+ * sections and adds the required memory barriers on architectures requiring
+ * them. It also makes sure the compiler does not reorder code initializing the
+ * data structure before its publication.
+ *
+ * Should match rcu_dereference().
+ *
+ * This macro is less than 10 lines long.  The intent is that this macro
+ * meets the 10-line criterion in LGPL, allowing this function to be
+ * expanded directly in non-LGPL code.
+ */
+#define _rcu_assign_pointer(p, v)      _rcu_set_pointer(&(p), v)
+
+#ifdef __cplusplus
+}
+#endif
+
+#endif /* _URCU_POINTER_STATIC_H */
diff --git a/include/urcu/static/urcu-qsbr.h b/include/urcu/static/urcu-qsbr.h
new file mode 100644 (file)
index 0000000..8d5fd03
--- /dev/null
@@ -0,0 +1,241 @@
+#ifndef _URCU_QSBR_STATIC_H
+#define _URCU_QSBR_STATIC_H
+
+/*
+ * urcu-qsbr-static.h
+ *
+ * Userspace RCU QSBR header.
+ *
+ * TO BE INCLUDED ONLY IN CODE THAT IS TO BE RECOMPILED ON EACH LIBURCU
+ * RELEASE. See urcu.h for linking dynamically with the userspace rcu library.
+ *
+ * Copyright (c) 2009 Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ * Copyright (c) 2009 Paul E. McKenney, IBM Corporation.
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ *
+ * IBM's contributions to this file may be relicensed under LGPLv2 or later.
+ */
+
+#include <stdlib.h>
+#include <pthread.h>
+#include <limits.h>
+#include <unistd.h>
+#include <stdint.h>
+
+#include <urcu/compiler.h>
+#include <urcu/arch.h>
+#include <urcu/system.h>
+#include <urcu/uatomic.h>
+#include <urcu/list.h>
+#include <urcu/futex.h>
+#include <urcu/tls-compat.h>
+#include <urcu/debug.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+/*
+ * This code section can only be included in LGPL 2.1 compatible source code.
+ * See below for the function call wrappers which can be used in code meant to
+ * be only linked with the Userspace RCU library. This comes with a small
+ * performance degradation on the read-side due to the added function calls.
+ * This is required to permit relinking with newer versions of the library.
+ */
+
+enum rcu_state {
+       RCU_READER_ACTIVE_CURRENT,
+       RCU_READER_ACTIVE_OLD,
+       RCU_READER_INACTIVE,
+};
+
+#define RCU_GP_ONLINE          (1UL << 0)
+#define RCU_GP_CTR             (1UL << 1)
+
+struct rcu_gp {
+       /*
+        * Global quiescent period counter with low-order bits unused.
+        * Using a int rather than a char to eliminate false register
+        * dependencies causing stalls on some architectures.
+        */
+       unsigned long ctr;
+
+       int32_t futex;
+} __attribute__((aligned(CAA_CACHE_LINE_SIZE)));
+
+extern struct rcu_gp rcu_gp;
+
+struct rcu_reader {
+       /* Data used by both reader and synchronize_rcu() */
+       unsigned long ctr;
+       /* Data used for registry */
+       struct cds_list_head node __attribute__((aligned(CAA_CACHE_LINE_SIZE)));
+       int waiting;
+       pthread_t tid;
+       /* Reader registered flag, for internal checks. */
+       unsigned int registered:1;
+};
+
+extern DECLARE_URCU_TLS(struct rcu_reader, rcu_reader);
+
+/*
+ * Wake-up waiting synchronize_rcu(). Called from many concurrent threads.
+ */
+static inline void wake_up_gp(void)
+{
+       if (caa_unlikely(_CMM_LOAD_SHARED(URCU_TLS(rcu_reader).waiting))) {
+               _CMM_STORE_SHARED(URCU_TLS(rcu_reader).waiting, 0);
+               cmm_smp_mb();
+               if (uatomic_read(&rcu_gp.futex) != -1)
+                       return;
+               uatomic_set(&rcu_gp.futex, 0);
+               /*
+                * Ignoring return value until we can make this function
+                * return something (because urcu_die() is not publicly
+                * exposed).
+                */
+               (void) futex_noasync(&rcu_gp.futex, FUTEX_WAKE, 1,
+                               NULL, NULL, 0);
+       }
+}
+
+static inline enum rcu_state rcu_reader_state(unsigned long *ctr)
+{
+       unsigned long v;
+
+       v = CMM_LOAD_SHARED(*ctr);
+       if (!v)
+               return RCU_READER_INACTIVE;
+       if (v == rcu_gp.ctr)
+               return RCU_READER_ACTIVE_CURRENT;
+       return RCU_READER_ACTIVE_OLD;
+}
+
+/*
+ * Enter an RCU read-side critical section.
+ *
+ * This function is less than 10 lines long.  The intent is that this
+ * function meets the 10-line criterion for LGPL, allowing this function
+ * to be invoked directly from non-LGPL code.
+ */
+static inline void _rcu_read_lock(void)
+{
+       urcu_assert(URCU_TLS(rcu_reader).ctr);
+}
+
+/*
+ * Exit an RCU read-side critical section.
+ *
+ * This function is less than 10 lines long.  The intent is that this
+ * function meets the 10-line criterion for LGPL, allowing this function
+ * to be invoked directly from non-LGPL code.
+ */
+static inline void _rcu_read_unlock(void)
+{
+       urcu_assert(URCU_TLS(rcu_reader).ctr);
+}
+
+/*
+ * Returns whether within a RCU read-side critical section.
+ *
+ * This function is less than 10 lines long.  The intent is that this
+ * function meets the 10-line criterion for LGPL, allowing this function
+ * to be invoked directly from non-LGPL code.
+ */
+static inline int _rcu_read_ongoing(void)
+{
+       return URCU_TLS(rcu_reader).ctr;
+}
+
+/*
+ * This is a helper function for _rcu_quiescent_state().
+ * The first cmm_smp_mb() ensures memory accesses in the prior read-side
+ * critical sections are not reordered with store to
+ * URCU_TLS(rcu_reader).ctr, and ensures that mutexes held within an
+ * offline section that would happen to end with this
+ * rcu_quiescent_state() call are not reordered with
+ * store to URCU_TLS(rcu_reader).ctr.
+ */
+static inline void _rcu_quiescent_state_update_and_wakeup(unsigned long gp_ctr)
+{
+       cmm_smp_mb();
+       _CMM_STORE_SHARED(URCU_TLS(rcu_reader).ctr, gp_ctr);
+       cmm_smp_mb();   /* write URCU_TLS(rcu_reader).ctr before read futex */
+       wake_up_gp();
+       cmm_smp_mb();
+}
+
+/*
+ * Inform RCU of a quiescent state.
+ *
+ * This function is less than 10 lines long.  The intent is that this
+ * function meets the 10-line criterion for LGPL, allowing this function
+ * to be invoked directly from non-LGPL code.
+ *
+ * We skip the memory barriers and gp store if our local ctr already
+ * matches the global rcu_gp.ctr value: this is OK because a prior
+ * _rcu_quiescent_state() or _rcu_thread_online() already updated it
+ * within our thread, so we have no quiescent state to report.
+ */
+static inline void _rcu_quiescent_state(void)
+{
+       unsigned long gp_ctr;
+
+       urcu_assert(URCU_TLS(rcu_reader).registered);
+       if ((gp_ctr = CMM_LOAD_SHARED(rcu_gp.ctr)) == URCU_TLS(rcu_reader).ctr)
+               return;
+       _rcu_quiescent_state_update_and_wakeup(gp_ctr);
+}
+
+/*
+ * Take a thread offline, prohibiting it from entering further RCU
+ * read-side critical sections.
+ *
+ * This function is less than 10 lines long.  The intent is that this
+ * function meets the 10-line criterion for LGPL, allowing this function
+ * to be invoked directly from non-LGPL code.
+ */
+static inline void _rcu_thread_offline(void)
+{
+       urcu_assert(URCU_TLS(rcu_reader).registered);
+       cmm_smp_mb();
+       CMM_STORE_SHARED(URCU_TLS(rcu_reader).ctr, 0);
+       cmm_smp_mb();   /* write URCU_TLS(rcu_reader).ctr before read futex */
+       wake_up_gp();
+       cmm_barrier();  /* Ensure the compiler does not reorder us with mutex */
+}
+
+/*
+ * Bring a thread online, allowing it to once again enter RCU
+ * read-side critical sections.
+ *
+ * This function is less than 10 lines long.  The intent is that this
+ * function meets the 10-line criterion for LGPL, allowing this function
+ * to be invoked directly from non-LGPL code.
+ */
+static inline void _rcu_thread_online(void)
+{
+       urcu_assert(URCU_TLS(rcu_reader).registered);
+       cmm_barrier();  /* Ensure the compiler does not reorder us with mutex */
+       _CMM_STORE_SHARED(URCU_TLS(rcu_reader).ctr, CMM_LOAD_SHARED(rcu_gp.ctr));
+       cmm_smp_mb();
+}
+
+#ifdef __cplusplus
+}
+#endif
+
+#endif /* _URCU_QSBR_STATIC_H */
diff --git a/include/urcu/static/urcu.h b/include/urcu/static/urcu.h
new file mode 100644 (file)
index 0000000..9082af7
--- /dev/null
@@ -0,0 +1,276 @@
+#ifndef _URCU_STATIC_H
+#define _URCU_STATIC_H
+
+/*
+ * urcu-static.h
+ *
+ * Userspace RCU header.
+ *
+ * TO BE INCLUDED ONLY IN CODE THAT IS TO BE RECOMPILED ON EACH LIBURCU
+ * RELEASE. See urcu.h for linking dynamically with the userspace rcu library.
+ *
+ * Copyright (c) 2009 Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ * Copyright (c) 2009 Paul E. McKenney, IBM Corporation.
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ *
+ * IBM's contributions to this file may be relicensed under LGPLv2 or later.
+ */
+
+#include <stdlib.h>
+#include <pthread.h>
+#include <unistd.h>
+#include <stdint.h>
+
+#include <urcu/compiler.h>
+#include <urcu/arch.h>
+#include <urcu/system.h>
+#include <urcu/uatomic.h>
+#include <urcu/list.h>
+#include <urcu/futex.h>
+#include <urcu/tls-compat.h>
+#include <urcu/rand-compat.h>
+#include <urcu/debug.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+/* Default is RCU_MEMBARRIER */
+#if !defined(RCU_MEMBARRIER) && !defined(RCU_MB) && !defined(RCU_SIGNAL)
+#define RCU_MEMBARRIER
+#endif
+
+/*
+ * This code section can only be included in LGPL 2.1 compatible source code.
+ * See below for the function call wrappers which can be used in code meant to
+ * be only linked with the Userspace RCU library. This comes with a small
+ * performance degradation on the read-side due to the added function calls.
+ * This is required to permit relinking with newer versions of the library.
+ */
+
+/*
+ * The signal number used by the RCU library can be overridden with
+ * -DSIGRCU= when compiling the library.
+ * Provide backward compatibility for liburcu 0.3.x SIGURCU.
+ */
+#ifdef SIGURCU
+#define SIGRCU SIGURCU
+#endif
+
+#ifndef SIGRCU
+#define SIGRCU SIGUSR1
+#endif
+
+enum rcu_state {
+       RCU_READER_ACTIVE_CURRENT,
+       RCU_READER_ACTIVE_OLD,
+       RCU_READER_INACTIVE,
+};
+
+/*
+ * Slave barriers are only guaranteed to be ordered wrt master barriers.
+ *
+ * The pair ordering is detailed as (O: ordered, X: not ordered) :
+ *               slave  master
+ *        slave    X      O
+ *        master   O      O
+ */
+
+#ifdef RCU_MEMBARRIER
+extern int rcu_has_sys_membarrier;
+
+static inline void smp_mb_slave(void)
+{
+       if (caa_likely(rcu_has_sys_membarrier))
+               cmm_barrier();
+       else
+               cmm_smp_mb();
+}
+#endif
+
+#ifdef RCU_MB
+static inline void smp_mb_slave(void)
+{
+       cmm_smp_mb();
+}
+#endif
+
+#ifdef RCU_SIGNAL
+static inline void smp_mb_slave(void)
+{
+       cmm_barrier();
+}
+#endif
+
+/*
+ * The trick here is that RCU_GP_CTR_PHASE must be a multiple of 8 so we can use
+ * a full 8-bits, 16-bits or 32-bits bitmask for the lower order bits.
+ */
+#define RCU_GP_COUNT           (1UL << 0)
+/* Use the amount of bits equal to half of the architecture long size */
+#define RCU_GP_CTR_PHASE       (1UL << (sizeof(unsigned long) << 2))
+#define RCU_GP_CTR_NEST_MASK   (RCU_GP_CTR_PHASE - 1)
+
+struct rcu_gp {
+       /*
+        * Global grace period counter.
+        * Contains the current RCU_GP_CTR_PHASE.
+        * Also has a RCU_GP_COUNT of 1, to accelerate the reader fast path.
+        * Written to only by writer with mutex taken.
+        * Read by both writer and readers.
+        */
+       unsigned long ctr;
+
+       int32_t futex;
+} __attribute__((aligned(CAA_CACHE_LINE_SIZE)));
+
+extern struct rcu_gp rcu_gp;
+
+struct rcu_reader {
+       /* Data used by both reader and synchronize_rcu() */
+       unsigned long ctr;
+       char need_mb;
+       /* Data used for registry */
+       struct cds_list_head node __attribute__((aligned(CAA_CACHE_LINE_SIZE)));
+       pthread_t tid;
+       /* Reader registered flag, for internal checks. */
+       unsigned int registered:1;
+};
+
+extern DECLARE_URCU_TLS(struct rcu_reader, rcu_reader);
+
+/*
+ * Wake-up waiting synchronize_rcu(). Called from many concurrent threads.
+ */
+static inline void wake_up_gp(void)
+{
+       if (caa_unlikely(uatomic_read(&rcu_gp.futex) == -1)) {
+               uatomic_set(&rcu_gp.futex, 0);
+               /*
+                * Ignoring return value until we can make this function
+                * return something (because urcu_die() is not publicly
+                * exposed).
+                */
+               (void) futex_async(&rcu_gp.futex, FUTEX_WAKE, 1,
+                               NULL, NULL, 0);
+       }
+}
+
+static inline enum rcu_state rcu_reader_state(unsigned long *ctr)
+{
+       unsigned long v;
+
+       /*
+        * Make sure both tests below are done on the same version of *value
+        * to insure consistency.
+        */
+       v = CMM_LOAD_SHARED(*ctr);
+       if (!(v & RCU_GP_CTR_NEST_MASK))
+               return RCU_READER_INACTIVE;
+       if (!((v ^ rcu_gp.ctr) & RCU_GP_CTR_PHASE))
+               return RCU_READER_ACTIVE_CURRENT;
+       return RCU_READER_ACTIVE_OLD;
+}
+
+/*
+ * Helper for _rcu_read_lock().  The format of rcu_gp.ctr (as well as
+ * the per-thread rcu_reader.ctr) has the upper bits containing a count of
+ * _rcu_read_lock() nesting, and a lower-order bit that contains either zero
+ * or RCU_GP_CTR_PHASE.  The smp_mb_slave() ensures that the accesses in
+ * _rcu_read_lock() happen before the subsequent read-side critical section.
+ */
+static inline void _rcu_read_lock_update(unsigned long tmp)
+{
+       if (caa_likely(!(tmp & RCU_GP_CTR_NEST_MASK))) {
+               _CMM_STORE_SHARED(URCU_TLS(rcu_reader).ctr, _CMM_LOAD_SHARED(rcu_gp.ctr));
+               smp_mb_slave();
+       } else
+               _CMM_STORE_SHARED(URCU_TLS(rcu_reader).ctr, tmp + RCU_GP_COUNT);
+}
+
+/*
+ * Enter an RCU read-side critical section.
+ *
+ * The first cmm_barrier() call ensures that the compiler does not reorder
+ * the body of _rcu_read_lock() with a mutex.
+ *
+ * This function and its helper are both less than 10 lines long.  The
+ * intent is that this function meets the 10-line criterion in LGPL,
+ * allowing this function to be invoked directly from non-LGPL code.
+ */
+static inline void _rcu_read_lock(void)
+{
+       unsigned long tmp;
+
+       urcu_assert(URCU_TLS(rcu_reader).registered);
+       cmm_barrier();
+       tmp = URCU_TLS(rcu_reader).ctr;
+       urcu_assert((tmp & RCU_GP_CTR_NEST_MASK) != RCU_GP_CTR_NEST_MASK);
+       _rcu_read_lock_update(tmp);
+}
+
+/*
+ * This is a helper function for _rcu_read_unlock().
+ *
+ * The first smp_mb_slave() call ensures that the critical section is
+ * seen to precede the store to rcu_reader.ctr.
+ * The second smp_mb_slave() call ensures that we write to rcu_reader.ctr
+ * before reading the update-side futex.
+ */
+static inline void _rcu_read_unlock_update_and_wakeup(unsigned long tmp)
+{
+       if (caa_likely((tmp & RCU_GP_CTR_NEST_MASK) == RCU_GP_COUNT)) {
+               smp_mb_slave();
+               _CMM_STORE_SHARED(URCU_TLS(rcu_reader).ctr, tmp - RCU_GP_COUNT);
+               smp_mb_slave();
+               wake_up_gp();
+       } else
+               _CMM_STORE_SHARED(URCU_TLS(rcu_reader).ctr, tmp - RCU_GP_COUNT);
+}
+
+/*
+ * Exit an RCU read-side crtical section.  Both this function and its
+ * helper are smaller than 10 lines of code, and are intended to be
+ * usable by non-LGPL code, as called out in LGPL.
+ */
+static inline void _rcu_read_unlock(void)
+{
+       unsigned long tmp;
+
+       urcu_assert(URCU_TLS(rcu_reader).registered);
+       tmp = URCU_TLS(rcu_reader).ctr;
+       urcu_assert(tmp & RCU_GP_CTR_NEST_MASK);
+       _rcu_read_unlock_update_and_wakeup(tmp);
+       cmm_barrier();  /* Ensure the compiler does not reorder us with mutex */
+}
+
+/*
+ * Returns whether within a RCU read-side critical section.
+ *
+ * This function is less than 10 lines long.  The intent is that this
+ * function meets the 10-line criterion for LGPL, allowing this function
+ * to be invoked directly from non-LGPL code.
+ */
+static inline int _rcu_read_ongoing(void)
+{
+       return URCU_TLS(rcu_reader).ctr & RCU_GP_CTR_NEST_MASK;
+}
+
+#ifdef __cplusplus
+}
+#endif
+
+#endif /* _URCU_STATIC_H */
diff --git a/include/urcu/static/wfcqueue.h b/include/urcu/static/wfcqueue.h
new file mode 100644 (file)
index 0000000..67ac05f
--- /dev/null
@@ -0,0 +1,666 @@
+#ifndef _URCU_WFCQUEUE_STATIC_H
+#define _URCU_WFCQUEUE_STATIC_H
+
+/*
+ * urcu/static/wfcqueue.h
+ *
+ * Userspace RCU library - Concurrent Queue with Wait-Free Enqueue/Blocking Dequeue
+ *
+ * TO BE INCLUDED ONLY IN LGPL-COMPATIBLE CODE. See urcu/wfcqueue.h for
+ * linking dynamically with the userspace rcu library.
+ *
+ * Copyright 2010-2012 - Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ * Copyright 2011-2012 - Lai Jiangshan <laijs@cn.fujitsu.com>
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ */
+
+#include <pthread.h>
+#include <assert.h>
+#include <poll.h>
+#include <stdbool.h>
+#include <urcu/compiler.h>
+#include <urcu/uatomic.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+/*
+ * Concurrent queue with wait-free enqueue/blocking dequeue.
+ *
+ * This queue has been designed and implemented collaboratively by
+ * Mathieu Desnoyers and Lai Jiangshan. Inspired from
+ * half-wait-free/half-blocking queue implementation done by Paul E.
+ * McKenney.
+ *
+ * Mutual exclusion of cds_wfcq_* / __cds_wfcq_* API
+ *
+ * Synchronization table:
+ *
+ * External synchronization techniques described in the API below is
+ * required between pairs marked with "X". No external synchronization
+ * required between pairs marked with "-".
+ *
+ * Legend:
+ * [1] cds_wfcq_enqueue
+ * [2] __cds_wfcq_splice (destination queue)
+ * [3] __cds_wfcq_dequeue
+ * [4] __cds_wfcq_splice (source queue)
+ * [5] __cds_wfcq_first
+ * [6] __cds_wfcq_next
+ *
+ *     [1] [2] [3] [4] [5] [6]
+ * [1]  -   -   -   -   -   -
+ * [2]  -   -   -   -   -   -
+ * [3]  -   -   X   X   X   X
+ * [4]  -   -   X   -   X   X
+ * [5]  -   -   X   X   -   -
+ * [6]  -   -   X   X   -   -
+ *
+ * Mutual exclusion can be ensured by holding cds_wfcq_dequeue_lock().
+ *
+ * For convenience, cds_wfcq_dequeue_blocking() and
+ * cds_wfcq_splice_blocking() hold the dequeue lock.
+ *
+ * Besides locking, mutual exclusion of dequeue, splice and iteration
+ * can be ensured by performing all of those operations from a single
+ * thread, without requiring any lock.
+ */
+
+#define WFCQ_ADAPT_ATTEMPTS            10      /* Retry if being set */
+#define WFCQ_WAIT                      10      /* Wait 10 ms if being set */
+
+/*
+ * cds_wfcq_node_init: initialize wait-free queue node.
+ */
+static inline void _cds_wfcq_node_init(struct cds_wfcq_node *node)
+{
+       node->next = NULL;
+}
+
+/*
+ * cds_wfcq_init: initialize wait-free queue (with lock). Pair with
+ * cds_wfcq_destroy().
+ */
+static inline void _cds_wfcq_init(struct cds_wfcq_head *head,
+               struct cds_wfcq_tail *tail)
+{
+       int ret;
+
+       /* Set queue head and tail */
+       _cds_wfcq_node_init(&head->node);
+       tail->p = &head->node;
+       ret = pthread_mutex_init(&head->lock, NULL);
+       assert(!ret);
+}
+
+/*
+ * cds_wfcq_destroy: destroy wait-free queue (with lock). Pair with
+ * cds_wfcq_init().
+ */
+static inline void _cds_wfcq_destroy(struct cds_wfcq_head *head,
+               struct cds_wfcq_tail *tail)
+{
+       int ret = pthread_mutex_destroy(&head->lock);
+       assert(!ret);
+}
+
+/*
+ * __cds_wfcq_init: initialize wait-free queue (without lock). Don't
+ * pair with any destroy function.
+ */
+static inline void ___cds_wfcq_init(struct __cds_wfcq_head *head,
+               struct cds_wfcq_tail *tail)
+{
+       /* Set queue head and tail */
+       _cds_wfcq_node_init(&head->node);
+       tail->p = &head->node;
+}
+
+/*
+ * cds_wfcq_empty: return whether wait-free queue is empty.
+ *
+ * No memory barrier is issued. No mutual exclusion is required.
+ *
+ * We perform the test on head->node.next to check if the queue is
+ * possibly empty, but we confirm this by checking if the tail pointer
+ * points to the head node because the tail pointer is the linearisation
+ * point of the enqueuers. Just checking the head next pointer could
+ * make a queue appear empty if an enqueuer is preempted for a long time
+ * between xchg() and setting the previous node's next pointer.
+ */
+static inline bool _cds_wfcq_empty(cds_wfcq_head_ptr_t u_head,
+               struct cds_wfcq_tail *tail)
+{
+       struct __cds_wfcq_head *head = u_head._h;
+       /*
+        * Queue is empty if no node is pointed by head->node.next nor
+        * tail->p. Even though the tail->p check is sufficient to find
+        * out of the queue is empty, we first check head->node.next as a
+        * common case to ensure that dequeuers do not frequently access
+        * enqueuer's tail->p cache line.
+        */
+       return CMM_LOAD_SHARED(head->node.next) == NULL
+               && CMM_LOAD_SHARED(tail->p) == &head->node;
+}
+
+static inline void _cds_wfcq_dequeue_lock(struct cds_wfcq_head *head,
+               struct cds_wfcq_tail *tail)
+{
+       int ret;
+
+       ret = pthread_mutex_lock(&head->lock);
+       assert(!ret);
+}
+
+static inline void _cds_wfcq_dequeue_unlock(struct cds_wfcq_head *head,
+               struct cds_wfcq_tail *tail)
+{
+       int ret;
+
+       ret = pthread_mutex_unlock(&head->lock);
+       assert(!ret);
+}
+
+static inline bool ___cds_wfcq_append(cds_wfcq_head_ptr_t u_head,
+               struct cds_wfcq_tail *tail,
+               struct cds_wfcq_node *new_head,
+               struct cds_wfcq_node *new_tail)
+{
+       struct __cds_wfcq_head *head = u_head._h;
+       struct cds_wfcq_node *old_tail;
+
+       /*
+        * Implicit memory barrier before uatomic_xchg() orders earlier
+        * stores to data structure containing node and setting
+        * node->next to NULL before publication.
+        */
+       old_tail = uatomic_xchg(&tail->p, new_tail);
+
+       /*
+        * Implicit memory barrier after uatomic_xchg() orders store to
+        * q->tail before store to old_tail->next.
+        *
+        * At this point, dequeuers see a NULL tail->p->next, which
+        * indicates that the queue is being appended to. The following
+        * store will append "node" to the queue from a dequeuer
+        * perspective.
+        */
+       CMM_STORE_SHARED(old_tail->next, new_head);
+       /*
+        * Return false if queue was empty prior to adding the node,
+        * else return true.
+        */
+       return old_tail != &head->node;
+}
+
+/*
+ * cds_wfcq_enqueue: enqueue a node into a wait-free queue.
+ *
+ * Issues a full memory barrier before enqueue. No mutual exclusion is
+ * required.
+ *
+ * Returns false if the queue was empty prior to adding the node.
+ * Returns true otherwise.
+ */
+static inline bool _cds_wfcq_enqueue(cds_wfcq_head_ptr_t head,
+               struct cds_wfcq_tail *tail,
+               struct cds_wfcq_node *new_tail)
+{
+       return ___cds_wfcq_append(head, tail, new_tail, new_tail);
+}
+
+/*
+ * ___cds_wfcq_busy_wait: adaptative busy-wait.
+ *
+ * Returns 1 if nonblocking and needs to block, 0 otherwise.
+ */
+static inline bool
+___cds_wfcq_busy_wait(int *attempt, int blocking)
+{
+       if (!blocking)
+               return 1;
+       if (++(*attempt) >= WFCQ_ADAPT_ATTEMPTS) {
+               (void) poll(NULL, 0, WFCQ_WAIT);        /* Wait for 10ms */
+               *attempt = 0;
+       } else {
+               caa_cpu_relax();
+       }
+       return 0;
+}
+
+/*
+ * Waiting for enqueuer to complete enqueue and return the next node.
+ */
+static inline struct cds_wfcq_node *
+___cds_wfcq_node_sync_next(struct cds_wfcq_node *node, int blocking)
+{
+       struct cds_wfcq_node *next;
+       int attempt = 0;
+
+       /*
+        * Adaptative busy-looping waiting for enqueuer to complete enqueue.
+        */
+       while ((next = CMM_LOAD_SHARED(node->next)) == NULL) {
+               if (___cds_wfcq_busy_wait(&attempt, blocking))
+                       return CDS_WFCQ_WOULDBLOCK;
+       }
+
+       return next;
+}
+
+static inline struct cds_wfcq_node *
+___cds_wfcq_first(cds_wfcq_head_ptr_t u_head,
+               struct cds_wfcq_tail *tail,
+               int blocking)
+{
+       struct __cds_wfcq_head *head = u_head._h;
+       struct cds_wfcq_node *node;
+
+       if (_cds_wfcq_empty(__cds_wfcq_head_cast(head), tail))
+               return NULL;
+       node = ___cds_wfcq_node_sync_next(&head->node, blocking);
+       /* Load head->node.next before loading node's content */
+       cmm_smp_read_barrier_depends();
+       return node;
+}
+
+/*
+ * __cds_wfcq_first_blocking: get first node of a queue, without dequeuing.
+ *
+ * Content written into the node before enqueue is guaranteed to be
+ * consistent, but no other memory ordering is ensured.
+ * Dequeue/splice/iteration mutual exclusion should be ensured by the
+ * caller.
+ *
+ * Used by for-like iteration macros in urcu/wfqueue.h:
+ * __cds_wfcq_for_each_blocking()
+ * __cds_wfcq_for_each_blocking_safe()
+ *
+ * Returns NULL if queue is empty, first node otherwise.
+ */
+static inline struct cds_wfcq_node *
+___cds_wfcq_first_blocking(cds_wfcq_head_ptr_t head,
+               struct cds_wfcq_tail *tail)
+{
+       return ___cds_wfcq_first(head, tail, 1);
+}
+
+
+/*
+ * __cds_wfcq_first_nonblocking: get first node of a queue, without dequeuing.
+ *
+ * Same as __cds_wfcq_first_blocking, but returns CDS_WFCQ_WOULDBLOCK if
+ * it needs to block.
+ */
+static inline struct cds_wfcq_node *
+___cds_wfcq_first_nonblocking(cds_wfcq_head_ptr_t head,
+               struct cds_wfcq_tail *tail)
+{
+       return ___cds_wfcq_first(head, tail, 0);
+}
+
+static inline struct cds_wfcq_node *
+___cds_wfcq_next(cds_wfcq_head_ptr_t head,
+               struct cds_wfcq_tail *tail,
+               struct cds_wfcq_node *node,
+               int blocking)
+{
+       struct cds_wfcq_node *next;
+
+       /*
+        * Even though the following tail->p check is sufficient to find
+        * out if we reached the end of the queue, we first check
+        * node->next as a common case to ensure that iteration on nodes
+        * do not frequently access enqueuer's tail->p cache line.
+        */
+       if ((next = CMM_LOAD_SHARED(node->next)) == NULL) {
+               /* Load node->next before tail->p */
+               cmm_smp_rmb();
+               if (CMM_LOAD_SHARED(tail->p) == node)
+                       return NULL;
+               next = ___cds_wfcq_node_sync_next(node, blocking);
+       }
+       /* Load node->next before loading next's content */
+       cmm_smp_read_barrier_depends();
+       return next;
+}
+
+/*
+ * __cds_wfcq_next_blocking: get next node of a queue, without dequeuing.
+ *
+ * Content written into the node before enqueue is guaranteed to be
+ * consistent, but no other memory ordering is ensured.
+ * Dequeue/splice/iteration mutual exclusion should be ensured by the
+ * caller.
+ *
+ * Used by for-like iteration macros in urcu/wfqueue.h:
+ * __cds_wfcq_for_each_blocking()
+ * __cds_wfcq_for_each_blocking_safe()
+ *
+ * Returns NULL if reached end of queue, non-NULL next queue node
+ * otherwise.
+ */
+static inline struct cds_wfcq_node *
+___cds_wfcq_next_blocking(cds_wfcq_head_ptr_t head,
+               struct cds_wfcq_tail *tail,
+               struct cds_wfcq_node *node)
+{
+       return ___cds_wfcq_next(head, tail, node, 1);
+}
+
+/*
+ * __cds_wfcq_next_blocking: get next node of a queue, without dequeuing.
+ *
+ * Same as __cds_wfcq_next_blocking, but returns CDS_WFCQ_WOULDBLOCK if
+ * it needs to block.
+ */
+static inline struct cds_wfcq_node *
+___cds_wfcq_next_nonblocking(cds_wfcq_head_ptr_t head,
+               struct cds_wfcq_tail *tail,
+               struct cds_wfcq_node *node)
+{
+       return ___cds_wfcq_next(head, tail, node, 0);
+}
+
+static inline struct cds_wfcq_node *
+___cds_wfcq_dequeue_with_state(cds_wfcq_head_ptr_t u_head,
+               struct cds_wfcq_tail *tail,
+               int *state,
+               int blocking)
+{
+       struct __cds_wfcq_head *head = u_head._h;
+       struct cds_wfcq_node *node, *next;
+
+       if (state)
+               *state = 0;
+
+       if (_cds_wfcq_empty(__cds_wfcq_head_cast(head), tail)) {
+               return NULL;
+       }
+
+       node = ___cds_wfcq_node_sync_next(&head->node, blocking);
+       if (!blocking && node == CDS_WFCQ_WOULDBLOCK) {
+               return CDS_WFCQ_WOULDBLOCK;
+       }
+
+       if ((next = CMM_LOAD_SHARED(node->next)) == NULL) {
+               /*
+                * @node is probably the only node in the queue.
+                * Try to move the tail to &q->head.
+                * q->head.next is set to NULL here, and stays
+                * NULL if the cmpxchg succeeds. Should the
+                * cmpxchg fail due to a concurrent enqueue, the
+                * q->head.next will be set to the next node.
+                * The implicit memory barrier before
+                * uatomic_cmpxchg() orders load node->next
+                * before loading q->tail.
+                * The implicit memory barrier before uatomic_cmpxchg
+                * orders load q->head.next before loading node's
+                * content.
+                */
+               _cds_wfcq_node_init(&head->node);
+               if (uatomic_cmpxchg(&tail->p, node, &head->node) == node) {
+                       if (state)
+                               *state |= CDS_WFCQ_STATE_LAST;
+                       return node;
+               }
+               next = ___cds_wfcq_node_sync_next(node, blocking);
+               /*
+                * In nonblocking mode, if we would need to block to
+                * get node's next, set the head next node pointer
+                * (currently NULL) back to its original value.
+                */
+               if (!blocking && next == CDS_WFCQ_WOULDBLOCK) {
+                       head->node.next = node;
+                       return CDS_WFCQ_WOULDBLOCK;
+               }
+       }
+
+       /*
+        * Move queue head forward.
+        */
+       head->node.next = next;
+
+       /* Load q->head.next before loading node's content */
+       cmm_smp_read_barrier_depends();
+       return node;
+}
+
+/*
+ * __cds_wfcq_dequeue_with_state_blocking: dequeue node from queue, with state.
+ *
+ * Content written into the node before enqueue is guaranteed to be
+ * consistent, but no other memory ordering is ensured.
+ * It is valid to reuse and free a dequeued node immediately.
+ * Dequeue/splice/iteration mutual exclusion should be ensured by the
+ * caller.
+ */
+static inline struct cds_wfcq_node *
+___cds_wfcq_dequeue_with_state_blocking(cds_wfcq_head_ptr_t head,
+               struct cds_wfcq_tail *tail, int *state)
+{
+       return ___cds_wfcq_dequeue_with_state(head, tail, state, 1);
+}
+
+/*
+ * ___cds_wfcq_dequeue_blocking: dequeue node from queue.
+ *
+ * Same as __cds_wfcq_dequeue_with_state_blocking, but without saving
+ * state.
+ */
+static inline struct cds_wfcq_node *
+___cds_wfcq_dequeue_blocking(cds_wfcq_head_ptr_t head,
+               struct cds_wfcq_tail *tail)
+{
+       return ___cds_wfcq_dequeue_with_state_blocking(head, tail, NULL);
+}
+
+/*
+ * __cds_wfcq_dequeue_with_state_nonblocking: dequeue node, with state.
+ *
+ * Same as __cds_wfcq_dequeue_blocking, but returns CDS_WFCQ_WOULDBLOCK
+ * if it needs to block.
+ */
+static inline struct cds_wfcq_node *
+___cds_wfcq_dequeue_with_state_nonblocking(cds_wfcq_head_ptr_t head,
+               struct cds_wfcq_tail *tail, int *state)
+{
+       return ___cds_wfcq_dequeue_with_state(head, tail, state, 0);
+}
+
+/*
+ * ___cds_wfcq_dequeue_nonblocking: dequeue node from queue.
+ *
+ * Same as __cds_wfcq_dequeue_with_state_nonblocking, but without saving
+ * state.
+ */
+static inline struct cds_wfcq_node *
+___cds_wfcq_dequeue_nonblocking(cds_wfcq_head_ptr_t head,
+               struct cds_wfcq_tail *tail)
+{
+       return ___cds_wfcq_dequeue_with_state_nonblocking(head, tail, NULL);
+}
+
+/*
+ * __cds_wfcq_splice: enqueue all src_q nodes at the end of dest_q.
+ *
+ * Dequeue all nodes from src_q.
+ * dest_q must be already initialized.
+ * Mutual exclusion for src_q should be ensured by the caller as
+ * specified in the "Synchronisation table".
+ * Returns enum cds_wfcq_ret which indicates the state of the src or
+ * dest queue.
+ */
+static inline enum cds_wfcq_ret
+___cds_wfcq_splice(
+               cds_wfcq_head_ptr_t u_dest_q_head,
+               struct cds_wfcq_tail *dest_q_tail,
+               cds_wfcq_head_ptr_t u_src_q_head,
+               struct cds_wfcq_tail *src_q_tail,
+               int blocking)
+{
+       struct __cds_wfcq_head *dest_q_head = u_dest_q_head._h;
+       struct __cds_wfcq_head *src_q_head = u_src_q_head._h;
+       struct cds_wfcq_node *head, *tail;
+       int attempt = 0;
+
+       /*
+        * Initial emptiness check to speed up cases where queue is
+        * empty: only require loads to check if queue is empty.
+        */
+       if (_cds_wfcq_empty(__cds_wfcq_head_cast(src_q_head), src_q_tail))
+               return CDS_WFCQ_RET_SRC_EMPTY;
+
+       for (;;) {
+               /*
+                * Open-coded _cds_wfcq_empty() by testing result of
+                * uatomic_xchg, as well as tail pointer vs head node
+                * address.
+                */
+               head = uatomic_xchg(&src_q_head->node.next, NULL);
+               if (head)
+                       break;  /* non-empty */
+               if (CMM_LOAD_SHARED(src_q_tail->p) == &src_q_head->node)
+                       return CDS_WFCQ_RET_SRC_EMPTY;
+               if (___cds_wfcq_busy_wait(&attempt, blocking))
+                       return CDS_WFCQ_RET_WOULDBLOCK;
+       }
+
+       /*
+        * Memory barrier implied before uatomic_xchg() orders store to
+        * src_q->head before store to src_q->tail. This is required by
+        * concurrent enqueue on src_q, which exchanges the tail before
+        * updating the previous tail's next pointer.
+        */
+       tail = uatomic_xchg(&src_q_tail->p, &src_q_head->node);
+
+       /*
+        * Append the spliced content of src_q into dest_q. Does not
+        * require mutual exclusion on dest_q (wait-free).
+        */
+       if (___cds_wfcq_append(__cds_wfcq_head_cast(dest_q_head), dest_q_tail,
+                       head, tail))
+               return CDS_WFCQ_RET_DEST_NON_EMPTY;
+       else
+               return CDS_WFCQ_RET_DEST_EMPTY;
+}
+
+/*
+ * __cds_wfcq_splice_blocking: enqueue all src_q nodes at the end of dest_q.
+ *
+ * Dequeue all nodes from src_q.
+ * dest_q must be already initialized.
+ * Mutual exclusion for src_q should be ensured by the caller as
+ * specified in the "Synchronisation table".
+ * Returns enum cds_wfcq_ret which indicates the state of the src or
+ * dest queue. Never returns CDS_WFCQ_RET_WOULDBLOCK.
+ */
+static inline enum cds_wfcq_ret
+___cds_wfcq_splice_blocking(
+               cds_wfcq_head_ptr_t dest_q_head,
+               struct cds_wfcq_tail *dest_q_tail,
+               cds_wfcq_head_ptr_t src_q_head,
+               struct cds_wfcq_tail *src_q_tail)
+{
+       return ___cds_wfcq_splice(dest_q_head, dest_q_tail,
+               src_q_head, src_q_tail, 1);
+}
+
+/*
+ * __cds_wfcq_splice_nonblocking: enqueue all src_q nodes at the end of dest_q.
+ *
+ * Same as __cds_wfcq_splice_blocking, but returns
+ * CDS_WFCQ_RET_WOULDBLOCK if it needs to block.
+ */
+static inline enum cds_wfcq_ret
+___cds_wfcq_splice_nonblocking(
+               cds_wfcq_head_ptr_t dest_q_head,
+               struct cds_wfcq_tail *dest_q_tail,
+               cds_wfcq_head_ptr_t src_q_head,
+               struct cds_wfcq_tail *src_q_tail)
+{
+       return ___cds_wfcq_splice(dest_q_head, dest_q_tail,
+               src_q_head, src_q_tail, 0);
+}
+
+/*
+ * cds_wfcq_dequeue_with_state_blocking: dequeue a node from a wait-free queue.
+ *
+ * Content written into the node before enqueue is guaranteed to be
+ * consistent, but no other memory ordering is ensured.
+ * Mutual exclusion with cds_wfcq_splice_blocking and dequeue lock is
+ * ensured.
+ * It is valid to reuse and free a dequeued node immediately.
+ */
+static inline struct cds_wfcq_node *
+_cds_wfcq_dequeue_with_state_blocking(struct cds_wfcq_head *head,
+               struct cds_wfcq_tail *tail, int *state)
+{
+       struct cds_wfcq_node *retval;
+
+       _cds_wfcq_dequeue_lock(head, tail);
+       retval = ___cds_wfcq_dequeue_with_state_blocking(cds_wfcq_head_cast(head),
+                       tail, state);
+       _cds_wfcq_dequeue_unlock(head, tail);
+       return retval;
+}
+
+/*
+ * cds_wfcq_dequeue_blocking: dequeue node from queue.
+ *
+ * Same as cds_wfcq_dequeue_blocking, but without saving state.
+ */
+static inline struct cds_wfcq_node *
+_cds_wfcq_dequeue_blocking(struct cds_wfcq_head *head,
+               struct cds_wfcq_tail *tail)
+{
+       return _cds_wfcq_dequeue_with_state_blocking(head, tail, NULL);
+}
+
+/*
+ * cds_wfcq_splice_blocking: enqueue all src_q nodes at the end of dest_q.
+ *
+ * Dequeue all nodes from src_q.
+ * dest_q must be already initialized.
+ * Content written into the node before enqueue is guaranteed to be
+ * consistent, but no other memory ordering is ensured.
+ * Mutual exclusion with cds_wfcq_dequeue_blocking and dequeue lock is
+ * ensured.
+ * Returns enum cds_wfcq_ret which indicates the state of the src or
+ * dest queue. Never returns CDS_WFCQ_RET_WOULDBLOCK.
+ */
+static inline enum cds_wfcq_ret
+_cds_wfcq_splice_blocking(
+               struct cds_wfcq_head *dest_q_head,
+               struct cds_wfcq_tail *dest_q_tail,
+               struct cds_wfcq_head *src_q_head,
+               struct cds_wfcq_tail *src_q_tail)
+{
+       enum cds_wfcq_ret ret;
+
+       _cds_wfcq_dequeue_lock(src_q_head, src_q_tail);
+       ret = ___cds_wfcq_splice_blocking(cds_wfcq_head_cast(dest_q_head), dest_q_tail,
+                       cds_wfcq_head_cast(src_q_head), src_q_tail);
+       _cds_wfcq_dequeue_unlock(src_q_head, src_q_tail);
+       return ret;
+}
+
+#ifdef __cplusplus
+}
+#endif
+
+#endif /* _URCU_WFCQUEUE_STATIC_H */
diff --git a/include/urcu/static/wfqueue.h b/include/urcu/static/wfqueue.h
new file mode 100644 (file)
index 0000000..df9f62f
--- /dev/null
@@ -0,0 +1,171 @@
+#ifndef _URCU_WFQUEUE_STATIC_H
+#define _URCU_WFQUEUE_STATIC_H
+
+/*
+ * wfqueue-static.h
+ *
+ * Userspace RCU library - Queue with Wait-Free Enqueue/Blocking Dequeue
+ *
+ * TO BE INCLUDED ONLY IN LGPL-COMPATIBLE CODE. See wfqueue.h for linking
+ * dynamically with the userspace rcu library.
+ *
+ * Copyright 2010 - Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ */
+
+#include <pthread.h>
+#include <assert.h>
+#include <poll.h>
+#include <urcu/compiler.h>
+#include <urcu/uatomic.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+/*
+ * Queue with wait-free enqueue/blocking dequeue.
+ * This implementation adds a dummy head node when the queue is empty to ensure
+ * we can always update the queue locklessly.
+ *
+ * Inspired from half-wait-free/half-blocking queue implementation done by
+ * Paul E. McKenney.
+ */
+
+#define WFQ_ADAPT_ATTEMPTS             10      /* Retry if being set */
+#define WFQ_WAIT                       10      /* Wait 10 ms if being set */
+
+static inline void _cds_wfq_node_init(struct cds_wfq_node *node)
+{
+       node->next = NULL;
+}
+
+static inline void _cds_wfq_init(struct cds_wfq_queue *q)
+{
+       int ret;
+
+       _cds_wfq_node_init(&q->dummy);
+       /* Set queue head and tail */
+       q->head = &q->dummy;
+       q->tail = &q->dummy.next;
+       ret = pthread_mutex_init(&q->lock, NULL);
+       assert(!ret);
+}
+
+static inline void _cds_wfq_destroy(struct cds_wfq_queue *q)
+{
+       int ret = pthread_mutex_destroy(&q->lock);
+       assert(!ret);
+}
+
+static inline void _cds_wfq_enqueue(struct cds_wfq_queue *q,
+                                   struct cds_wfq_node *node)
+{
+       struct cds_wfq_node **old_tail;
+
+       /*
+        * uatomic_xchg() implicit memory barrier orders earlier stores to data
+        * structure containing node and setting node->next to NULL before
+        * publication.
+        */
+       old_tail = uatomic_xchg(&q->tail, &node->next);
+       /*
+        * At this point, dequeuers see a NULL old_tail->next, which indicates
+        * that the queue is being appended to. The following store will append
+        * "node" to the queue from a dequeuer perspective.
+        */
+       CMM_STORE_SHARED(*old_tail, node);
+}
+
+/*
+ * Waiting for enqueuer to complete enqueue and return the next node
+ */
+static inline struct cds_wfq_node *
+___cds_wfq_node_sync_next(struct cds_wfq_node *node)
+{
+       struct cds_wfq_node *next;
+       int attempt = 0;
+
+       /*
+        * Adaptative busy-looping waiting for enqueuer to complete enqueue.
+        */
+       while ((next = CMM_LOAD_SHARED(node->next)) == NULL) {
+               if (++attempt >= WFQ_ADAPT_ATTEMPTS) {
+                       (void) poll(NULL, 0, WFQ_WAIT); /* Wait for 10ms */
+                       attempt = 0;
+               } else
+                       caa_cpu_relax();
+       }
+
+       return next;
+}
+
+/*
+ * It is valid to reuse and free a dequeued node immediately.
+ *
+ * No need to go on a waitqueue here, as there is no possible state in which the
+ * list could cause dequeue to busy-loop needlessly while waiting for another
+ * thread to be scheduled. The queue appears empty until tail->next is set by
+ * enqueue.
+ */
+static inline struct cds_wfq_node *
+___cds_wfq_dequeue_blocking(struct cds_wfq_queue *q)
+{
+       struct cds_wfq_node *node, *next;
+
+       /*
+        * Queue is empty if it only contains the dummy node.
+        */
+       if (q->head == &q->dummy && CMM_LOAD_SHARED(q->tail) == &q->dummy.next)
+               return NULL;
+       node = q->head;
+
+       next = ___cds_wfq_node_sync_next(node);
+
+       /*
+        * Move queue head forward.
+        */
+       q->head = next;
+       /*
+        * Requeue dummy node if we just dequeued it.
+        */
+       if (node == &q->dummy) {
+               _cds_wfq_node_init(node);
+               _cds_wfq_enqueue(q, node);
+               return ___cds_wfq_dequeue_blocking(q);
+       }
+       return node;
+}
+
+static inline struct cds_wfq_node *
+_cds_wfq_dequeue_blocking(struct cds_wfq_queue *q)
+{
+       struct cds_wfq_node *retnode;
+       int ret;
+
+       ret = pthread_mutex_lock(&q->lock);
+       assert(!ret);
+       retnode = ___cds_wfq_dequeue_blocking(q);
+       ret = pthread_mutex_unlock(&q->lock);
+       assert(!ret);
+       return retnode;
+}
+
+#ifdef __cplusplus
+}
+#endif
+
+#endif /* _URCU_WFQUEUE_STATIC_H */
diff --git a/include/urcu/static/wfstack.h b/include/urcu/static/wfstack.h
new file mode 100644 (file)
index 0000000..e96c887
--- /dev/null
@@ -0,0 +1,452 @@
+#ifndef _URCU_STATIC_WFSTACK_H
+#define _URCU_STATIC_WFSTACK_H
+
+/*
+ * urcu/static/wfstack.h
+ *
+ * Userspace RCU library - Stack with with wait-free push, blocking traversal.
+ *
+ * TO BE INCLUDED ONLY IN LGPL-COMPATIBLE CODE. See urcu/wfstack.h for
+ * linking dynamically with the userspace rcu library.
+ *
+ * Copyright 2010-2012 - Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ */
+
+#include <pthread.h>
+#include <assert.h>
+#include <poll.h>
+#include <stdbool.h>
+#include <urcu/compiler.h>
+#include <urcu/uatomic.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+#define CDS_WFS_END                    ((void *) 0x1UL)
+#define CDS_WFS_ADAPT_ATTEMPTS         10      /* Retry if being set */
+#define CDS_WFS_WAIT                   10      /* Wait 10 ms if being set */
+
+/*
+ * Stack with wait-free push, blocking traversal.
+ *
+ * Stack implementing push, pop, pop_all operations, as well as iterator
+ * on the stack head returned by pop_all.
+ *
+ * Wait-free operations: cds_wfs_push, __cds_wfs_pop_all, cds_wfs_empty,
+ *                       cds_wfs_first.
+ * Blocking operations: cds_wfs_pop, cds_wfs_pop_all, cds_wfs_next,
+ *                      iteration on stack head returned by pop_all.
+ *
+ * Synchronization table:
+ *
+ * External synchronization techniques described in the API below is
+ * required between pairs marked with "X". No external synchronization
+ * required between pairs marked with "-".
+ *
+ *                      cds_wfs_push  __cds_wfs_pop  __cds_wfs_pop_all
+ * cds_wfs_push               -              -                  -
+ * __cds_wfs_pop              -              X                  X
+ * __cds_wfs_pop_all          -              X                  -
+ *
+ * cds_wfs_pop and cds_wfs_pop_all use an internal mutex to provide
+ * synchronization.
+ */
+
+/*
+ * cds_wfs_node_init: initialize wait-free stack node.
+ */
+static inline
+void _cds_wfs_node_init(struct cds_wfs_node *node)
+{
+       node->next = NULL;
+}
+
+/*
+ * __cds_wfs_init: initialize wait-free stack. Don't pair with
+ * any destroy function.
+ */
+static inline void ___cds_wfs_init(struct __cds_wfs_stack *s)
+{
+       s->head = CDS_WFS_END;
+}
+
+/*
+ * cds_wfs_init: initialize wait-free stack. Pair with
+ * cds_wfs_destroy().
+ */
+static inline
+void _cds_wfs_init(struct cds_wfs_stack *s)
+{
+       int ret;
+
+       s->head = CDS_WFS_END;
+       ret = pthread_mutex_init(&s->lock, NULL);
+       assert(!ret);
+}
+
+/*
+ * cds_wfs_destroy: destroy wait-free stack. Pair with
+ * cds_wfs_init().
+ */
+static inline
+void _cds_wfs_destroy(struct cds_wfs_stack *s)
+{
+       int ret = pthread_mutex_destroy(&s->lock);
+       assert(!ret);
+}
+
+static inline bool ___cds_wfs_end(void *node)
+{
+       return node == CDS_WFS_END;
+}
+
+/*
+ * cds_wfs_empty: return whether wait-free stack is empty.
+ *
+ * No memory barrier is issued. No mutual exclusion is required.
+ */
+static inline bool _cds_wfs_empty(cds_wfs_stack_ptr_t u_stack)
+{
+       struct __cds_wfs_stack *s = u_stack._s;
+
+       return ___cds_wfs_end(CMM_LOAD_SHARED(s->head));
+}
+
+/*
+ * cds_wfs_push: push a node into the stack.
+ *
+ * Issues a full memory barrier before push. No mutual exclusion is
+ * required.
+ *
+ * Returns 0 if the stack was empty prior to adding the node.
+ * Returns non-zero otherwise.
+ */
+static inline
+int _cds_wfs_push(cds_wfs_stack_ptr_t u_stack, struct cds_wfs_node *node)
+{
+       struct __cds_wfs_stack *s = u_stack._s;
+       struct cds_wfs_head *old_head, *new_head;
+
+       assert(node->next == NULL);
+       new_head = caa_container_of(node, struct cds_wfs_head, node);
+       /*
+        * uatomic_xchg() implicit memory barrier orders earlier stores
+        * to node (setting it to NULL) before publication.
+        */
+       old_head = uatomic_xchg(&s->head, new_head);
+       /*
+        * At this point, dequeuers see a NULL node->next, they should
+        * busy-wait until node->next is set to old_head.
+        */
+       CMM_STORE_SHARED(node->next, &old_head->node);
+       return !___cds_wfs_end(old_head);
+}
+
+/*
+ * Waiting for push to complete enqueue and return the next node.
+ */
+static inline struct cds_wfs_node *
+___cds_wfs_node_sync_next(struct cds_wfs_node *node, int blocking)
+{
+       struct cds_wfs_node *next;
+       int attempt = 0;
+
+       /*
+        * Adaptative busy-looping waiting for push to complete.
+        */
+       while ((next = CMM_LOAD_SHARED(node->next)) == NULL) {
+               if (!blocking)
+                       return CDS_WFS_WOULDBLOCK;
+               if (++attempt >= CDS_WFS_ADAPT_ATTEMPTS) {
+                       (void) poll(NULL, 0, CDS_WFS_WAIT);     /* Wait for 10ms */
+                       attempt = 0;
+               } else {
+                       caa_cpu_relax();
+               }
+       }
+
+       return next;
+}
+
+static inline
+struct cds_wfs_node *
+___cds_wfs_pop(cds_wfs_stack_ptr_t u_stack, int *state, int blocking)
+{
+       struct cds_wfs_head *head, *new_head;
+       struct cds_wfs_node *next;
+       struct __cds_wfs_stack *s = u_stack._s;
+
+       if (state)
+               *state = 0;
+       for (;;) {
+               head = CMM_LOAD_SHARED(s->head);
+               if (___cds_wfs_end(head)) {
+                       return NULL;
+               }
+               next = ___cds_wfs_node_sync_next(&head->node, blocking);
+               if (!blocking && next == CDS_WFS_WOULDBLOCK) {
+                       return CDS_WFS_WOULDBLOCK;
+               }
+               new_head = caa_container_of(next, struct cds_wfs_head, node);
+               if (uatomic_cmpxchg(&s->head, head, new_head) == head) {
+                       if (state && ___cds_wfs_end(new_head))
+                               *state |= CDS_WFS_STATE_LAST;
+                       return &head->node;
+               }
+               if (!blocking) {
+                       return CDS_WFS_WOULDBLOCK;
+               }
+               /* busy-loop if head changed under us */
+       }
+}
+
+/*
+ * __cds_wfs_pop_with_state_blocking: pop a node from the stack, with state.
+ *
+ * Returns NULL if stack is empty.
+ *
+ * __cds_wfs_pop_blocking needs to be synchronized using one of the
+ * following techniques:
+ *
+ * 1) Calling __cds_wfs_pop_blocking under rcu read lock critical
+ *    section. The caller must wait for a grace period to pass before
+ *    freeing the returned node or modifying the cds_wfs_node structure.
+ * 2) Using mutual exclusion (e.g. mutexes) to protect
+ *     __cds_wfs_pop_blocking and __cds_wfs_pop_all callers.
+ * 3) Ensuring that only ONE thread can call __cds_wfs_pop_blocking()
+ *    and __cds_wfs_pop_all(). (multi-provider/single-consumer scheme).
+ *
+ * "state" saves state flags atomically sampled with pop operation.
+ */
+static inline
+struct cds_wfs_node *
+___cds_wfs_pop_with_state_blocking(cds_wfs_stack_ptr_t u_stack, int *state)
+{
+       return ___cds_wfs_pop(u_stack, state, 1);
+}
+
+static inline
+struct cds_wfs_node *
+___cds_wfs_pop_blocking(cds_wfs_stack_ptr_t u_stack)
+{
+       return ___cds_wfs_pop_with_state_blocking(u_stack, NULL);
+}
+
+/*
+ * __cds_wfs_pop_with_state_nonblocking: pop a node from the stack.
+ *
+ * Same as __cds_wfs_pop_with_state_blocking, but returns
+ * CDS_WFS_WOULDBLOCK if it needs to block.
+ *
+ * "state" saves state flags atomically sampled with pop operation.
+ */
+static inline
+struct cds_wfs_node *
+___cds_wfs_pop_with_state_nonblocking(cds_wfs_stack_ptr_t u_stack, int *state)
+{
+       return ___cds_wfs_pop(u_stack, state, 0);
+}
+
+/*
+ * __cds_wfs_pop_nonblocking: pop a node from the stack.
+ *
+ * Same as __cds_wfs_pop_blocking, but returns CDS_WFS_WOULDBLOCK if
+ * it needs to block.
+ */
+static inline
+struct cds_wfs_node *
+___cds_wfs_pop_nonblocking(cds_wfs_stack_ptr_t u_stack)
+{
+       return ___cds_wfs_pop_with_state_nonblocking(u_stack, NULL);
+}
+
+/*
+ * __cds_wfs_pop_all: pop all nodes from a stack.
+ *
+ * __cds_wfs_pop_all does not require any synchronization with other
+ * push, nor with other __cds_wfs_pop_all, but requires synchronization
+ * matching the technique used to synchronize __cds_wfs_pop_blocking:
+ *
+ * 1) If __cds_wfs_pop_blocking is called under rcu read lock critical
+ *    section, both __cds_wfs_pop_blocking and cds_wfs_pop_all callers
+ *    must wait for a grace period to pass before freeing the returned
+ *    node or modifying the cds_wfs_node structure. However, no RCU
+ *    read-side critical section is needed around __cds_wfs_pop_all.
+ * 2) Using mutual exclusion (e.g. mutexes) to protect
+ *     __cds_wfs_pop_blocking and __cds_wfs_pop_all callers.
+ * 3) Ensuring that only ONE thread can call __cds_wfs_pop_blocking()
+ *    and __cds_wfs_pop_all(). (multi-provider/single-consumer scheme).
+ */
+static inline
+struct cds_wfs_head *
+___cds_wfs_pop_all(cds_wfs_stack_ptr_t u_stack)
+{
+       struct __cds_wfs_stack *s = u_stack._s;
+       struct cds_wfs_head *head;
+
+       /*
+        * Implicit memory barrier after uatomic_xchg() matches implicit
+        * memory barrier before uatomic_xchg() in cds_wfs_push. It
+        * ensures that all nodes of the returned list are consistent.
+        * There is no need to issue memory barriers when iterating on
+        * the returned list, because the full memory barrier issued
+        * prior to each uatomic_cmpxchg, which each write to head, are
+        * taking care to order writes to each node prior to the full
+        * memory barrier after this uatomic_xchg().
+        */
+       head = uatomic_xchg(&s->head, CDS_WFS_END);
+       if (___cds_wfs_end(head))
+               return NULL;
+       return head;
+}
+
+/*
+ * cds_wfs_pop_lock: lock stack pop-protection mutex.
+ */
+static inline void _cds_wfs_pop_lock(struct cds_wfs_stack *s)
+{
+       int ret;
+
+       ret = pthread_mutex_lock(&s->lock);
+       assert(!ret);
+}
+
+/*
+ * cds_wfs_pop_unlock: unlock stack pop-protection mutex.
+ */
+static inline void _cds_wfs_pop_unlock(struct cds_wfs_stack *s)
+{
+       int ret;
+
+       ret = pthread_mutex_unlock(&s->lock);
+       assert(!ret);
+}
+
+/*
+ * Call __cds_wfs_pop_with_state_blocking with an internal pop mutex held.
+ */
+static inline
+struct cds_wfs_node *
+_cds_wfs_pop_with_state_blocking(struct cds_wfs_stack *s, int *state)
+{
+       struct cds_wfs_node *retnode;
+
+       _cds_wfs_pop_lock(s);
+       retnode = ___cds_wfs_pop_with_state_blocking(s, state);
+       _cds_wfs_pop_unlock(s);
+       return retnode;
+}
+
+/*
+ * Call _cds_wfs_pop_with_state_blocking without saving any state.
+ */
+static inline
+struct cds_wfs_node *
+_cds_wfs_pop_blocking(struct cds_wfs_stack *s)
+{
+       return _cds_wfs_pop_with_state_blocking(s, NULL);
+}
+
+/*
+ * Call __cds_wfs_pop_all with an internal pop mutex held.
+ */
+static inline
+struct cds_wfs_head *
+_cds_wfs_pop_all_blocking(struct cds_wfs_stack *s)
+{
+       struct cds_wfs_head *rethead;
+
+       _cds_wfs_pop_lock(s);
+       rethead = ___cds_wfs_pop_all(s);
+       _cds_wfs_pop_unlock(s);
+       return rethead;
+}
+
+/*
+ * cds_wfs_first: get first node of a popped stack.
+ *
+ * Content written into the node before enqueue is guaranteed to be
+ * consistent, but no other memory ordering is ensured.
+ *
+ * Used by for-like iteration macros in urcu/wfstack.h:
+ * cds_wfs_for_each_blocking()
+ * cds_wfs_for_each_blocking_safe()
+ *
+ * Returns NULL if popped stack is empty, top stack node otherwise.
+ */
+static inline struct cds_wfs_node *
+_cds_wfs_first(struct cds_wfs_head *head)
+{
+       if (___cds_wfs_end(head))
+               return NULL;
+       return &head->node;
+}
+
+static inline struct cds_wfs_node *
+___cds_wfs_next(struct cds_wfs_node *node, int blocking)
+{
+       struct cds_wfs_node *next;
+
+       next = ___cds_wfs_node_sync_next(node, blocking);
+       /*
+        * CDS_WFS_WOULDBLOCK != CSD_WFS_END, so we can check for end
+        * even if ___cds_wfs_node_sync_next returns CDS_WFS_WOULDBLOCK,
+        * and still return CDS_WFS_WOULDBLOCK.
+        */
+       if (___cds_wfs_end(next))
+               return NULL;
+       return next;
+}
+
+/*
+ * cds_wfs_next_blocking: get next node of a popped stack.
+ *
+ * Content written into the node before enqueue is guaranteed to be
+ * consistent, but no other memory ordering is ensured.
+ *
+ * Used by for-like iteration macros in urcu/wfstack.h:
+ * cds_wfs_for_each_blocking()
+ * cds_wfs_for_each_blocking_safe()
+ *
+ * Returns NULL if reached end of popped stack, non-NULL next stack
+ * node otherwise.
+ */
+static inline struct cds_wfs_node *
+_cds_wfs_next_blocking(struct cds_wfs_node *node)
+{
+       return ___cds_wfs_next(node, 1);
+}
+
+
+/*
+ * cds_wfs_next_nonblocking: get next node of a popped stack.
+ *
+ * Same as cds_wfs_next_blocking, but returns CDS_WFS_WOULDBLOCK if it
+ * needs to block.
+ */
+static inline struct cds_wfs_node *
+_cds_wfs_next_nonblocking(struct cds_wfs_node *node)
+{
+       return ___cds_wfs_next(node, 0);
+}
+
+#ifdef __cplusplus
+}
+#endif
+
+#endif /* _URCU_STATIC_WFSTACK_H */
diff --git a/include/urcu/syscall-compat.h b/include/urcu/syscall-compat.h
new file mode 100644 (file)
index 0000000..fa63a7b
--- /dev/null
@@ -0,0 +1,42 @@
+#ifndef _URCU_SYSCALL_COMPAT_H
+#define _URCU_SYSCALL_COMPAT_H
+
+/*
+ * urcu/syscall-compat.h
+ *
+ * Userspace RCU library - Syscall Compatibility Header
+ *
+ * Copyright 2013 - Pierre-Luc St-Charles <pierre-luc.st-charles@polymtl.ca>
+ *
+ * Note: this file is only used to simplify the code required to
+ * include the 'syscall.h' system header across multiple platforms,
+ * which might not always be located at the same place (or needed at all).
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ */
+
+#if defined(__ANDROID__) || defined(__sun__) || defined(__GNU__)
+#include <sys/syscall.h>
+#elif defined(__linux__) || defined(__GLIBC__)
+#include <syscall.h>
+
+#elif defined(__CYGWIN__) || defined(__APPLE__)
+/* Don't include anything on Cygwin or MacOSX. */
+
+#else
+#error "Add platform support to urcu/syscall-compat.h"
+#endif
+
+#endif /* _URCU_SYSCALL_COMPAT_H */
diff --git a/include/urcu/system.h b/include/urcu/system.h
new file mode 100644 (file)
index 0000000..faae390
--- /dev/null
@@ -0,0 +1,59 @@
+#ifndef _URCU_SYSTEM_H
+#define _URCU_SYSTEM_H
+
+/*
+ * system.h
+ *
+ * System definitions.
+ *
+ * Copyright (c) 2009 Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ *
+ * Permission is hereby granted, free of charge, to any person obtaining a copy
+ * of this software and associated documentation files (the "Software"), to deal
+ * in the Software without restriction, including without limitation the rights
+ * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+ * copies of the Software, and to permit persons to whom the Software is
+ * furnished to do so, subject to the following conditions:
+ *
+ * The above copyright notice and this permission notice shall be included in
+ * all copies or substantial portions of the Software.
+ */
+
+#include <urcu/compiler.h>
+#include <urcu/arch.h>
+
+/*
+ * Identify a shared load. A cmm_smp_rmc() or cmm_smp_mc() should come
+ * before the load.
+ */
+#define _CMM_LOAD_SHARED(p)           CMM_ACCESS_ONCE(p)
+
+/*
+ * Load a data from shared memory, doing a cache flush if required.
+ */
+#define CMM_LOAD_SHARED(p)                     \
+       __extension__                   \
+       ({                              \
+               cmm_smp_rmc();          \
+               _CMM_LOAD_SHARED(p);    \
+       })
+
+/*
+ * Identify a shared store. A cmm_smp_wmc() or cmm_smp_mc() should
+ * follow the store.
+ */
+#define _CMM_STORE_SHARED(x, v)        __extension__ ({ CMM_ACCESS_ONCE(x) = (v); })
+
+/*
+ * Store v into x, where x is located in shared memory. Performs the
+ * required cache flush after writing. Returns v.
+ */
+#define CMM_STORE_SHARED(x, v)                                         \
+       __extension__                                                   \
+       ({                                                              \
+               __typeof__(x) _v = _CMM_STORE_SHARED(x, v);             \
+               cmm_smp_wmc();                                          \
+               _v = _v;        /* Work around clang "unused result" */ \
+       })
+
+#endif /* _URCU_SYSTEM_H */
diff --git a/include/urcu/tls-compat.h b/include/urcu/tls-compat.h
new file mode 100644 (file)
index 0000000..8ac1ea0
--- /dev/null
@@ -0,0 +1,140 @@
+#ifndef _URCU_TLS_COMPAT_H
+#define _URCU_TLS_COMPAT_H
+
+/*
+ * urcu/tls-compat.h
+ *
+ * Userspace RCU library - Thread-Local Storage Compatibility Header
+ *
+ * Copyright 2012 - Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ */
+
+#include <stdlib.h>
+#include <urcu/config.h>
+#include <urcu/compiler.h>
+#include <urcu/arch.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+#ifdef CONFIG_RCU_TLS  /* Based on ax_tls.m4 */
+
+/*
+ * Hint: How to define/declare TLS variables of compound types
+ *       such as array or function pointers?
+ *
+ * Answer: Use typedef to assign a type_name to the compound type.
+ * Example: Define a TLS variable which is an int array with len=4:
+ *
+ *     typedef int my_int_array_type[4];
+ *     DEFINE_URCU_TLS(my_int_array_type, var_name);
+ *
+ * Another example:
+ *     typedef void (*call_rcu_flavor)(struct rcu_head *, XXXX);
+ *     DECLARE_URCU_TLS(call_rcu_flavor, p_call_rcu);
+ *
+ * NOTE: URCU_TLS() is NOT async-signal-safe, you can't use it
+ * inside any function which can be called from signal handler.
+ *
+ * But if pthread_getspecific() is async-signal-safe in your
+ * platform, you can make URCU_TLS() async-signal-safe via:
+ * ensuring the first call to URCU_TLS() of a given TLS variable of
+ * all threads is called earliest from a non-signal handler function.
+ *
+ * Example: In any thread, the first call of URCU_TLS(rcu_reader)
+ * is called from rcu_register_thread(), so we can ensure all later
+ * URCU_TLS(rcu_reader) in any thread is async-signal-safe.
+ *
+ * Moreover, URCU_TLS variables should not be touched from signal
+ * handlers setup with with sigaltstack(2).
+ */
+
+# define DECLARE_URCU_TLS(type, name)  \
+       CONFIG_RCU_TLS type name
+
+# define DEFINE_URCU_TLS(type, name)   \
+       CONFIG_RCU_TLS type name
+
+# define URCU_TLS(name)                (name)
+
+#else /* #ifndef CONFIG_RCU_TLS */
+
+/*
+ * The *_1() macros ensure macro parameters are expanded.
+ */
+
+# include <pthread.h>
+
+struct urcu_tls {
+       pthread_key_t key;
+       pthread_mutex_t init_mutex;
+       int init_done;
+};
+
+# define DECLARE_URCU_TLS_1(type, name)                                \
+       type *__tls_access_ ## name(void)
+# define DECLARE_URCU_TLS(type, name)                          \
+       DECLARE_URCU_TLS_1(type, name)
+
+/*
+ * Note: we don't free memory at process exit, since it will be dealt
+ * with by the OS.
+ */
+# define DEFINE_URCU_TLS_1(type, name)                         \
+       type *__tls_access_ ## name(void)                       \
+       {                                                       \
+               static struct urcu_tls __tls_ ## name = {       \
+                       .init_mutex = PTHREAD_MUTEX_INITIALIZER,\
+                       .init_done = 0,                         \
+               };                                              \
+               void *__tls_p;                                  \
+               if (!__tls_ ## name.init_done) {                \
+                       /* Mutex to protect concurrent init */  \
+                       pthread_mutex_lock(&__tls_ ## name.init_mutex); \
+                       if (!__tls_ ## name.init_done) {        \
+                               (void) pthread_key_create(&__tls_ ## name.key, \
+                                       free);                  \
+                               cmm_smp_wmb();  /* create key before write init_done */ \
+                               __tls_ ## name.init_done = 1;   \
+                       }                                       \
+                       pthread_mutex_unlock(&__tls_ ## name.init_mutex); \
+               }                                               \
+               cmm_smp_rmb();  /* read init_done before getting key */ \
+               __tls_p = pthread_getspecific(__tls_ ## name.key); \
+               if (caa_unlikely(__tls_p == NULL)) {            \
+                       __tls_p = calloc(1, sizeof(type));      \
+                       (void) pthread_setspecific(__tls_ ## name.key,  \
+                               __tls_p);                       \
+               }                                               \
+               return __tls_p;                                 \
+       }
+
+# define DEFINE_URCU_TLS(type, name)                           \
+       DEFINE_URCU_TLS_1(type, name)
+
+# define URCU_TLS_1(name)      (*__tls_access_ ## name())
+
+# define URCU_TLS(name)                URCU_TLS_1(name)
+
+#endif /* #else #ifndef CONFIG_RCU_TLS */
+
+#ifdef __cplusplus
+}
+#endif
+
+#endif /* _URCU_TLS_COMPAT_H */
diff --git a/include/urcu/uatomic/aarch64.h b/include/urcu/uatomic/aarch64.h
new file mode 100644 (file)
index 0000000..58698ce
--- /dev/null
@@ -0,0 +1,41 @@
+#ifndef _URCU_ARCH_UATOMIC_AARCH64_H
+#define _URCU_ARCH_UATOMIC_AARCH64_H
+
+/*
+ * Copyright (c) 1991-1994 by Xerox Corporation.  All rights reserved.
+ * Copyright (c) 1996-1999 by Silicon Graphics.  All rights reserved.
+ * Copyright (c) 1999-2004 Hewlett-Packard Development Company, L.P.
+ * Copyright (c) 2009-2015 Mathieu Desnoyers
+ * Copyright (c) 2010      Paul E. McKenney, IBM Corporation
+ *                        (Adapted from uatomic_arch_ppc.h)
+ *
+ * THIS MATERIAL IS PROVIDED AS IS, WITH ABSOLUTELY NO WARRANTY EXPRESSED
+ * OR IMPLIED.  ANY USE IS AT YOUR OWN RISK.
+ *
+ * Permission is hereby granted to use or copy this program
+ * for any purpose,  provided the above notices are retained on all copies.
+ * Permission to modify the code and to distribute modified code is granted,
+ * provided the above notices are retained, and a notice that the code was
+ * modified is included with the above copyright notice.
+ *
+ * Code inspired from libuatomic_ops-1.2, inherited in part from the
+ * Boehm-Demers-Weiser conservative garbage collector.
+ */
+
+#include <urcu/compiler.h>
+#include <urcu/system.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+#define UATOMIC_HAS_ATOMIC_BYTE
+#define UATOMIC_HAS_ATOMIC_SHORT
+
+#ifdef __cplusplus
+}
+#endif
+
+#include <urcu/uatomic/generic.h>
+
+#endif /* _URCU_ARCH_UATOMIC_AARCH64_H */
diff --git a/include/urcu/uatomic/alpha.h b/include/urcu/uatomic/alpha.h
new file mode 100644 (file)
index 0000000..5dceb90
--- /dev/null
@@ -0,0 +1,32 @@
+#ifndef _URCU_UATOMIC_ARCH_ALPHA_H
+#define _URCU_UATOMIC_ARCH_ALPHA_H
+
+/*
+ * Atomic exchange operations for the Alpha architecture. Let GCC do it.
+ *
+ * Copyright (c) 2010 Paolo Bonzini <pbonzini@redhat.com>
+ *
+ * Permission is hereby granted, free of charge, to any person obtaining a copy
+ * of this software and associated documentation files (the "Software"), to
+ * deal in the Software without restriction, including without limitation the
+ * rights to use, copy, modify, merge, publish, distribute, sublicense, and/or
+ * sell copies of the Software, and to permit persons to whom the Software is
+ * furnished to do so, subject to the following conditions:
+ *
+ * The above copyright notice and this permission notice shall be included in
+ * all copies or substantial portions of the Software.
+ *
+ * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+ * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+ * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+ * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+ * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING
+ * FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS
+ * IN THE SOFTWARE.
+ */
+
+#include <urcu/compiler.h>
+#include <urcu/system.h>
+#include <urcu/uatomic/generic.h>
+
+#endif /* _URCU_UATOMIC_ARCH_ALPHA_H */
diff --git a/include/urcu/uatomic/arm.h b/include/urcu/uatomic/arm.h
new file mode 100644 (file)
index 0000000..fd8fe6a
--- /dev/null
@@ -0,0 +1,43 @@
+#ifndef _URCU_ARCH_UATOMIC_ARM_H
+#define _URCU_ARCH_UATOMIC_ARM_H
+
+/*
+ * Atomics for ARM.  This approach is usable on kernels back to 2.6.15.
+ *
+ * Copyright (c) 1991-1994 by Xerox Corporation.  All rights reserved.
+ * Copyright (c) 1996-1999 by Silicon Graphics.  All rights reserved.
+ * Copyright (c) 1999-2004 Hewlett-Packard Development Company, L.P.
+ * Copyright (c) 2009      Mathieu Desnoyers
+ * Copyright (c) 2010      Paul E. McKenney, IBM Corporation
+ *                        (Adapted from uatomic_arch_ppc.h)
+ *
+ * THIS MATERIAL IS PROVIDED AS IS, WITH ABSOLUTELY NO WARRANTY EXPRESSED
+ * OR IMPLIED.  ANY USE IS AT YOUR OWN RISK.
+ *
+ * Permission is hereby granted to use or copy this program
+ * for any purpose,  provided the above notices are retained on all copies.
+ * Permission to modify the code and to distribute modified code is granted,
+ * provided the above notices are retained, and a notice that the code was
+ * modified is included with the above copyright notice.
+ *
+ * Code inspired from libuatomic_ops-1.2, inherited in part from the
+ * Boehm-Demers-Weiser conservative garbage collector.
+ */
+
+#include <urcu/compiler.h>
+#include <urcu/system.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+/* xchg */
+#define uatomic_xchg(addr, v) __sync_lock_test_and_set(addr, v)
+
+#ifdef __cplusplus
+}
+#endif
+
+#include <urcu/uatomic/generic.h>
+
+#endif /* _URCU_ARCH_UATOMIC_ARM_H */
diff --git a/include/urcu/uatomic/gcc.h b/include/urcu/uatomic/gcc.h
new file mode 100644 (file)
index 0000000..438e039
--- /dev/null
@@ -0,0 +1,46 @@
+#ifndef _URCU_ARCH_UATOMIC_GCC_H
+#define _URCU_ARCH_UATOMIC_GCC_H
+
+/*
+ * Copyright (c) 1991-1994 by Xerox Corporation.  All rights reserved.
+ * Copyright (c) 1996-1999 by Silicon Graphics.  All rights reserved.
+ * Copyright (c) 1999-2004 Hewlett-Packard Development Company, L.P.
+ * Copyright (c) 2009      Mathieu Desnoyers
+ * Copyright (c) 2010      Paul E. McKenney, IBM Corporation
+ *                        (Adapted from uatomic_arch_ppc.h)
+ *
+ * THIS MATERIAL IS PROVIDED AS IS, WITH ABSOLUTELY NO WARRANTY EXPRESSED
+ * OR IMPLIED.  ANY USE IS AT YOUR OWN RISK.
+ *
+ * Permission is hereby granted to use or copy this program
+ * for any purpose,  provided the above notices are retained on all copies.
+ * Permission to modify the code and to distribute modified code is granted,
+ * provided the above notices are retained, and a notice that the code was
+ * modified is included with the above copyright notice.
+ *
+ * Code inspired from libuatomic_ops-1.2, inherited in part from the
+ * Boehm-Demers-Weiser conservative garbage collector.
+ */
+
+#include <urcu/compiler.h>
+#include <urcu/system.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+/*
+ * If your platform doesn't have a full set of atomics, you will need
+ * a separate uatomic_arch_*.h file for your architecture.  Otherwise,
+ * just rely on the definitions in uatomic/generic.h.
+ */
+#define UATOMIC_HAS_ATOMIC_BYTE
+#define UATOMIC_HAS_ATOMIC_SHORT
+
+#ifdef __cplusplus
+}
+#endif
+
+#include <urcu/uatomic/generic.h>
+
+#endif /* _URCU_ARCH_UATOMIC_GCC_H */
diff --git a/include/urcu/uatomic/generic.h b/include/urcu/uatomic/generic.h
new file mode 100644 (file)
index 0000000..5bb0d4f
--- /dev/null
@@ -0,0 +1,613 @@
+#ifndef _URCU_UATOMIC_GENERIC_H
+#define _URCU_UATOMIC_GENERIC_H
+
+/*
+ * Copyright (c) 1991-1994 by Xerox Corporation.  All rights reserved.
+ * Copyright (c) 1996-1999 by Silicon Graphics.  All rights reserved.
+ * Copyright (c) 1999-2004 Hewlett-Packard Development Company, L.P.
+ * Copyright (c) 2009      Mathieu Desnoyers
+ * Copyright (c) 2010      Paolo Bonzini
+ *
+ * THIS MATERIAL IS PROVIDED AS IS, WITH ABSOLUTELY NO WARRANTY EXPRESSED
+ * OR IMPLIED.  ANY USE IS AT YOUR OWN RISK.
+ *
+ * Permission is hereby granted to use or copy this program
+ * for any purpose,  provided the above notices are retained on all copies.
+ * Permission to modify the code and to distribute modified code is granted,
+ * provided the above notices are retained, and a notice that the code was
+ * modified is included with the above copyright notice.
+ *
+ * Code inspired from libuatomic_ops-1.2, inherited in part from the
+ * Boehm-Demers-Weiser conservative garbage collector.
+ */
+
+#include <stdint.h>
+#include <urcu/compiler.h>
+#include <urcu/system.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+#ifndef uatomic_set
+#define uatomic_set(addr, v)   ((void) CMM_STORE_SHARED(*(addr), (v)))
+#endif
+
+#ifndef uatomic_read
+#define uatomic_read(addr)     CMM_LOAD_SHARED(*(addr))
+#endif
+
+#if !defined __OPTIMIZE__  || defined UATOMIC_NO_LINK_ERROR
+static inline __attribute__((always_inline))
+void _uatomic_link_error(void)
+{
+#ifdef ILLEGAL_INSTR
+       /*
+        * generate an illegal instruction. Cannot catch this with
+        * linker tricks when optimizations are disabled.
+        */
+       __asm__ __volatile__(ILLEGAL_INSTR);
+#else
+       __builtin_trap();
+#endif
+}
+
+#else /* #if !defined __OPTIMIZE__  || defined UATOMIC_NO_LINK_ERROR */
+extern void _uatomic_link_error(void);
+#endif /* #else #if !defined __OPTIMIZE__  || defined UATOMIC_NO_LINK_ERROR */
+
+/* cmpxchg */
+
+#ifndef uatomic_cmpxchg
+static inline __attribute__((always_inline))
+unsigned long _uatomic_cmpxchg(void *addr, unsigned long old,
+                             unsigned long _new, int len)
+{
+       switch (len) {
+#ifdef UATOMIC_HAS_ATOMIC_BYTE
+       case 1:
+               return __sync_val_compare_and_swap_1((uint8_t *) addr, old,
+                               _new);
+#endif
+#ifdef UATOMIC_HAS_ATOMIC_SHORT
+       case 2:
+               return __sync_val_compare_and_swap_2((uint16_t *) addr, old,
+                               _new);
+#endif
+       case 4:
+               return __sync_val_compare_and_swap_4((uint32_t *) addr, old,
+                               _new);
+#if (CAA_BITS_PER_LONG == 64)
+       case 8:
+               return __sync_val_compare_and_swap_8((uint64_t *) addr, old,
+                               _new);
+#endif
+       }
+       _uatomic_link_error();
+       return 0;
+}
+
+
+#define uatomic_cmpxchg(addr, old, _new)                                     \
+       ((__typeof__(*(addr))) _uatomic_cmpxchg((addr),                       \
+                                               caa_cast_long_keep_sign(old), \
+                                               caa_cast_long_keep_sign(_new),\
+                                               sizeof(*(addr))))
+
+
+/* uatomic_and */
+
+#ifndef uatomic_and
+static inline __attribute__((always_inline))
+void _uatomic_and(void *addr, unsigned long val,
+                 int len)
+{
+       switch (len) {
+#ifdef UATOMIC_HAS_ATOMIC_BYTE
+       case 1:
+               __sync_and_and_fetch_1((uint8_t *) addr, val);
+               return;
+#endif
+#ifdef UATOMIC_HAS_ATOMIC_SHORT
+       case 2:
+               __sync_and_and_fetch_2((uint16_t *) addr, val);
+               return;
+#endif
+       case 4:
+               __sync_and_and_fetch_4((uint32_t *) addr, val);
+               return;
+#if (CAA_BITS_PER_LONG == 64)
+       case 8:
+               __sync_and_and_fetch_8((uint64_t *) addr, val);
+               return;
+#endif
+       }
+       _uatomic_link_error();
+}
+
+#define uatomic_and(addr, v)                   \
+       (_uatomic_and((addr),                   \
+               caa_cast_long_keep_sign(v),     \
+               sizeof(*(addr))))
+#define cmm_smp_mb__before_uatomic_and()       cmm_barrier()
+#define cmm_smp_mb__after_uatomic_and()                cmm_barrier()
+
+#endif
+
+/* uatomic_or */
+
+#ifndef uatomic_or
+static inline __attribute__((always_inline))
+void _uatomic_or(void *addr, unsigned long val,
+                int len)
+{
+       switch (len) {
+#ifdef UATOMIC_HAS_ATOMIC_BYTE
+       case 1:
+               __sync_or_and_fetch_1((uint8_t *) addr, val);
+               return;
+#endif
+#ifdef UATOMIC_HAS_ATOMIC_SHORT
+       case 2:
+               __sync_or_and_fetch_2((uint16_t *) addr, val);
+               return;
+#endif
+       case 4:
+               __sync_or_and_fetch_4((uint32_t *) addr, val);
+               return;
+#if (CAA_BITS_PER_LONG == 64)
+       case 8:
+               __sync_or_and_fetch_8((uint64_t *) addr, val);
+               return;
+#endif
+       }
+       _uatomic_link_error();
+       return;
+}
+
+#define uatomic_or(addr, v)                    \
+       (_uatomic_or((addr),                    \
+               caa_cast_long_keep_sign(v),     \
+               sizeof(*(addr))))
+#define cmm_smp_mb__before_uatomic_or()                cmm_barrier()
+#define cmm_smp_mb__after_uatomic_or()         cmm_barrier()
+
+#endif
+
+
+/* uatomic_add_return */
+
+#ifndef uatomic_add_return
+static inline __attribute__((always_inline))
+unsigned long _uatomic_add_return(void *addr, unsigned long val,
+                                int len)
+{
+       switch (len) {
+#ifdef UATOMIC_HAS_ATOMIC_BYTE
+       case 1:
+               return __sync_add_and_fetch_1((uint8_t *) addr, val);
+#endif
+#ifdef UATOMIC_HAS_ATOMIC_SHORT
+       case 2:
+               return __sync_add_and_fetch_2((uint16_t *) addr, val);
+#endif
+       case 4:
+               return __sync_add_and_fetch_4((uint32_t *) addr, val);
+#if (CAA_BITS_PER_LONG == 64)
+       case 8:
+               return __sync_add_and_fetch_8((uint64_t *) addr, val);
+#endif
+       }
+       _uatomic_link_error();
+       return 0;
+}
+
+
+#define uatomic_add_return(addr, v)                                        \
+       ((__typeof__(*(addr))) _uatomic_add_return((addr),                  \
+                                               caa_cast_long_keep_sign(v), \
+                                               sizeof(*(addr))))
+#endif /* #ifndef uatomic_add_return */
+
+#ifndef uatomic_xchg
+/* xchg */
+
+static inline __attribute__((always_inline))
+unsigned long _uatomic_exchange(void *addr, unsigned long val, int len)
+{
+       switch (len) {
+#ifdef UATOMIC_HAS_ATOMIC_BYTE
+       case 1:
+       {
+               uint8_t old;
+
+               do {
+                       old = uatomic_read((uint8_t *) addr);
+               } while (!__sync_bool_compare_and_swap_1((uint8_t *) addr,
+                               old, val));
+
+               return old;
+       }
+#endif
+#ifdef UATOMIC_HAS_ATOMIC_SHORT
+       case 2:
+       {
+               uint16_t old;
+
+               do {
+                       old = uatomic_read((uint16_t *) addr);
+               } while (!__sync_bool_compare_and_swap_2((uint16_t *) addr,
+                               old, val));
+
+               return old;
+       }
+#endif
+       case 4:
+       {
+               uint32_t old;
+
+               do {
+                       old = uatomic_read((uint32_t *) addr);
+               } while (!__sync_bool_compare_and_swap_4((uint32_t *) addr,
+                               old, val));
+
+               return old;
+       }
+#if (CAA_BITS_PER_LONG == 64)
+       case 8:
+       {
+               uint64_t old;
+
+               do {
+                       old = uatomic_read((uint64_t *) addr);
+               } while (!__sync_bool_compare_and_swap_8((uint64_t *) addr,
+                               old, val));
+
+               return old;
+       }
+#endif
+       }
+       _uatomic_link_error();
+       return 0;
+}
+
+#define uatomic_xchg(addr, v)                                              \
+       ((__typeof__(*(addr))) _uatomic_exchange((addr),                    \
+                                               caa_cast_long_keep_sign(v), \
+                                               sizeof(*(addr))))
+#endif /* #ifndef uatomic_xchg */
+
+#else /* #ifndef uatomic_cmpxchg */
+
+#ifndef uatomic_and
+/* uatomic_and */
+
+static inline __attribute__((always_inline))
+void _uatomic_and(void *addr, unsigned long val, int len)
+{
+       switch (len) {
+#ifdef UATOMIC_HAS_ATOMIC_BYTE
+       case 1:
+       {
+               uint8_t old, oldt;
+
+               oldt = uatomic_read((uint8_t *) addr);
+               do {
+                       old = oldt;
+                       oldt = _uatomic_cmpxchg(addr, old, old & val, 1);
+               } while (oldt != old);
+
+               return;
+       }
+#endif
+#ifdef UATOMIC_HAS_ATOMIC_SHORT
+       case 2:
+       {
+               uint16_t old, oldt;
+
+               oldt = uatomic_read((uint16_t *) addr);
+               do {
+                       old = oldt;
+                       oldt = _uatomic_cmpxchg(addr, old, old & val, 2);
+               } while (oldt != old);
+       }
+#endif
+       case 4:
+       {
+               uint32_t old, oldt;
+
+               oldt = uatomic_read((uint32_t *) addr);
+               do {
+                       old = oldt;
+                       oldt = _uatomic_cmpxchg(addr, old, old & val, 4);
+               } while (oldt != old);
+
+               return;
+       }
+#if (CAA_BITS_PER_LONG == 64)
+       case 8:
+       {
+               uint64_t old, oldt;
+
+               oldt = uatomic_read((uint64_t *) addr);
+               do {
+                       old = oldt;
+                       oldt = _uatomic_cmpxchg(addr, old, old & val, 8);
+               } while (oldt != old);
+
+               return;
+       }
+#endif
+       }
+       _uatomic_link_error();
+}
+
+#define uatomic_and(addr, v)                   \
+       (_uatomic_and((addr),                   \
+               caa_cast_long_keep_sign(v),     \
+               sizeof(*(addr))))
+#define cmm_smp_mb__before_uatomic_and()       cmm_barrier()
+#define cmm_smp_mb__after_uatomic_and()                cmm_barrier()
+
+#endif /* #ifndef uatomic_and */
+
+#ifndef uatomic_or
+/* uatomic_or */
+
+static inline __attribute__((always_inline))
+void _uatomic_or(void *addr, unsigned long val, int len)
+{
+       switch (len) {
+#ifdef UATOMIC_HAS_ATOMIC_BYTE
+       case 1:
+       {
+               uint8_t old, oldt;
+
+               oldt = uatomic_read((uint8_t *) addr);
+               do {
+                       old = oldt;
+                       oldt = _uatomic_cmpxchg(addr, old, old | val, 1);
+               } while (oldt != old);
+
+               return;
+       }
+#endif
+#ifdef UATOMIC_HAS_ATOMIC_SHORT
+       case 2:
+       {
+               uint16_t old, oldt;
+
+               oldt = uatomic_read((uint16_t *) addr);
+               do {
+                       old = oldt;
+                       oldt = _uatomic_cmpxchg(addr, old, old | val, 2);
+               } while (oldt != old);
+
+               return;
+       }
+#endif
+       case 4:
+       {
+               uint32_t old, oldt;
+
+               oldt = uatomic_read((uint32_t *) addr);
+               do {
+                       old = oldt;
+                       oldt = _uatomic_cmpxchg(addr, old, old | val, 4);
+               } while (oldt != old);
+
+               return;
+       }
+#if (CAA_BITS_PER_LONG == 64)
+       case 8:
+       {
+               uint64_t old, oldt;
+
+               oldt = uatomic_read((uint64_t *) addr);
+               do {
+                       old = oldt;
+                       oldt = _uatomic_cmpxchg(addr, old, old | val, 8);
+               } while (oldt != old);
+
+               return;
+       }
+#endif
+       }
+       _uatomic_link_error();
+}
+
+#define uatomic_or(addr, v)                    \
+       (_uatomic_or((addr),                    \
+               caa_cast_long_keep_sign(v),     \
+               sizeof(*(addr))))
+#define cmm_smp_mb__before_uatomic_or()                cmm_barrier()
+#define cmm_smp_mb__after_uatomic_or()         cmm_barrier()
+
+#endif /* #ifndef uatomic_or */
+
+#ifndef uatomic_add_return
+/* uatomic_add_return */
+
+static inline __attribute__((always_inline))
+unsigned long _uatomic_add_return(void *addr, unsigned long val, int len)
+{
+       switch (len) {
+#ifdef UATOMIC_HAS_ATOMIC_BYTE
+       case 1:
+       {
+               uint8_t old, oldt;
+
+               oldt = uatomic_read((uint8_t *) addr);
+               do {
+                       old = oldt;
+                       oldt = uatomic_cmpxchg((uint8_t *) addr,
+                                               old, old + val);
+               } while (oldt != old);
+
+               return old + val;
+       }
+#endif
+#ifdef UATOMIC_HAS_ATOMIC_SHORT
+       case 2:
+       {
+               uint16_t old, oldt;
+
+               oldt = uatomic_read((uint16_t *) addr);
+               do {
+                       old = oldt;
+                       oldt = uatomic_cmpxchg((uint16_t *) addr,
+                                               old, old + val);
+               } while (oldt != old);
+
+               return old + val;
+       }
+#endif
+       case 4:
+       {
+               uint32_t old, oldt;
+
+               oldt = uatomic_read((uint32_t *) addr);
+               do {
+                       old = oldt;
+                       oldt = uatomic_cmpxchg((uint32_t *) addr,
+                                               old, old + val);
+               } while (oldt != old);
+
+               return old + val;
+       }
+#if (CAA_BITS_PER_LONG == 64)
+       case 8:
+       {
+               uint64_t old, oldt;
+
+               oldt = uatomic_read((uint64_t *) addr);
+               do {
+                       old = oldt;
+                       oldt = uatomic_cmpxchg((uint64_t *) addr,
+                                               old, old + val);
+               } while (oldt != old);
+
+               return old + val;
+       }
+#endif
+       }
+       _uatomic_link_error();
+       return 0;
+}
+
+#define uatomic_add_return(addr, v)                                        \
+       ((__typeof__(*(addr))) _uatomic_add_return((addr),                  \
+                                               caa_cast_long_keep_sign(v), \
+                                               sizeof(*(addr))))
+#endif /* #ifndef uatomic_add_return */
+
+#ifndef uatomic_xchg
+/* xchg */
+
+static inline __attribute__((always_inline))
+unsigned long _uatomic_exchange(void *addr, unsigned long val, int len)
+{
+       switch (len) {
+#ifdef UATOMIC_HAS_ATOMIC_BYTE
+       case 1:
+       {
+               uint8_t old, oldt;
+
+               oldt = uatomic_read((uint8_t *) addr);
+               do {
+                       old = oldt;
+                       oldt = uatomic_cmpxchg((uint8_t *) addr,
+                                               old, val);
+               } while (oldt != old);
+
+               return old;
+       }
+#endif
+#ifdef UATOMIC_HAS_ATOMIC_SHORT
+       case 2:
+       {
+               uint16_t old, oldt;
+
+               oldt = uatomic_read((uint16_t *) addr);
+               do {
+                       old = oldt;
+                       oldt = uatomic_cmpxchg((uint16_t *) addr,
+                                               old, val);
+               } while (oldt != old);
+
+               return old;
+       }
+#endif
+       case 4:
+       {
+               uint32_t old, oldt;
+
+               oldt = uatomic_read((uint32_t *) addr);
+               do {
+                       old = oldt;
+                       oldt = uatomic_cmpxchg((uint32_t *) addr,
+                                               old, val);
+               } while (oldt != old);
+
+               return old;
+       }
+#if (CAA_BITS_PER_LONG == 64)
+       case 8:
+       {
+               uint64_t old, oldt;
+
+               oldt = uatomic_read((uint64_t *) addr);
+               do {
+                       old = oldt;
+                       oldt = uatomic_cmpxchg((uint64_t *) addr,
+                                               old, val);
+               } while (oldt != old);
+
+               return old;
+       }
+#endif
+       }
+       _uatomic_link_error();
+       return 0;
+}
+
+#define uatomic_xchg(addr, v)                                              \
+       ((__typeof__(*(addr))) _uatomic_exchange((addr),                    \
+                                               caa_cast_long_keep_sign(v), \
+                                               sizeof(*(addr))))
+#endif /* #ifndef uatomic_xchg */
+
+#endif /* #else #ifndef uatomic_cmpxchg */
+
+/* uatomic_sub_return, uatomic_add, uatomic_sub, uatomic_inc, uatomic_dec */
+
+#ifndef uatomic_add
+#define uatomic_add(addr, v)           (void)uatomic_add_return((addr), (v))
+#define cmm_smp_mb__before_uatomic_add()       cmm_barrier()
+#define cmm_smp_mb__after_uatomic_add()                cmm_barrier()
+#endif
+
+#define uatomic_sub_return(addr, v)    \
+       uatomic_add_return((addr), -(caa_cast_long_keep_sign(v)))
+#define uatomic_sub(addr, v)           \
+       uatomic_add((addr), -(caa_cast_long_keep_sign(v)))
+#define cmm_smp_mb__before_uatomic_sub()       cmm_smp_mb__before_uatomic_add()
+#define cmm_smp_mb__after_uatomic_sub()                cmm_smp_mb__after_uatomic_add()
+
+#ifndef uatomic_inc
+#define uatomic_inc(addr)              uatomic_add((addr), 1)
+#define cmm_smp_mb__before_uatomic_inc()       cmm_smp_mb__before_uatomic_add()
+#define cmm_smp_mb__after_uatomic_inc()                cmm_smp_mb__after_uatomic_add()
+#endif
+
+#ifndef uatomic_dec
+#define uatomic_dec(addr)              uatomic_add((addr), -1)
+#define cmm_smp_mb__before_uatomic_dec()       cmm_smp_mb__before_uatomic_add()
+#define cmm_smp_mb__after_uatomic_dec()                cmm_smp_mb__after_uatomic_add()
+#endif
+
+#ifdef __cplusplus
+}
+#endif
+
+#endif /* _URCU_UATOMIC_GENERIC_H */
diff --git a/include/urcu/uatomic/hppa.h b/include/urcu/uatomic/hppa.h
new file mode 100644 (file)
index 0000000..2102153
--- /dev/null
@@ -0,0 +1,10 @@
+#ifndef _URCU_ARCH_UATOMIC_HPPA_H
+#define _URCU_ARCH_UATOMIC_HPPA_H
+
+#include <urcu/compiler.h>
+#include <urcu/system.h>
+
+#define UATOMIC_HAS_ATOMIC_SHORT
+#include <urcu/uatomic/generic.h>
+
+#endif /* _URCU_ARCH_UATOMIC_HPPA_H */
diff --git a/include/urcu/uatomic/ia64.h b/include/urcu/uatomic/ia64.h
new file mode 100644 (file)
index 0000000..b5db8cc
--- /dev/null
@@ -0,0 +1,41 @@
+#ifndef _URCU_ARCH_UATOMIC_IA64_H
+#define _URCU_ARCH_UATOMIC_IA64_H
+
+/*
+ * Copyright (c) 1991-1994 by Xerox Corporation.  All rights reserved.
+ * Copyright (c) 1996-1999 by Silicon Graphics.  All rights reserved.
+ * Copyright (c) 1999-2004 Hewlett-Packard Development Company, L.P.
+ * Copyright (c) 2009-2015 Mathieu Desnoyers
+ * Copyright (c) 2010      Paul E. McKenney, IBM Corporation
+ *                        (Adapted from uatomic_arch_ppc.h)
+ *
+ * THIS MATERIAL IS PROVIDED AS IS, WITH ABSOLUTELY NO WARRANTY EXPRESSED
+ * OR IMPLIED.  ANY USE IS AT YOUR OWN RISK.
+ *
+ * Permission is hereby granted to use or copy this program
+ * for any purpose,  provided the above notices are retained on all copies.
+ * Permission to modify the code and to distribute modified code is granted,
+ * provided the above notices are retained, and a notice that the code was
+ * modified is included with the above copyright notice.
+ *
+ * Code inspired from libuatomic_ops-1.2, inherited in part from the
+ * Boehm-Demers-Weiser conservative garbage collector.
+ */
+
+#include <urcu/compiler.h>
+#include <urcu/system.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+#define UATOMIC_HAS_ATOMIC_BYTE
+#define UATOMIC_HAS_ATOMIC_SHORT
+
+#ifdef __cplusplus
+}
+#endif
+
+#include <urcu/uatomic/generic.h>
+
+#endif /* _URCU_ARCH_UATOMIC_IA64_H */
diff --git a/include/urcu/uatomic/mips.h b/include/urcu/uatomic/mips.h
new file mode 100644 (file)
index 0000000..bd7ca7f
--- /dev/null
@@ -0,0 +1,32 @@
+#ifndef _URCU_UATOMIC_ARCH_MIPS_H
+#define _URCU_UATOMIC_ARCH_MIPS_H
+
+/*
+ * Atomic exchange operations for the MIPS architecture. Let GCC do it.
+ *
+ * Copyright (c) 2010 Paolo Bonzini <pbonzini@redhat.com>
+ *
+ * Permission is hereby granted, free of charge, to any person obtaining a copy
+ * of this software and associated documentation files (the "Software"), to
+ * deal in the Software without restriction, including without limitation the
+ * rights to use, copy, modify, merge, publish, distribute, sublicense, and/or
+ * sell copies of the Software, and to permit persons to whom the Software is
+ * furnished to do so, subject to the following conditions:
+ *
+ * The above copyright notice and this permission notice shall be included in
+ * all copies or substantial portions of the Software.
+ *
+ * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+ * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+ * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+ * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+ * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING
+ * FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS
+ * IN THE SOFTWARE.
+ */
+
+#include <urcu/compiler.h>
+#include <urcu/system.h>
+#include <urcu/uatomic/generic.h>
+
+#endif /* _URCU_UATOMIC_ARCH_MIPS_H */
diff --git a/include/urcu/uatomic/nios2.h b/include/urcu/uatomic/nios2.h
new file mode 100644 (file)
index 0000000..5b3c303
--- /dev/null
@@ -0,0 +1,32 @@
+#ifndef _URCU_UATOMIC_ARCH_NIOS2_H
+#define _URCU_UATOMIC_ARCH_NIOS2_H
+
+/*
+ * Atomic exchange operations for the NIOS2 architecture. Let GCC do it.
+ *
+ * Copyright (c) 2016 Marek Vasut <marex@denx.de>
+ *
+ * Permission is hereby granted, free of charge, to any person obtaining a copy
+ * of this software and associated documentation files (the "Software"), to
+ * deal in the Software without restriction, including without limitation the
+ * rights to use, copy, modify, merge, publish, distribute, sublicense, and/or
+ * sell copies of the Software, and to permit persons to whom the Software is
+ * furnished to do so, subject to the following conditions:
+ *
+ * The above copyright notice and this permission notice shall be included in
+ * all copies or substantial portions of the Software.
+ *
+ * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+ * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+ * FITNESS FOR A PARTICULAR PURPOSE AND