loading side of the threaded VM

TODO cahnges

Fixed memory human style memory reporting, removed server.usedmemory, now zmalloc_used_memory() is used always.

VM tuning thanks to redis-stat vmstat. Now it performs much better under high load

Changelog updated

REDIS_MAX_COMPLETED_JOBS_PROCESSED is now in percentage, not number of jobs. Moved a debugging message a few lines forward as it was called where a few logged parameters where invalid, leading to a crash

fixed a deadlock caused by too much finished processes in queue so that I/O clients writing to the wirte side of the pipe used to awake the main thread where blocking. Then a BGSAVE started waiting for the last active thread to finish, condition impossible because all the I/O threads where blocking on threads. Takes this as a note to myself...

ae.c event loop does no longer support exception notifications, as they are fully pointless. Also a theoretical bug that never happens in practice fixed.

commercial tools stuff removed from the Redis makefile. cotools are now migrated into a different repos

removed a bug in the function to cancel an I/O job

static symbols update

removed support for REDIS_HELGRIND_FRIENDLY since Helgrind 3.5.0 is friendly enough even with many threads created and destroyed

now redis-cli understands -h

Create swap file only if not exists

I hate warnings

fixed a minor memory leak in configuration file parsing

minor fix

support for named VM swap file. Fixed a few important interaction issues between the background saving processes and IO threads

fix for the just added new test

useless debugging messages removed

new test added

thread safe zmalloc used memory counter

A define to make Redis more helgrind friendly

removed a few races from threaded VM

Fixed a never experienced, theoretical bug that can actually happen in practice. Basically when a thread is working on a I/O Job we need to wait it to finish before to cancel the Job in vmCancelThreadedIOJob(), otherwise the thread may mess with an object that is being manipulated by the main thread as well.

Set the new threads stack size to a LZF friendly amount

access to already freed job structure fixed by statements reoredering

removed a useless debugging message

Wait zero active threads condition before to fork() for BGSAVE or BGREWRITEAOF

list API is now thread safe

minor TODO and debugging info changes

support for blocking VM in config file

more non blocking VM changes

fix for test #11

a few more stuff in INFO about VM. Test #11 changed a bit in order to be less lame

Added a define to configure how many completed IO jobs the handler should process at every call.

Fixed a bug in the IO Job canceling funtion

more steps towards a working non blocking VM

converted random printfs in debug logs

removed a bug introduced with non blocking VM

a few non blocking VM bugs fixed

More work on non-blocking VM. Should work in a few days

More threaded I/O VM work + Redis init script

more work on VM threaded I/O. Still nothing of usable

non-blocking VM data structures, just a start

used_memory_human added to INFO output. Human readable amount of memory used.

Now DEBUG OBJECT plays well with swapped out objects

fflush VM swap file after object swapping

added the fmacros to enable support for fseeko() lseeko() with 64bit off_t

VM now swaps objects out while loading datasets not fitting into vm-max-memory bytes of RAM

added process id information in INFO

vm-enabled set to no by default in redis.conf

a new default redis.conf

VM stats in INFO command

Introduced a new log verbosity level, so now DEBUG is really for debugging. Refactored a bit maxmemory. When virtual memory is short in RAM free the objects freelist as well as swapping things out.

fixed a bug in bgsave when VM is off but still it was testing for obj->storage field

converted a few calls to assert() => redisAssert() to print stack trace

BGREWRITEAOF now works with swapping on

A first fix for SET key overwrite

SAVE now works with VM

swapping algorithm a bit more aggressive under low memory

basic VM mostly working!

New object field (one of the unused bytes) to hold the type of the swapped out value object in key objects

VM internals bugfixes, set 1

load key from swap on key lookup

more object-level VM primitives

Redis objects swapping / loading

rdbLoadObject() as a separated function to load objects from disk. Dropped support for RDB version 0, I guess no longer has this legacy DBs around

VM low level pages handling

vm swap file creation, and some basic configuration

version marked 1.3.2

saving code refactored a bit, added a function returning the number of bytes an object will use on disk

Now the PUSH side of RPOPLPUSH is able to unblock clients blocked on BLPOP

Version is now 1.3.1

New vararg BLPOP able to block against multiple keys

fixed a problem with BLPOP timeout of zero, now it blocks forever

BLPOP timeouts implemented

first working implementation of BLPOP and BRPOP, still everything is to test well

a few more fixes, still broken

First fix, still broken

minor fix for Linux 64 bit

not yet working BLPOP implementation

AOFSYNC removed, got a better idea...

AOFSYNC command implemented

Version changed to 1.3.0, welcome to the new unstable

Now MULTI returns +OK as well

MULTI/EXEC first implementation

Fixed a minor bug in GETSET, now the SET part is not performed if the GET fails because the key does not contain a string value

html doc readded

ZRANGE WITHSCORES test added

version is now 1.1.94

Add the command name in the unknown command error message.

ZRANGE, ZREVRANGE now support WITHSCORES options

html docs update (ZINCRBY added)

TODO list update

the pipelining test was ran against DB 1 for error, now it runs on DB 9 like all the other tests

still more tests

SORT STORE test added

Now SORT returns an empty bulk reply if the key does not exist

modified a bit the ZREVRANGE test to cover a few lines of code more