redis.git
6 years agoQuery the archive to provide a complete KEYS list. master
Jay Freeman (saurik) [Sun, 23 Dec 2012 12:17:20 +0000 (12:17 +0000)] 
Query the archive to provide a complete KEYS list.

6 years agoWhen closing the MDB DBI, do it in a transaction.
Jay Freeman (saurik) [Sun, 23 Dec 2012 09:32:48 +0000 (09:32 +0000)] 
When closing the MDB DBI, do it in a transaction.

6 years agoUse the newer mdb_dbi_open instead of mdb_open.
Jay Freeman (saurik) [Sun, 23 Dec 2012 09:30:48 +0000 (09:30 +0000)] 
Use the newer mdb_dbi_open instead of mdb_open.

6 years agoDelete keys from the archive when deleting from DB.
Jay Freeman (saurik) [Sun, 23 Dec 2012 09:29:46 +0000 (09:29 +0000)] 
Delete keys from the archive when deleting from DB.

6 years agoMark keys unarchived during dbAdd (for move/rename).
Jay Freeman (saurik) [Sun, 23 Dec 2012 09:18:46 +0000 (09:18 +0000)] 
Mark keys unarchived during dbAdd (for move/rename).

6 years agoUse more correct file permissions to open MDB files.
Jay Freeman (saurik) [Sun, 23 Dec 2012 08:29:51 +0000 (08:29 +0000)] 
Use more correct file permissions to open MDB files.

6 years agoFix key archival configuration from static config.
Jay Freeman (saurik) [Sun, 23 Dec 2012 08:26:00 +0000 (08:26 +0000)] 
Fix key archival configuration from static config.

6 years agoAdd a unit test to verify that key archival works.
Jay Freeman (saurik) [Sun, 23 Dec 2012 08:11:42 +0000 (08:11 +0000)] 
Add a unit test to verify that key archival works.

6 years agoSupport EXISTS command queries against MDB archive.
Jay Freeman (saurik) [Sun, 23 Dec 2012 08:07:14 +0000 (08:07 +0000)] 
Support EXISTS command queries against MDB archive.

6 years agoIf a key is already archived, it can be deleted.
Jay Freeman (saurik) [Sun, 23 Dec 2012 08:06:46 +0000 (08:06 +0000)] 
If a key is already archived, it can be deleted.

6 years agoFurther integrate MDB key archival into config.
Jay Freeman (saurik) [Sun, 23 Dec 2012 08:00:44 +0000 (08:00 +0000)] 
Further integrate MDB key archival into config.

Like other parts of the server, key archival is something you should be able to activate and deactivate at runtime.

6 years agoArchive (do not delete) keys due to memory limits.
Jay Freeman (saurik) [Sun, 23 Dec 2012 07:34:59 +0000 (07:34 +0000)] 
Archive (do not delete) keys due to memory limits.

(This archival is done using OpenLDAP's MDB.)

6 years agoAdd openldap submodule with a symlink for liblmdb.
Jay Freeman (saurik) [Sat, 22 Dec 2012 22:32:57 +0000 (22:32 +0000)] 
Add openldap submodule with a symlink for liblmdb.

6 years agoFix overflow in mstime() in redis-cli and benchmark.
antirez [Thu, 20 Dec 2012 14:20:55 +0000 (15:20 +0100)] 
Fix overflow in mstime() in redis-cli and benchmark.

The problem does not exist in the Redis server implementation of mstime()
but is only limited to redis-cli and redis-benchmark.

Thix fixes issue #839.

6 years agoCONTRIBUTING updated with request to add BSD license.
antirez [Mon, 17 Dec 2012 10:13:54 +0000 (11:13 +0100)] 
CONTRIBUTING updated with request to add BSD license.

6 years agoAdded missing license and copyright in deps/hiredis.
antirez [Mon, 17 Dec 2012 10:11:09 +0000 (11:11 +0100)] 
Added missing license and copyright in deps/hiredis.

6 years agoDefine _XOPEN_SOURCE appropriately on NetBSD.
Patrick TJ McPhee [Wed, 12 Dec 2012 15:49:12 +0000 (10:49 -0500)] 
Define _XOPEN_SOURCE appropriately on NetBSD.

6 years agoFix config.h endianess detection to work on Linux / PPC64.
antirez [Tue, 11 Dec 2012 16:01:00 +0000 (17:01 +0100)] 
Fix config.h endianess detection to work on Linux / PPC64.

Config.h performs endianess detection including OS-specific headers to
define the endianess macros, or when this is not possible, checking the
processor type via ifdefs.

Sometimes when the OS-specific macro is included, only __BYTE_ORDER is
defined, while BYTE_ORDER remains undefined. There is code at the end of
config.h endianess detection in order to define the macros without the
underscore, but it was not working correctly.

This commit fixes endianess detection fixing Redis on Linux / PPC64 and
possibly other systems.

6 years agoRedis 2.6.7
antirez [Mon, 3 Dec 2012 11:53:09 +0000 (12:53 +0100)] 
Redis 2.6.7

6 years agoIssue 804 Add Default-Start and Default-Stop LSB tags for RedHat startup and update...
Brian J. McManus [Mon, 3 Dec 2012 04:46:37 +0000 (21:46 -0700)] 
Issue 804 Add Default-Start and Default-Stop LSB tags for RedHat startup and update-rc.d compatability.

6 years agoMemory leak fixed: release client's bpop->keys dictionary.
antirez [Mon, 3 Dec 2012 11:12:53 +0000 (12:12 +0100)] 
Memory leak fixed: release client's bpop->keys dictionary.

Refactoring performed after issue #801 resolution (see commit
2f87cf8b0162bd9d78c3a89860c0971cd71d39db) introduced a memory leak that
is fixed by this commit.

I simply forgot to free the new allocated dictionary in the client
structure trusting the output of "make test" on OSX.

However due to changes in the "leaks" utility the test was no longer
testing memory leaks. This problem was also fixed.

Fortunately the CI test running at ci.redis.io spotted the bug in the
valgrind run.

The leak never ended into a stable release.

6 years agoTest: fixed osx "leaks" support in test.
antirez [Mon, 3 Dec 2012 11:06:38 +0000 (12:06 +0100)] 
Test: fixed osx "leaks" support in test.

Due to changes in recent releases of osx leaks utility, the osx leak
detection no longer worked. Now it is fixed in a way that should be
backward compatible.

6 years agoBlocking POP: use a dictionary to store keys clinet side.
antirez [Sun, 2 Dec 2012 19:36:18 +0000 (20:36 +0100)] 
Blocking POP: use a dictionary to store keys clinet side.

To store the keys we block for during a blocking pop operation, in the
case the client is blocked for more data to arrive, we used a simple
linear array of redis objects, in the blockingState structure:

    robj **keys;
    int count;

However in order to fix issue #801 we also use a dictionary in order to
avoid to end in the blocked clients queue for the same key multiple
times with the same client.

The dictionary was only temporary, just to avoid duplicates, but since
we create / destroy it there is no point in doing this duplicated work,
so this commit simply use a dictionary as the main structure to store
the keys we are blocked for. So instead of the previous fields we now
just have:

    dict *keys;

This simplifies the code and reduces the work done by the server during
a blocking POP operation.

6 years agoTest: regression for issue #801.
antirez [Sat, 1 Dec 2012 22:07:09 +0000 (23:07 +0100)] 
Test: regression for issue #801.

6 years agoClient should not block multiple times on the same key.
antirez [Sat, 1 Dec 2012 11:26:07 +0000 (12:26 +0100)] 
Client should not block multiple times on the same key.

Sending a command like:

BLPOP foo foo foo foo 0

Resulted into a crash before this commit since the client ended being
inserted in the waiting list for this key multiple times.
This resulted into the function handleClientsBlockedOnLists() to fail
because we have code like that:

    if (de) {
        list *clients = dictGetVal(de);
        int numclients = listLength(clients);

        while(numclients--) {
            listNode *clientnode = listFirst(clients);

            /* server clients here... */
        }
    }

The code to serve clients used to remove the served client from the
waiting list, so if a client is blocking multiple times, eventually the
call to listFirst() will return NULL or worse will access random memory
since the list may no longer exist as it is removed by the function
unblockClientWaitingData() if there are no more clients waiting for this
list.

To avoid making the rest of the implementation more complex, this commit
modifies blockForKeys() so that a client will be put just a single time
into the waiting list for a given key.

Since it is Saturday, I hope this fixes issue #801.

6 years agoMake an EXEC test more latency proof.
antirez [Thu, 29 Nov 2012 15:12:14 +0000 (16:12 +0100)] 
Make an EXEC test more latency proof.

6 years agoRedis 2.6.6
antirez [Wed, 28 Nov 2012 17:53:09 +0000 (18:53 +0100)] 
Redis 2.6.6

6 years agoJemalloc updated to version 3.2.0.
antirez [Wed, 28 Nov 2012 17:39:35 +0000 (18:39 +0100)] 
Jemalloc updated to version 3.2.0.

6 years agoRedis 2.6.5
antirez [Thu, 22 Nov 2012 16:03:27 +0000 (17:03 +0100)] 
Redis 2.6.5

6 years agoEVALSHA is now case insensitive.
antirez [Thu, 22 Nov 2012 14:50:00 +0000 (15:50 +0100)] 
EVALSHA is now case insensitive.

EVALSHA used to crash if the SHA1 was not lowercase (Issue #783).
Fixed using a case insensitive dictionary type for the sha -> script
map used for replication of scripts.

6 years agoFix integer overflow in zunionInterGenericCommand().
antirez [Thu, 22 Nov 2012 14:28:28 +0000 (15:28 +0100)] 
Fix integer overflow in zunionInterGenericCommand().

This fixes issue #761.

6 years agoTest: MULTI state is cleared after EXECABORT error.
antirez [Sat, 17 Nov 2012 11:11:13 +0000 (12:11 +0100)] 
Test: MULTI state is cleared after EXECABORT error.

6 years agoTest: make sure EXEC fails after previous transaction errors.
antirez [Sat, 17 Nov 2012 11:09:17 +0000 (12:09 +0100)] 
Test: make sure EXEC fails after previous transaction errors.

6 years agoTest: MULTI/EXEC tests moved into multi.tcl.
antirez [Sat, 17 Nov 2012 10:17:54 +0000 (11:17 +0100)] 
Test: MULTI/EXEC tests moved into multi.tcl.

6 years agoSafer handling of MULTI/EXEC on errors.
antirez [Thu, 15 Nov 2012 19:11:05 +0000 (20:11 +0100)] 
Safer handling of MULTI/EXEC on errors.

After the transcation starts with a MULIT, the previous behavior was to
return an error on problems such as maxmemory limit reached. But still
to execute the transaction with the subset of queued commands on EXEC.

While it is true that the client was able to check for errors
distinguish QUEUED by an error reply, MULTI/EXEC in most client
implementations uses pipelining for speed, so all the commands and EXEC
are sent without caring about replies.

With this change:

1) EXEC fails if at least one command was not queued because of an
error. The EXECABORT error is used.
2) A generic error is always reported on EXEC.
3) The client DISCARDs the MULTI state after a failed EXEC, otherwise
pipelining multiple transactions would be basically impossible:
After a failed EXEC the next transaction would be simply queued as
the tail of the previous transaction.

6 years agoChildren creating AOF or RDB files now report memory used by COW.
antirez [Mon, 19 Nov 2012 11:02:08 +0000 (12:02 +0100)] 
Children creating AOF or RDB files now report memory used by COW.

Finally Redis is able to report the amount of memory used by
copy-on-write while saving an RDB or writing an AOF file in background.

Note that this information is currently only logged (at NOTICE level)
and not shown in INFO because this is less trivial (but surely doable
with some minor form of interprocess communication).

The reason we can't capture this information on the parent before we
call wait3() is that the Linux kernel will release the child memory
ASAP, and only retain the minimal state for the process that is useful
to report the child termination to the parent.

The COW size is obtained by summing all the Private_Dirty fields found
in the "smap" file inside the proc filesystem for the process.

All this is Linux specific and is not available on other systems.

6 years agozmalloc_get_private_dirty() function added (Linux only).
antirez [Mon, 19 Nov 2012 10:24:56 +0000 (11:24 +0100)] 
zmalloc_get_private_dirty() function added (Linux only).

For non Linux systmes it just returns 0.

This function is useful to estimate copy-on-write because of childs
saving stuff on disk.

6 years agozmalloc: kill unused __size parameter in update_zmalloc_stat_alloc() macro.
antirez [Wed, 14 Nov 2012 11:52:38 +0000 (12:52 +0100)] 
zmalloc: kill unused __size parameter in update_zmalloc_stat_alloc() macro.

6 years agoMIGRATE: fix default timeout to 1000 milliseconds.
antirez [Mon, 12 Nov 2012 14:04:54 +0000 (15:04 +0100)] 
MIGRATE: fix default timeout to 1000 milliseconds.

When a timeout <= 0 is provided we set a default timeout of 1 second.
It was set to 1 millisecond for an error resulting from a recent change.

6 years agoMIGRATE timeout should be in milliseconds.
antirez [Mon, 12 Nov 2012 13:00:59 +0000 (14:00 +0100)] 
MIGRATE timeout should be in milliseconds.

While it is documented that the MIGRATE timeout is in milliseconds, it
was in seconds instead. This commit fixes the problem.

6 years agoMIGRATE: fix fd leak due to missing close on error.
antirez [Mon, 12 Nov 2012 17:56:29 +0000 (18:56 +0100)] 
MIGRATE: fix fd leak due to missing close on error.

6 years agoCopyright date fixed in COPYING file.
antirez [Thu, 8 Nov 2012 18:14:29 +0000 (19:14 +0100)] 
Copyright date fixed in COPYING file.

6 years agoRedis 2.6.4
antirez [Thu, 8 Nov 2012 17:47:58 +0000 (18:47 +0100)] 
Redis 2.6.4

6 years agoMake clear that contributing code to the Redis project means to release it under...
antirez [Thu, 8 Nov 2012 17:43:20 +0000 (18:43 +0100)] 
Make clear that contributing code to the Redis project means to release it under the terms of the BSD license.

6 years agoBSD license added to every C source and header file.
antirez [Thu, 8 Nov 2012 17:25:23 +0000 (18:25 +0100)] 
BSD license added to every C source and header file.

6 years agoRedis 2.6.3
antirez [Tue, 6 Nov 2012 21:07:51 +0000 (22:07 +0100)] 
Redis 2.6.3

6 years agofix a typo in redis.h line 595 comment
Runzhen Wang [Wed, 31 Oct 2012 18:14:22 +0000 (02:14 +0800)] 
fix a typo in redis.h line 595 comment

6 years agoMore robust handling of AOF rewrite child.
antirez [Thu, 1 Nov 2012 21:39:39 +0000 (22:39 +0100)] 
More robust handling of AOF rewrite child.

After the wait3() syscall we used to do something like that:

    if (pid == server.rdb_child_pid) {
        backgroundSaveDoneHandler(exitcode,bysignal);
    } else {
        ....
    }

So the AOF rewrite was handled in the else branch without actually
checking if the pid really matches. This commit makes the check explicit
and logs at WARNING level if the pid returned by wait3() does not match
neither the RDB or AOF rewrite child.

6 years agoMerge pull request #743 from Cofyc/fixtypo
Salvatore Sanfilippo [Thu, 1 Nov 2012 21:26:01 +0000 (14:26 -0700)] 
Merge pull request #743 from Cofyc/fixtypo

fix typo in comments (redis.c, networking.c)

6 years agoUnix socket clients properly displayed in MONITOR and CLIENT LIST.
antirez [Thu, 1 Nov 2012 21:10:45 +0000 (22:10 +0100)] 
Unix socket clients properly displayed in MONITOR and CLIENT LIST.

This also fixes issue #745.

6 years ago32 bit build fixed on Linux.
antirez [Thu, 1 Nov 2012 14:36:37 +0000 (15:36 +0100)] 
32 bit build fixed on Linux.

It failed because of the way jemalloc was compiled (without passing the
right flags to make, but just to configure). Now the same set of flags
are also passed to the make command, fixing the issue.

This fixes issue #744

6 years agofix typo in comments (redis.c, networking.c)
Yecheng Fu [Thu, 1 Nov 2012 10:14:55 +0000 (18:14 +0800)] 
fix typo in comments (redis.c, networking.c)

6 years agofix a typo in a comment
YAMAMOTO Takashi [Wed, 24 Oct 2012 08:47:56 +0000 (17:47 +0900)] 
fix a typo in a comment

6 years agoInvert two sides of if expression in SET to avoid a lookup.
antirez [Wed, 31 Oct 2012 08:23:05 +0000 (09:23 +0100)] 
Invert two sides of if expression in SET to avoid a lookup.

Because of the short circuit behavior of && inverting the two sides of
the if expression avoids an hash table lookup if the non-EX variant of
SET is called.

Thanks to Weibin Yao (@yaoweibin on github) for spotting this.

6 years agoNo longer used macro rdbIsOpcode() removed.
antirez [Tue, 30 Oct 2012 18:10:46 +0000 (19:10 +0100)] 
No longer used macro rdbIsOpcode() removed.

6 years agohelp.h update (adds bitop, bitcount, evalsha...)
antirez [Tue, 30 Oct 2012 17:57:20 +0000 (18:57 +0100)] 
help.h update (adds bitop, bitcount, evalsha...)

6 years agoRedis 2.6.2
antirez [Fri, 26 Oct 2012 14:20:24 +0000 (16:20 +0200)] 
Redis 2.6.2

6 years agoCtrl+w support in linenoise.
antirez [Fri, 26 Oct 2012 14:06:25 +0000 (16:06 +0200)] 
Ctrl+w support in linenoise.

6 years agoMarginally more robust glibc version test for sync_file_range detection.
antirez [Fri, 26 Oct 2012 13:38:21 +0000 (15:38 +0200)] 
Marginally more robust glibc version test for sync_file_range detection.

6 years agopatch config.h for sync_file_range
charsyam [Thu, 25 Oct 2012 20:27:58 +0000 (04:27 +0800)] 
patch config.h for sync_file_range

6 years agoRedis 2.6.1
antirez [Thu, 25 Oct 2012 20:07:27 +0000 (22:07 +0200)] 
Redis 2.6.1

6 years agoFix compilation on Linux kernels or glibc versions lacking sync_file_range().
antirez [Thu, 25 Oct 2012 14:15:55 +0000 (16:15 +0200)] 
Fix compilation on Linux kernels or glibc versions lacking sync_file_range().

This fixes issue #667.

Many thanks to Didier Spezia for the fix.

6 years agoUpdate memory peak stats while loading RDB / AOF.
antirez [Wed, 24 Oct 2012 10:21:34 +0000 (12:21 +0200)] 
Update memory peak stats while loading RDB / AOF.

6 years agoRedis 2.6.0
antirez [Mon, 22 Oct 2012 21:27:18 +0000 (23:27 +0200)] 
Redis 2.6.0

6 years agoA filed called slave_read_only added in INFO output.
antirez [Mon, 22 Oct 2012 17:21:47 +0000 (19:21 +0200)] 
A filed called slave_read_only added in INFO output.

This was an important information missing from the INFO output in the
replication section.

It obviously reflects if the slave is read only or not.

6 years agoFix (cosmetic) typos in dict.h
Greg Hurrell [Wed, 3 Oct 2012 04:58:36 +0000 (21:58 -0700)] 
Fix (cosmetic) typos in dict.h

6 years agoredis-check-dump now understands dumps produced by Redis 2.6
Schuster [Mon, 22 Oct 2012 09:44:20 +0000 (11:44 +0200)] 
redis-check-dump now understands dumps produced by Redis 2.6

(Commit message from @antirez as it was missign in the original commits,
also the patch was modified a bit to still work with 2.4 dumps and to
avoid if expressions that are always true due to checked types range)

This commit changes redis-check-dump to account for new encodings and
for the new MSTIME expire format. It also refactors the test for valid
type into a function.

The code is still compatible with Redis 2.4 generated dumps.

This fixes issue #709.

6 years agoDefault memory limit for 32bit instanced moved from 3.5 GB to 3 GB.
antirez [Mon, 22 Oct 2012 08:43:39 +0000 (10:43 +0200)] 
Default memory limit for 32bit instanced moved from 3.5 GB to 3 GB.

In some system, notably osx, the 3.5 GB limit was too far and not able
to prevent a crash for out of memory. The 3 GB limit works better and it
is still a lot of memory within a 4 GB theorical limit so it's not going
to bore anyone :-)

This fixes issue #711

6 years agoDifferentiate SCRIPT KILL error replies.
antirez [Mon, 22 Oct 2012 08:28:54 +0000 (10:28 +0200)] 
Differentiate SCRIPT KILL error replies.

When calling SCRIPT KILL currently you can get two errors:

* No script in timeout (busy) state.
* The script already performed a write.

It is useful to be able to distinguish the two errors, but right now both
start with "ERR" prefix, so string matching (that is fragile) must be used.

This commit introduces two different prefixes.

-NOTBUSY and -UNKILLABLE respectively to reply with an error when no
script is busy at the moment, and when the script already executed a
write operation and can not be killed.

6 years agoUpdate src/redis-benchmark.c
NanXiao [Wed, 10 Oct 2012 09:08:43 +0000 (17:08 +0800)] 
Update src/redis-benchmark.c

The code of current implementation:

if (c->pending == 0) clientDone(c);
In clientDone function, the c's memory has been freed, then the loop will continue: while(c->pending). The memory of c has been freed now, so c->pending is invalid (c is an invalid pointer now), and this will cause memory dump in some platforams(eg: Solaris).

So I think the code should be modified as:
if (c->pending == 0)
{
clientDone(c);
break;
}
and this will not lead to while(c->pending).

6 years agoFix MULTI / EXEC rendering in MONITOR output.
antirez [Tue, 16 Oct 2012 15:35:50 +0000 (17:35 +0200)] 
Fix MULTI / EXEC rendering in MONITOR output.

Before of this commit it used to be like this:

MULTI
EXEC
... actual commands of the transaction ...

Because after all that is the natural order of things. Transaction
commands are queued and executed *only after* EXEC is called.

However this makes debugging with MONITOR a mess, so the code was
modified to provide a coherent output.

What happens is that MULTI is rendered in the MONITOR output as far as
possible, instead EXEC is propagated only after the transaction is
executed, or even in the case it fails because of WATCH, so in this case
you'll simply see:

MULTI
EXEC

An empty transaction.

6 years agoMerge remote-tracking branch 'origin/2.6' into 2.6
antirez [Thu, 11 Oct 2012 16:36:18 +0000 (18:36 +0200)] 
Merge remote-tracking branch 'origin/2.6' into 2.6

6 years agoAllow AUTH when Redis is busy because of timedout Lua script.
antirez [Thu, 11 Oct 2012 16:34:05 +0000 (18:34 +0200)] 
Allow AUTH when Redis is busy because of timedout Lua script.

If the server is password protected we need to accept AUTH when there is
a server busy (-BUSY) condition, otherwise it will be impossible to send
SHUTDOWN NOSAVE or SCRIPT KILL.

This fixes issue #708.

6 years agoCONTRIBUTING file updated.
antirez [Sat, 6 Oct 2012 10:04:27 +0000 (12:04 +0200)] 
CONTRIBUTING file updated.

6 years agoRedis 2.6.0 RC8 (2.5.14)
antirez [Fri, 5 Oct 2012 17:08:55 +0000 (19:08 +0200)] 
Redis 2.6.0 RC8 (2.5.14)

6 years agoMerge pull request #544 from dvirsky/2.6
Salvatore Sanfilippo [Fri, 5 Oct 2012 10:30:58 +0000 (03:30 -0700)] 
Merge pull request #544 from dvirsky/2.6

fixed install script to rewrite the default config

6 years agoHash function switched to murmurhash2.
antirez [Wed, 3 Oct 2012 17:14:46 +0000 (19:14 +0200)] 
Hash function switched to murmurhash2.

The previously used hash function, djbhash, is not secure against
collision attacks even when the seed is randomized as there are simple
ways to find seed-independent collisions.

The new hash function appears to be safe (or much harder to exploit at
least) in this case, and has better distribution.

Better distribution does not always means that's better. For instance in
a fast benchmark with "DEBUG POPULATE 1000000" I obtained the following
results:

    1.6 seconds with djbhash
    2.0 seconds with murmurhash2

This is due to the fact that djbhash will hash objects that follow the
pattern `prefix:<id>` and where the id is numerically near, to near
buckets. This improves the locality.

However in other access patterns with keys that have no relation
murmurhash2 has some (apparently minimal) speed advantage.

On the other hand a better distribution should significantly
improve the quality of the distribution of elements returned with
dictGetRandomKey() that is used in SPOP, SRANDMEMBER, RANDOMKEY, and
other commands.

Everything considered, and under the suspect that this commit fixes a
security issue in Redis, we are switching to the new hash function.
If some serious speed regression will be found in the future we'll be able
to step back easiliy.

This commit fixes issue #663.

6 years agoWarn when configured maxmemory value seems odd.
antirez [Fri, 5 Oct 2012 08:48:49 +0000 (10:48 +0200)] 
Warn when configured maxmemory value seems odd.

This commit warns the user with a log at "warning" level if:

1) After the server startup the maxmemory limit was found to be < 1MB.
2) After a CONFIG SET command modifying the maxmemory setting the limit
is set to a value that is smaller than the currently used memory.

The behaviour of the Redis server is unmodified, and this wil not make
the CONFIG SET command or a wrong configuration in redis.conf less
likely to create problems, but at least this will make aware most users
about a possbile error they committed without resorting to external
help.

However no warning is issued if, as a result of loading the AOF or RDB
file, we are very near the maxmemory setting, or key eviction will be
needed in order to go under the specified maxmemory setting. The reason
is that in servers configured as a cache with an aggressive
maxmemory-policy most of the times restarting the server will cause this
condition to happen if persistence is not switched off.

This fixes issue #429.

6 years agoInclude time.h in ae.c as we now use time().
antirez [Fri, 5 Oct 2012 08:10:34 +0000 (10:10 +0200)] 
Include time.h in ae.c as we now use time().

6 years agoForce expire all timer events when system clock skew is detected.
Jokea [Thu, 30 Aug 2012 07:08:19 +0000 (15:08 +0800)] 
Force expire all timer events when system clock skew is detected.

When system time changes back, the timer will not worker properly
hence some core functionality of redis will stop working(e.g. replication,
bgsave, etc). See issue #633 for details.

The patch saves the previous time and when a system clock skew is detected,
it will force expire all timers.

Modiifed by @antirez: the previous time was moved into the eventLoop
structure to make sure the library is still thread safe as long as you
use different event loops into different threads (otherwise you need
some synchronization). More comments added about the reasoning at the
base of the patch, that's worth reporting here:

/* If the system clock is moved to the future, and then set back to the
 * right value, time events may be delayed in a random way. Often this
 * means that scheduled operations will not be performed soon enough.
 *
 * Here we try to detect system clock skews, and force all the time
 * events to be processed ASAP when this happens: the idea is that
 * processing events earlier is less dangerous than delaying them
 * indefinitely, and practice suggests it is. */

6 years ago"Timeout receiving bulk data" error message modified.
antirez [Thu, 4 Oct 2012 09:49:17 +0000 (11:49 +0200)] 
"Timeout receiving bulk data" error message modified.

The new message now contains an hint about modifying the repl-timeout
configuration directive if the problem persists.

This should normally not be needed, because while the master generates
the RDB file it makes sure to send newlines to the replication channel
to prevent timeouts. However there are times when masters running on
very slow systems can completely stop for seconds during the RDB saving
process. In such a case enlarging the timeout value can fix the problem.

See issue #695 for an example of this problem in an EC2 deployment.

6 years ago"SORT by nosort" (skip sorting) respect sorted set ordering.
antirez [Wed, 3 Oct 2012 09:41:08 +0000 (11:41 +0200)] 
"SORT by nosort" (skip sorting) respect sorted set ordering.

When SORT is called with the option BY set to a string constant not
inclduing the wildcard character "*", there is no way to sort the output
so any ordering is valid. This allows the SORT internals to optimize its
work and don't really sort the output at all.

However it was odd that this option was not able to retain the natural
order of a sorted set. This feature was requested by users multiple
times as sometimes to call SORT with GET against sorted sets as a way to
mass-fetch objects can be handy.

This commit introduces two things:

1) The ability of SORT to return sorted sets elements in their natural
ordering when `BY nosort` is specified, accordingly to `DESC / ASC` options.
2) The ability of SORT to optimize this case further if LIMIT is passed
as well, avoiding to really fetch the whole sorted set, but directly
obtaining the specified range.

Because in this case the sorting is always deterministic, no
post-sorting activity is performed when SORT is called from a Lua
script.

This commit fixes issue #98.

6 years agoRevert "Scripting: redis.NIL to return nil bulk replies."
antirez [Mon, 1 Oct 2012 08:10:03 +0000 (10:10 +0200)] 
Revert "Scripting: redis.NIL to return nil bulk replies."

This reverts commit e061d797d739f2beeb22b9e8ac519d1df070e3a8.

Conflicts:

src/scripting.c

6 years agoScripting: add helper functions redis.error_reply() and redis.status_reply().
antirez [Fri, 28 Sep 2012 14:54:57 +0000 (16:54 +0200)] 
Scripting: add helper functions redis.error_reply() and redis.status_reply().

A previous commit introduced Redis.NIL. This commit adds similar helper
functions to return tables with a single field set to the specified
string so that instead of using 'return {err="My Error"}' it is possible
to use a more idiomatic form:

    return redis.error_reply("My Error")
    return redis.status_reply("OK")

6 years agoScripting: redis.NIL to return nil bulk replies.
antirez [Fri, 28 Sep 2012 12:19:15 +0000 (14:19 +0200)] 
Scripting: redis.NIL to return nil bulk replies.

Lua arrays can't contain nil elements (see
http://www.lua.org/pil/19.1.html for more information), so Lua scripts
were not able to return a multi-bulk reply containing nil bulk
elements inside.

This commit introduces a special conversion: a table with just
a "nilbulk" field set to a boolean value is converted by Redis as a nil
bulk reply, but at the same time for Lua this type is not a "nil" so can
be used inside Lua arrays.

This type is also assigned to redis.NIL, so the following two forms
are equivalent and will be able to return a nil bulk reply as second
element of a three elements array:

    EVAL "return {1,redis.NIL,3}" 0
    EVAL "return {1,{nilbulk=true},3}" 0

The result in redis-cli will be:

    1) (integer) 1
    2) (nil)
    3) (integer) 3

6 years agoFixed some spelling errors in the comments
Erik Dubbelboer [Sat, 7 Apr 2012 12:40:29 +0000 (14:40 +0200)] 
Fixed some spelling errors in the comments

6 years agoAdded consts keyword where possible
Erik Dubbelboer [Fri, 30 Mar 2012 19:19:51 +0000 (21:19 +0200)] 
Added consts keyword where possible

6 years agoFinal merge of Sentinel into 2.6.
antirez [Thu, 27 Sep 2012 11:10:36 +0000 (13:10 +0200)] 
Final merge of Sentinel into 2.6.

After cherry-picking Sentinel commits a few spurious issues remained
about references to Redis Cluster that is not present in the 2.6 branch.

6 years agoSentinel: Support for AUTH.
antirez [Wed, 26 Sep 2012 16:59:54 +0000 (18:59 +0200)] 
Sentinel: Support for AUTH.

6 years agoSentinel: reply -IDONTKNOW to get-master-addr-by-name on lack of info.
antirez [Tue, 4 Sep 2012 14:06:53 +0000 (16:06 +0200)] 
Sentinel: reply -IDONTKNOW to get-master-addr-by-name on lack of info.

If we don't have any clue about a master since it never replied to INFO
so far, reply with an -IDONTKNOW error to SENTINEL
get-master-addr-by-name requests.

6 years agoSentinel: more easy master redirection if master is a slave.
antirez [Tue, 4 Sep 2012 13:52:04 +0000 (15:52 +0200)] 
Sentinel: more easy master redirection if master is a slave.

Before this commit Sentienl used to redirect master ip/addr if the
current instance reported to be a slave only if this was the first INFO
output received, and the role was found to be slave.

Now instead also if we find that the runid is different, and the
reported role is slave, we also redirect to the reported master ip/addr.

This unifies the behavior of Sentinel in the case of a reboot (where it
will see the first INFO output with the wrong role and will perform the
redirection), with the behavior of Sentinel in the case of a change in
what it sees in the INFO output of the master.

6 years agoSentinel: do not crash against slaves not publishing the runid.
antirez [Thu, 30 Aug 2012 15:57:02 +0000 (17:57 +0200)] 
Sentinel: do not crash against slaves not publishing the runid.

Older versions of Redis (before 2.4.17) don't publish the runid field in
INFO. This commit makes Sentinel able to handle that without crashing.

6 years agoSentinel: INFO command implementation.
antirez [Wed, 29 Aug 2012 10:44:24 +0000 (12:44 +0200)] 
Sentinel: INFO command implementation.

6 years agoSentinel: add Redis execution mode to INFO output.
antirez [Wed, 29 Aug 2012 09:44:01 +0000 (11:44 +0200)] 
Sentinel: add Redis execution mode to INFO output.

The new "redis_mode" field in the INFO output will show if Redis is
running in standalone mode, cluster, or sentinel mode.

6 years agoSentinel: Sentinel-side support for slave priority.
antirez [Tue, 28 Aug 2012 15:45:01 +0000 (17:45 +0200)] 
Sentinel: Sentinel-side support for slave priority.

The slave priority that is now published by Redis in INFO output is
now used by Sentinel in order to select the slave with minimum priority
for promotion, and in order to consider slaves with priority set to 0 as
not able to play the role of master (they will never be promoted by
Sentinel).

The "slave-priority" field is now one of the fileds that Sentinel
publishes when describing an instance via the SENTINEL commands such as
"SENTINEL slaves mastername".

6 years agoSentinel: suppress harmless warning by initializing 'table' to NULL.
antirez [Tue, 28 Aug 2012 10:56:05 +0000 (12:56 +0200)] 
Sentinel: suppress harmless warning by initializing 'table' to NULL.

Note that the assertion guarantees that one of the if branches setting
table is always entered.

6 years agoSentinel: send SCRIPT KILL on -BUSY reply and SDOWN instance.
antirez [Fri, 24 Aug 2012 10:29:54 +0000 (12:29 +0200)] 
Sentinel: send SCRIPT KILL on -BUSY reply and SDOWN instance.

From the point of view of Redis an instance replying -BUSY is down,
since it is effectively not able to reply to user requests. However
a looping script is a recoverable condition in Redis if the script still
did not performed any write to the dataset. In that case performing a
fail over is not optimal, so Sentinel now tries to restore the normal server
condition killing the script with a SCRIPT KILL command.

If the script already performed some write before entering an infinite
(or long enough to timeout) loop, SCRIPT KILL will not work and the
fail over will be triggered anyway.

6 years agoSentinel: fixed a crash on script execution.
antirez [Fri, 24 Aug 2012 10:10:24 +0000 (12:10 +0200)] 
Sentinel: fixed a crash on script execution.

The call to sentinelScheduleScriptExecution() lacked the final NULL
argument to signal the end of arguments. This resulted into a crash.

6 years agoSentinel: SENTINEL FAILOVER command implemented.
antirez [Fri, 3 Aug 2012 10:39:13 +0000 (12:39 +0200)] 
Sentinel: SENTINEL FAILOVER command implemented.

This command can be used in order to force a Sentinel instance to start
a failover for the specified master, as leader, forcing the failover
even if the master is up.

The commit also adds some minor refactoring and other improvements to
functions already implemented that make them able to work when the
master is not in SDOWN condition. For instance slave selection
assumed that we ask INFO every second to every slave, this is true
only when the master is in SDOWN condition, so slave selection did not
worked when the master was not in SDOWN condition.

6 years agoSentinel: client reconfiguration script execution.
antirez [Thu, 2 Aug 2012 16:40:30 +0000 (18:40 +0200)] 
Sentinel: client reconfiguration script execution.

This commit adds support to optionally execute a script when one of the
following events happen:

* The failover starts (with a slave already promoted).
* The failover ends.
* The failover is aborted.

The script is called with enough parameters (documented in the example
sentinel.conf file) to provide information about the old and new ip:port
pair of the master, the role of the sentinel (leader or observer) and
the name of the master.

The goal of the script is to inform clients of the configuration change
in a way specific to the environment Sentinel is running, that can't be
implemented in a genereal way inside Sentinel itself.