]> git.saurik.com Git - redis.git/log
redis.git
12 years agoBug fix: slaves being pinged every second
Saj Goonatilleke [Thu, 5 Jul 2012 04:29:27 +0000 (14:29 +1000)] 
Bug fix: slaves being pinged every second

REDIS_REPL_PING_SLAVE_PERIOD controls how often the master should
transmit a heartbeat (PING) to its slaves.  This period, which defaults
to 10, is measured in seconds.

Redis 2.4 masters used to ping their slaves every ten seconds, just like
it says on the tin.

The Redis 2.6 masters I have been experimenting with, on the other hand,
ping their slaves *every second*.  (master_last_io_seconds_ago never
approaches 10.)  I think the ping period was inadvertently slashed to
one-tenth of its nominal value around the time REDIS_HZ was introduced.
This commit reintroduces correct ping schedule behaviour.

12 years agoTypo in comment.
antirez [Wed, 27 Jun 2012 09:26:37 +0000 (11:26 +0200)] 
Typo in comment.

12 years agoREPLCONF internal command introduced.
antirez [Tue, 26 Jun 2012 07:47:47 +0000 (09:47 +0200)] 
REPLCONF internal command introduced.

The REPLCONF command is an internal command (not designed to be directly
used by normal clients) that allows a slave to set some replication
related state in the master before issuing SYNC to start the
replication.

The initial motivation for this command, and the only reason currently
it is used by the implementation, is to let the slave instance
communicate its listening port to the slave, so that the master can
show all the slaves with their listening ports in the "replication"
section of the INFO output.

This allows clients to auto discover and query all the slaves attached
into a master.

Currently only a single option of the REPLCONF command is supported, and
it is called "listening-port", so the slave now starts the replication
process with something like the following chat:

    REPLCONF listening-prot 6380
    SYNC

Note that this works even if the master is an older version of Redis and
does not understand REPLCONF, because the slave ignores the REPLCONF
error.

In the future REPLCONF can be used for partial replication and other
replication related features where there is the need to exchange
information between master and slave.

NOTE: This commit also fixes a bug: the INFO outout already carried
information about slaves, but the port was broken, and was obtained
with getpeername(2), so it was actually just the ephemeral port used
by the slave to connect to the master as a client.

12 years agoFixed comment typo into time_independent_strcmp().
antirez [Thu, 21 Jun 2012 12:25:53 +0000 (14:25 +0200)] 
Fixed comment typo into time_independent_strcmp().

12 years agoFixed a timing attack on AUTH (Issue #560).
antirez [Thu, 21 Jun 2012 09:50:01 +0000 (11:50 +0200)] 
Fixed a timing attack on AUTH (Issue #560).

The way we compared the authentication password using strcmp() allowed
an attacker to gain information about the password using a well known
class of attacks called "timing attacks".

The bug appears to be practically not exploitable in most modern systems
running Redis since even using multiple bytes of differences in the
input at a time instead of one the difference in running time in in the
order of 10 nanoseconds, making it hard to exploit even on LAN. However
attacks always get better so we are providing a fix ASAP.

The new implementation uses two fixed length buffers and a constant time
comparison function, with the goal of:

1) Completely avoid leaking information about the content of the
password, since the comparison is always performed between 512
characters and without conditionals.
2) Partially avoid leaking information about the length of the
password.

About "2" we still have a stage in the code where the real password and
the user provided password are copied in the static buffers, we also run
two strlen() operations against the two inputs, so the running time
of the comparison is a fixed amount plus a time proportional to
LENGTH(A)+LENGTH(B). This means that the absolute time of the operation
performed is still related to the length of the password in some way,
but there is no way to change the input in order to get a difference in
the execution time in the comparison that is not just proportional to
the string provided by the user (because the password length is fixed).

Thus in practical terms the user should try to discover LENGTH(PASSWORD)
looking at the whole execution time of the AUTH command and trying to
guess a proportionality between the whole execution time and the
password length: this appears to be mostly unfeasible in the real world.

Also protecting from this attack is not very useful in the case of Redis
as a brute force attack is anyway feasible if the password is too short,
while with a long password makes it not an issue that the attacker knows
the length.

12 years agoFix c->reply_bytes computation in setDeferredMultiBulkLength()
antirez [Fri, 15 Jun 2012 08:03:25 +0000 (10:03 +0200)] 
Fix c->reply_bytes computation in setDeferredMultiBulkLength()

In order to implement reply buffer limits introduced in 2.6 and useful
to close the connection under user-selected circumastances of big output
buffers (for instance slow consumers in pub/sub, a blocked slave, and so
forth) Redis takes a counter with the amount of used memory in objects
inside the output list stored into c->reply.

The computation was broken in the function setDeferredMultiBulkLength(),
in the case the object was glued with the next one. This caused the
c->reply_bytes field to go out of sync, be subtracted more than needed,
and wrap back near to ULONG_MAX values.

This commit fixes this bug and adds an assertion that is able to trap
this class of problems.

This problem was discovered looking at the INFO output of an unrelated
issue (issue #547).

12 years agoziplistFind(): don't assume that entries are comparable by encoding.
antirez [Thu, 14 Jun 2012 13:59:25 +0000 (15:59 +0200)] 
ziplistFind(): don't assume that entries are comparable by encoding.

Because Redis 2.6 introduced new integer encodings it is no longer true
that if two entries have a different encoding they are not equal.

An old ziplist can be loaded from an RDB file generated with Redis 2.4,
in this case for instance a small unsigned integers is encoded with a
16 bit encoding, while in Redis 2.6 a more specific 8 bit encoding
format is used.

Because of this bug hashes ended with duplicated values or fields lookup
failed, causing many bad behaviors.
This in turn caused a crash while converting the ziplist encoded hash into
a real hash table because an assertion was raised on duplicated elements.

This commit fixes issue #547.

Many thanks to Pinterest's Marty Weiner and colleagues for discovering
the problem and helping us in the debugging process.

12 years agoMerge pull request #552 from tnm/unstable
Salvatore Sanfilippo [Wed, 13 Jun 2012 08:25:52 +0000 (01:25 -0700)] 
Merge pull request #552 from tnm/unstable

Standardize punctuation in redis-cli help.

12 years agoStandardize punctuation in redis-cli help.
Ted Nyman [Wed, 13 Jun 2012 05:35:00 +0000 (22:35 -0700)] 
Standardize punctuation in redis-cli help.

Right there is a mix of help entries ending with periods or
without periods. This standardizes the end of command as without
periods, which seems to be the general custom in most unix tools,
at least.

12 years agoAdded a new hash fuzzy tester.
antirez [Tue, 12 Jun 2012 13:20:16 +0000 (15:20 +0200)] 
Added a new hash fuzzy tester.

The new fuzzy tester also removes elements from the hash instead of just
adding random fields. This should increase the probability to find bugs
in the implementations of the hash type internal representations.

12 years agoDump ziplist hex value on failed assertion.
antirez [Mon, 11 Jun 2012 21:44:34 +0000 (23:44 +0200)] 
Dump ziplist hex value on failed assertion.

The ziplist -> hashtable conversion code is triggered every time an hash
value must be promoted to a full hash table because the number or size of
elements reached the threshold.

If a problem in the ziplist causes the same field to be present
multiple times, the assertion of successful addition of the element
inside the hash table will fail, crashing server with a failed
assertion, but providing little information about the problem.

This code adds a new logging function to perform the hex dump of binary
data, and makes sure that the ziplist -> hashtable conversion code uses
this new logging facility to dump the content of the ziplist when the
assertion fails.

This change was originally made in order to investigate issue #547.

12 years agoNew test: hash ziplist -> hashtable encoding conversion.
antirez [Mon, 11 Jun 2012 13:19:46 +0000 (15:19 +0200)] 
New test: hash ziplist -> hashtable encoding conversion.

A new stress test was added to stress test the code converting a ziplist
into an hash table.

In this commit also randomValue helper function was modified to also
return negative values.

12 years agoEVAL replication test: less false positives.
antirez [Sat, 2 Jun 2012 21:29:57 +0000 (23:29 +0200)] 
EVAL replication test: less false positives.

wait_for_condition is now used instead of the usual "after 1000" (that
is the way to sleep in Tcl). This should avoid to find the replica in
a state where it is loading the RDB in memory, returning -LOADING error.

This test used to fail when running the test over valgrind, due to the
added latencies.

12 years agoFixed RESTORE hash failure (Issue #532)
Alex Mitrofanov [Sat, 2 Jun 2012 01:48:45 +0000 (18:48 -0700)] 
Fixed RESTORE hash failure (Issue #532)

(additional commit notes by antirez@gmail.com):

The rdbIsObjectType() macro was not updated when the new RDB object type
of ziplist encoded hashes was added.

As a result RESTORE, that uses rdbLoadObjectType(), failed when a
ziplist encoded hash was loaded.
This does not affected normal RDB loading because in that case we use
the lower-level function rdbLoadType().

The commit also adds a regression test.

12 years agoRDB type loading functions clarified in comments.
antirez [Sat, 2 Jun 2012 08:21:57 +0000 (10:21 +0200)] 
RDB type loading functions clarified in comments.

Improved comments to make clear that rdbLoadType() just loads a
general TYPE in the context of RDB that can be an object type or an
expire type, end-of-file, and so forth.

While rdbLoadObjectType() enforces that the type is a valid Object Type
otherwise it returns -1.

12 years agoBITOP bug when called against non existing keys fixed.
antirez [Thu, 31 May 2012 19:45:39 +0000 (21:45 +0200)] 
BITOP bug when called against non existing keys fixed.

In the issue #529 an user reported a bug that can be triggered with the
following code:

flushdb
set a
"\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00"
bitop or x a b

The bug was introduced with the speed optimization in commit 8bbc076
that specializes every BITOP operation loop up to the minimum length of
the input strings.

However the computation of the minimum length contained an error when a
non existing key was present in the input, after a key that was non zero
length.

This commit fixes the bug and adds a regression test for it.

12 years agoTests modified to account for INFO fields renaming.
antirez [Fri, 25 May 2012 13:20:59 +0000 (15:20 +0200)] 
Tests modified to account for INFO fields renaming.

Commit 33e1db36fa3948c8b9baa3991fd40e7f6b31fb9e modified the name of a
few INFO fields. This commit changes the Redis test to account for this
changes.

12 years agoFour new persistence fields in INFO. A few renamed.
antirez [Fri, 25 May 2012 10:11:30 +0000 (12:11 +0200)] 
Four new persistence fields in INFO. A few renamed.

The 'persistence' section of INFO output now contains additional four
fields related to RDB and AOF persistence:

 rdb_last_bgsave_time_sec       Duration of latest BGSAVE in sec.
 rdb_current_bgsave_time_sec    Duration of current BGSAVE in sec.
 aof_last_rewrite_time_sec      Duration of latest AOF rewrite in sec.
 aof_current_rewrite_time_sec   Duration of current AOF rewrite in sec.

The 'current' fields are set to -1 if a BGSAVE / AOF rewrite is not in
progress. The 'last' fileds are set to -1 if no previous BGSAVE / AOF
rewrites were performed.

Additionally a few fields in the persistence section were renamed for
consistency:

 changes_since_last_save -> rdb_changes_since_last_save
 bgsave_in_progress -> rdb_bgsave_in_progress
 last_save_time -> rdb_last_save_time
 last_bgsave_status -> rdb_last_bgsave_status
 bgrewriteaof_in_progress -> aof_rewrite_in_progress
 bgrewriteaof_scheduled -> aof_rewrite_scheduled

After the renaming, fields in the persistence section start with rdb_ or
aof_ prefix depending on the persistence method they describe.
The field 'loading' and related fields are not prefixed because they are
unique for both the persistence methods.

12 years agoBITOP command 10x speed improvement.
antirez [Wed, 23 May 2012 20:12:50 +0000 (22:12 +0200)] 
BITOP command 10x speed improvement.

This commit adds a fast-path to the BITOP that can be used for all the
bytes from 0 to the minimal length of the string, and if there are
at max 16 input keys.

Often the intersected bitmaps are roughly the same size, so this
optimization can provide a 10x speed boost to most real world usages
of the command.

Bytes are processed four full words at a time, in loops specialized
for the specific BITOP sub-command, without the need to check for
length issues with the inputs (since we run this algorithm only as far
as there is data from all the keys at the same time).

The remaining part of the string is intersected in the usual way using
the slow but generic algorith.

It is possible to do better than this with inputs that are not roughly
the same size, sorting the input keys by length, by initializing the
result string in a smarter way, and noticing that the final part of the
output string composed of only data from the longest string does not
need any proecessing since AND, OR and XOR against an empty string does
not alter the output (zero in the first case, and the original string in
the other two cases).

More implementations will be implemented later likely, but this should
be enough to release Redis 2.6-RC4 with bitops merged in.

Note: this commit also adds better testing for BITOP NOT command, that
is currently the faster and hard to optimize further since it just
flips the bits of a single input string.

12 years agoBITOP: handle integer encoded objects correctly.
antirez [Tue, 22 May 2012 15:40:20 +0000 (17:40 +0200)] 
BITOP: handle integer encoded objects correctly.

A bug in the implementation caused BITOP to crash the server if at least
one one of the source objects was integer encoded.

The new implementation takes an additional array of Redis objects
pointers and calls getDecodedObject() to get a reference to a string
encoded object, and then uses decrRefCount() to release the object.

Tests modified to cover the regression and improve coverage.

12 years agoBITCOUNT performance improved.
antirez [Sun, 20 May 2012 19:34:58 +0000 (21:34 +0200)] 
BITCOUNT performance improved.

At Redis's default optimization level the command is now much faster,
always using a constant-time bit manipualtion technique to count bits
instead of GCC builtin popcount, and unrolling the loop.

The current implementation performance is 1.5GB/s in a MBA 11" (1.8 Ghz
i7) compiled with both GCC and clang.

The algorithm used is described here:

http://graphics.stanford.edu/~seander/bithacks.html

12 years agobitop.c renamed bitops.c
antirez [Sun, 20 May 2012 09:06:29 +0000 (11:06 +0200)] 
bitop.c renamed bitops.c

bitop.c contains the "Bit related string operations" so it seems more
logical to call it bitops instead of bitop.
This also makes it matching the name of the test (unit/bitops.tcl).

12 years agoBit operations tests improved.
antirez [Sun, 20 May 2012 09:03:54 +0000 (11:03 +0200)] 
Bit operations tests improved.

Fuzzing tests of BITCOUNT / BITOP are iterated multiple times.
The new BITCOUNT fuzzing test uses random strings in a wider interval of
lengths including zero-len strings.

12 years agopopcount() optimization for speed.
antirez [Sat, 19 May 2012 22:49:35 +0000 (00:49 +0200)] 
popcount() optimization for speed.

We run the array by 32 bit words instead of processing it byte per byte.
If the code is compiled using GCC __builtin_popcount() builtin function
is used instead.

12 years agoBITCOUNT refactoring.
antirez [Sat, 19 May 2012 14:16:25 +0000 (16:16 +0200)] 
BITCOUNT refactoring.

The low level popualtion counting function is now separated from the
BITCOUNT command implementation, so that the low level function can be
further optimized and eventually used in other contexts if needed.

12 years agoBit-related string operations moved to bitop.c
antirez [Sat, 19 May 2012 08:33:20 +0000 (10:33 +0200)] 
Bit-related string operations moved to bitop.c

All the general string operations are implemented in t_string.c, however
the bit operations, while targeting the string type, are better served
in a specific file where we have the implementations of the following
four commands and helper functions:

    GETBIT
    SETBIT
    BITOP
    BITCOUNT

In the future this file will probably contain more code related to
making the BITOP and BITCOUNT operations faster.

12 years agoBITOP and BITCOUNT tests.
antirez [Thu, 17 May 2012 13:50:44 +0000 (15:50 +0200)] 
BITOP and BITCOUNT tests.

The Redis implementation is tested against Tcl implementations of the
same operation. Both fuzzing and testing of specific aspects of the
commands behavior are performed.

12 years agoNew commands: BITOP and BITCOUNT.
antirez [Wed, 16 May 2012 14:23:09 +0000 (16:23 +0200)] 
New commands: BITOP and BITCOUNT.

The motivation for this new commands is to be search in the usage of
Redis for real time statistics. See the article "Fast real time metrics
using Redis".

http://blog.getspool.com/2011/11/29/fast-easy-realtime-metrics-using-redis-bitmaps/

In general Redis strings when used as bitmaps using the SETBIT/GETBIT
command provide a very space-efficient and fast way to store statistics.
For instance in a web application with users, every user can be
associated with a key that shows every day in which the user visited the
web service. This information can be really valuable to extract user
behaviour information.

With Redis bitmaps doing this is very simple just saying that a given
day is 0 (the data the service was put online) and all the next days are
1, 2, 3, and so forth. So with SETBIT it is possible to set the bit
corresponding to the current day every time the user visits the site.

It is possible to take the count of the bit sets on the run, this is
extremely easy using a Lua script. However a fast bit count native
operation can be useful, especially if it can operate on ranges, or when
the string is small like in the case of days (even if you consider many
years it is still extremely little data).

For this reason BITOP was introduced. The command counts the number of
bits set to 1 in a string, with optional range:

BITCOUNT key [start end]

The start/end parameters are similar to GETRANGE. If omitted the whole
string is tested.

Population counting is more useful when bit-level operations like AND,
OR and XOR are avaialble. For instance I can test multiple users to see
the number of days three users visited the site at the same time. To do
this we can take the AND of all the bitmaps, and then count the set bits.

For this reason the BITOP command was introduced:

BITOP [AND|OR|XOR|NOT] dest_key src_key1 src_key2 src_key3 ... src_keyN

In the special case of NOT (that inverts the bits) only one source key
can be passed.

The judicious use of BITCOUNT and BITOP combined can lead to interesting
use cases with very space efficient representation of data.

The implementation provided is still not tested and optimized for speed,
next commits will introduce unit tests. Later the implementation will be
profiled to see if it is possible to gain an important amount of speed
without making the code much more complex.

12 years agoAdd aof_rewrite_buffer_length INFO field.
antirez [Thu, 24 May 2012 13:03:23 +0000 (15:03 +0200)] 
Add aof_rewrite_buffer_length INFO field.

The INFO output, persistence section, already contained the field
describing the size of the current AOF buffer to flush on disk. However
the other AOF buffer, used to accumulate changes during an AOF rewrite,
was not mentioned in the INFO output.

This commit introduces a new field called aof_rewrite_buffer_length with
the length of the rewrite buffer.

12 years agoAllow an AOF rewrite buffer > 2GB (Fix for issue #504).
antirez [Tue, 22 May 2012 11:03:41 +0000 (13:03 +0200)] 
Allow an AOF rewrite buffer > 2GB (Fix for issue #504).

During the AOF rewrite process, the parent process needs to accumulate
the new writes in an in-memory buffer: when the child will terminate the
AOF rewriting process this buffer (that ist the difference between the
dataset when the rewrite was started, and the current dataset) is
flushed to the new AOF file.

We used to implement this buffer using an sds.c string, but sds.c has a
2GB limit. Sometimes the dataset can be big enough, the amount of writes
so high, and the rewrite process slow enough that we overflow the 2GB
limit, causing a crash, documented on github by issue #504.

In order to prevent this from happening, this commit introduces a new
system to accumulate writes, implemented by a linked list of blocks of
10 MB each, so that we also avoid paying the reallocation cost.

Note that theoretically modern operating systems may implement realloc()
simply as a remaping of the old pages, thus with very good performances,
see for instance the mremap() syscall on Linux. However this is not
always true, and jemalloc by default avoids doing this because there are
issues with the current implementation of mremap().

For this reason we are using a linked list of blocks instead of a single
block that gets reallocated again and again.

The changes in this commit lacks testing, that will be performed before
merging into the unstable branch. This fix will not enter 2.4 because it
is too invasive. However 2.4 will log a warning when the AOF rewrite
buffer is near to the 2GB limit.

12 years agoDead code removed from replication.c.
antirez [Thu, 24 May 2012 09:35:21 +0000 (11:35 +0200)] 
Dead code removed from replication.c.

The user @jokea noticed that the following line of code into
replication.c made little sense:

    addReplySds(slave,sdsempty());

Investigating a bit I found that this was introduced by commit 6208b3a7
three years ago in the early stages of Redis. The code apparently is not
useful at all, so I'm removing it.

This change will not be backported into 2.4 so that in the rare case
this should introduce a bug, we'll have a chance to detect it into the
development branch. However following the code path it seems like the
code is not useful at all, so the risk is truly small.

12 years agoSet fd to writable when poll(2) detects POLLERR or POLLHUP event.
jokea [Wed, 23 May 2012 09:19:49 +0000 (17:19 +0800)] 
Set fd to writable when poll(2) detects POLLERR or POLLHUP event.

12 years agoFixed issue #516 (ZINTERSTORE mixing sets and zsets).
antirez [Wed, 23 May 2012 09:02:38 +0000 (11:02 +0200)] 
Fixed issue #516 (ZINTERSTORE mixing sets and zsets).

Weeks ago trying to fix an harmless GCC warning I introduced a bug in
the ziplist-encoded implementations of sorted sets.

The bug completely broke zuiNext() iterator, that is used in the
ZINTERSTORE and ZUNIONSTORE implementation, so those two commands are no
longer reliable starting from Redis version 2.4.12 and latest 2.6.0-RC
releases.

This commit fixes the problem and adds a regression test.

12 years agoRedis test: include bug report on crash.
antirez [Tue, 22 May 2012 11:13:24 +0000 (13:13 +0200)] 
Redis test: include bug report on crash.

Due to a change in the format of the bug report in case of crash of
failed assertion the test suite was no longer able to properly log it.
Instead just a protocol error was logged by the Redis TCL client that
provided no clue about the actual problem.

This commit resolves the issue by logging everything from the first line
of the log including the string REDIS BUG REPORT, till the end of the
file.

12 years agoUse comments to split aof.c into sections.
antirez [Mon, 21 May 2012 14:50:05 +0000 (16:50 +0200)] 
Use comments to split aof.c into sections.

This makes the code more readable, it is still not the case to split the
file itself into three different files, but the logical separation
improves the readability especially since new commits are going to
introduce an additional section.

12 years agoTODO file removed.
antirez [Sun, 20 May 2012 21:47:45 +0000 (23:47 +0200)] 
TODO file removed.

The list of things to do is since long time in two places:

1) Github issues.
2) I've a private TOOD list of random ideas, what makes sense is later
moved to github issues. So github is anyway the true source of things to
do.

12 years agoDeleted jemalloc.orig from /deps.
antirez [Wed, 16 May 2012 10:22:29 +0000 (12:22 +0200)] 
Deleted jemalloc.orig from /deps.

In the commit upgrading jemalloc to version 3.0.0 I added the old
version of Jemalloc in the 'jemalloc.orig' directory for an error.
This commit removes the not useful version of jemalloc.

12 years agoJemalloc updated to 3.0.0.
antirez [Tue, 15 May 2012 13:27:12 +0000 (15:27 +0200)] 
Jemalloc updated to 3.0.0.

Full changelog here:

http://www.canonware.com/cgi-bin/gitweb.cgi?p=jemalloc.git;a=blob_plain;f=ChangeLog;hb=master

Notable improvements from the point of view of Redis:

1) Bugfixing.
2) Support for Valgrind.
3) Support for OSX Lion, FreeBSD.

12 years agoWhitespace
Pieter Noordhuis [Mon, 14 May 2012 18:06:34 +0000 (11:06 -0700)] 
Whitespace

12 years agouse port_getn instead of port_get
Dave Pacheco [Tue, 27 Mar 2012 03:41:58 +0000 (20:41 -0700)] 
use port_getn instead of port_get

12 years agofirst cut at event port support
Dave Pacheco [Tue, 27 Mar 2012 00:58:19 +0000 (17:58 -0700)] 
first cut at event port support

12 years agoFix `install` target on OSX (see #495)
Pieter Noordhuis [Fri, 4 May 2012 18:54:06 +0000 (11:54 -0700)] 
Fix `install` target on OSX (see #495)

12 years agoAdded time.h include in redis-cli.
antirez [Mon, 14 May 2012 15:35:51 +0000 (17:35 +0200)] 
Added time.h include in redis-cli.

redis-cli.c uses the time() function to seed the PRNG, but time.h was
not included. This was not noticed since sys/time.h is included and was
enough in most systems (but not correct). With Ubuntu 12.04 GCC
generates a warning that made us aware of the issue.

12 years agoactiveExpireCycle(): better precision in max time used.
antirez [Mon, 14 May 2012 14:04:41 +0000 (16:04 +0200)] 
activeExpireCycle(): better precision in max time used.

activeExpireCycle() can consume no more than a few milliseconds per
iteration. This commit improves the precision of the check for the time
elapsed in two ways:

1) We check every 16 iterations instead of the main loop instead of 256.
2) We reset iterations at the start of the function and not every time
   we switch to the next database, so the check is correctly performed
   every 16 iterations.

12 years agoImpovements for: Redis timer, hashes rehashing, keys collection.
antirez [Sun, 13 May 2012 19:52:35 +0000 (21:52 +0200)] 
Impovements for: Redis timer, hashes rehashing, keys collection.

A previous commit introduced REDIS_HZ define that changes the frequency
of calls to the serverCron() Redis function. This commit improves
different related things:

1) Software watchdog: now the minimal period can be set according to
REDIS_HZ. The minimal period is two times the timer period, that is:

    (1000/REDIS_HZ)*2 milliseconds

2) The incremental rehashing is now performed in the expires dictionary
as well.

3) The activeExpireCycle() function was improved in different ways:

- Now it checks if it already used too much time using microseconds
  instead of milliseconds for better precision.
- The time limit is now calculated correctly, in the previous version
  the division was performed before of the multiplication resulting in
  a timelimit of 0 if HZ was big enough.
- Databases with less than 1% of buckets fill in the hash table are
  skipped, because getting random keys is too expensive in this
  condition.

4) tryResizeHashTables() is now called at every timer call, we need to
   match the number of calls we do to the expired keys colleciton cycle.

5) REDIS_HZ was raised to 100.

12 years agoRedis timer interrupt frequency configurable as REDIS_HZ.
antirez [Sun, 13 May 2012 14:40:29 +0000 (16:40 +0200)] 
Redis timer interrupt frequency configurable as REDIS_HZ.

Redis uses a function called serverCron() that is very similar to the
timer interrupt of an operating system. This function is used to handle
a number of asynchronous things, like active expired keys collection,
clients timeouts, update of statistics, things related to the cluster
and replication, triggering of BGSAVE and AOF rewrite process, and so
forth.

In the past the timer was called 1 time per second. At some point it was
raised to 10 times per second, but it still was fixed and could not be
changed even at compile time, because different functions called from
serverCron() assumed a given fixed frequency.

This commmit makes the frequency configurable, so that it is simpler to
pick a good tradeoff between overhead of this function (that is usually
very small) and the responsiveness of Redis during a few critical
circumstances where a lot of work is done inside the timer.

An example of such a critical condition is mass-expire of a lot of keys
in the same second. Up to a given percentage of CPU time is used to
perform expired keys collection per expire cylce. Now changing the
REDIS_HZ macro it is possible to do less work but more times per second
in order to block the server for less time.

If this patch will work well in our tests it will enter Redis 2.6-final.

12 years agoComment improved so that the code goal is more clear. Thx to @agladysh.
antirez [Fri, 11 May 2012 20:33:28 +0000 (22:33 +0200)] 
Comment improved so that the code goal is more clear. Thx to @agladysh.

12 years agoMore incremental active expired keys collection process.
antirez [Fri, 11 May 2012 17:17:31 +0000 (19:17 +0200)] 
More incremental active expired keys collection process.

If a large amonut of keys are all expiring about at the same time, the
"active" expired keys collection cycle used to block as far as the
percentage of already expired keys was >= 25% of the total population of
keys with an expire set.

This could block the server even for many seconds in order to reclaim
memory ASAP. The new algorithm uses at max a small amount of
milliseconds per cycle, even if this means reclaiming the memory less
promptly it also means a more responsive server.

12 years agoIf the computer running the Redis test is slow, we revert to --clients 1 to avoid...
antirez [Fri, 11 May 2012 15:26:09 +0000 (17:26 +0200)] 
If the computer running the Redis test is slow, we revert to --clients 1 to avoid false positives.

12 years agoredis-cli pipe mode: handle EINTR properly as well so that SIGSTOP/SIGCONT are handle...
antirez [Fri, 11 May 2012 14:08:57 +0000 (16:08 +0200)] 
redis-cli pipe mode: handle EINTR properly as well so that SIGSTOP/SIGCONT are handled correctly.

12 years agoredis-cli pipe mode: handle EAGAIN while writing to socket.
antirez [Fri, 11 May 2012 08:45:12 +0000 (10:45 +0200)] 
redis-cli pipe mode: handle EAGAIN while writing to socket.

12 years agoFix PREFIX typo in Makefile.
antirez [Wed, 9 May 2012 18:45:00 +0000 (20:45 +0200)] 
Fix PREFIX typo in Makefile.

12 years agoAllow PREFIX to be overrided in Makefile.
antirez [Wed, 9 May 2012 08:34:52 +0000 (10:34 +0200)] 
Allow PREFIX to be overrided in Makefile.

12 years agoredis-cli --pipe for mass import.
antirez [Sun, 6 May 2012 08:05:31 +0000 (10:05 +0200)] 
redis-cli --pipe for mass import.

12 years agoCompare integers in ziplist regardless of encoding
Pieter Noordhuis [Sat, 5 May 2012 00:26:24 +0000 (17:26 -0700)] 
Compare integers in ziplist regardless of encoding

Because of the introduction of new integer encoding types for ziplists
in the 2.6 tree, the same integer value may have a different encoding in
different versions of the ziplist implementation. This means that the
encoding can NOT be used as a fast path in comparing integers.

12 years agoMerge pull request #494 from quiver/init-fixes
Salvatore Sanfilippo [Fri, 4 May 2012 11:41:02 +0000 (04:41 -0700)] 
Merge pull request #494 from quiver/init-fixes

fix several bugs of init.d scripts

12 years agofix several bugs of init.d scripts
quiver [Fri, 4 May 2012 11:07:00 +0000 (20:07 +0900)] 
fix several bugs of init.d scripts

- PIDFILE environ variable was not properly retrieved
- chkconfig command failed

12 years agosyncio.c read / write functions reworked for correctness and performance.
antirez [Wed, 2 May 2012 20:41:50 +0000 (22:41 +0200)] 
syncio.c read / write functions reworked for correctness and performance.

The new implementation start reading / writing before blocking with
aeWait(), likely the descriptor can accept writes or has buffered data
inside and we can go faster, otherwise we get an error and wait.

This change has effects on speed but also on correctness: on socket
errors when we perform non blocking connect(2) write is performed ASAP
and the error is returned ASAP before waiting.

So the practical effect is that now a Redis slave is more available if it
can not connect to the master, previously the slave continued to block on
syncWrite() trying to send SYNC, and serving commands very slowly.

12 years agoRemove useless trailing space in SYNC command sent to master.
antirez [Wed, 2 May 2012 19:45:01 +0000 (21:45 +0200)] 
Remove useless trailing space in SYNC command sent to master.

12 years agoUse specific error if master is down and slave-serve-stale-data is set to no.
antirez [Wed, 2 May 2012 15:14:45 +0000 (17:14 +0200)] 
Use specific error if master is down and slave-serve-stale-data is set to no.

We used to reply -ERR ... message ..., now the reply is
instead -MASTERDOWN ... message ... so that it can be distinguished
easily by the other error conditions.

12 years agoTest "Turning off AOF kills the background writing child if any" is now more reliable.
antirez [Wed, 2 May 2012 09:40:46 +0000 (11:40 +0200)] 
Test "Turning off AOF kills the background writing child if any" is now more reliable.

12 years agoUse safe dictionary iterator from KEYS
Pieter Noordhuis [Mon, 30 Apr 2012 17:16:20 +0000 (10:16 -0700)] 
Use safe dictionary iterator from KEYS

Every matched key in a KEYS call is checked for expiration. When the key
is set to expire, the call to `getExpire` will assert that the key also
exists in the main dictionary. This in turn causes a rehashing step to
be executed. Rehashing a dictionary when there is an iterator active may
result in the iterator emitting duplicate entries, or not emitting some
entries at all. By using a safe iterator, the rehash step is omitted.

12 years agoShow problem with 'keys' command with specific command sequence.
Harmen [Mon, 30 Apr 2012 15:57:12 +0000 (09:57 -0600)] 
Show problem with 'keys' command with specific command sequence.

12 years agoProperly wait the slave to sync with master in BRPOPLPUSH test.
antirez [Mon, 30 Apr 2012 08:55:03 +0000 (10:55 +0200)] 
Properly wait the slave to sync with master in BRPOPLPUSH test.

12 years agoA more lightweight implementation of issue 141 regression test.
antirez [Sat, 28 Apr 2012 13:39:00 +0000 (15:39 +0200)] 
A more lightweight implementation of issue 141 regression test.

12 years agomemtest.c fixed to actually use v1 and v2 in memtest_fill_value().
antirez [Fri, 27 Apr 2012 14:28:31 +0000 (16:28 +0200)] 
memtest.c fixed to actually use v1 and v2 in memtest_fill_value().

12 years agoredis-cli commands description in help.h updated.
antirez [Fri, 27 Apr 2012 13:57:17 +0000 (15:57 +0200)] 
redis-cli commands description in help.h updated.

12 years agoSet LUA_MASKCOUNT hook more selectively. Fixes issue #480.
antirez [Fri, 27 Apr 2012 09:41:25 +0000 (11:41 +0200)] 
Set LUA_MASKCOUNT hook more selectively. Fixes issue #480.

An user reported a crash with Redis scripting (see issue #480 on
github), inspection of the kindly provided strack trace showed that
server.lua_caller was probably set to NULL. The stack trace also slowed
that the call to the hook was originating from a point where we just
used to set/get a few global variables in the Lua state.

What was happening is that we did not set the timeout hook selectively
only when the user script was called. Now we set it more selectively,
specifically only in the context of the lua_pcall() call, and make sure
to remove the hook when the call returns. Otherwise the hook can get
called in random contexts every time we do something with the Lua
state.

12 years agoRe-introduce -g -rdynamic -ggdb when linking, fixing strack traces.
antirez [Thu, 26 Apr 2012 14:53:11 +0000 (16:53 +0200)] 
Re-introduce -g -rdynamic -ggdb when linking, fixing strack traces.

A previous commit removed -g -rdynamic -ggdb as LDFLAGS, not allowing
Redis to produce a stack trace wth symbol names on crash.
This commit fixes the issue.

12 years agoProduce the stack trace in an async safe way.
antirez [Thu, 26 Apr 2012 14:04:53 +0000 (16:04 +0200)] 
Produce the stack trace in an async safe way.

12 years agoDon't use an alternative stack for SIGSEGV & co.
antirez [Thu, 26 Apr 2012 14:21:19 +0000 (16:21 +0200)] 
Don't use an alternative stack for SIGSEGV & co.

This commit reverts most of c575766202773c858be0870c20cd495b722927c3, in
order to use back main stack for signal handling.

The main reason is that otherwise it is completely pointless that we do
a lot of efforts to print the stack trace on crash, and the content of
the stack and registers as well. Using an alternate stack broken this
feature completely.

12 years agoRedis test: More reliable BRPOPLPUSH replication test.
antirez [Thu, 26 Apr 2012 09:25:13 +0000 (11:25 +0200)] 
Redis test: More reliable BRPOPLPUSH replication test.

Now it uses the new wait_for_condition testing primitive.
Also wait_for_condition implementation was fixed in this commit to properly
escape the expr command and its argument.

12 years agoMerge remote-tracking branch 'origin/unstable' into unstable
antirez [Thu, 26 Apr 2012 09:17:47 +0000 (11:17 +0200)] 
Merge remote-tracking branch 'origin/unstable' into unstable

12 years agoRedis test: scripting EVALSHA replication test more reliable.
antirez [Thu, 26 Apr 2012 09:16:52 +0000 (11:16 +0200)] 
Redis test: scripting EVALSHA replication test more reliable.

A new primitive wait_for_condition was introduced in the scripting
engine that makes waiting for events simpler, so that it is simpler to
write tests that are more resistant to timing issues.

12 years agoMerge pull request #481 from dtran320/unstable
Salvatore Sanfilippo [Wed, 25 Apr 2012 20:39:13 +0000 (13:39 -0700)] 
Merge pull request #481 from dtran320/unstable

Spelling: s/synchrnonization/synchronization

12 years agoSpelling: s/synchrnonization/synchronization
David Tran [Wed, 25 Apr 2012 19:21:56 +0000 (12:21 -0700)] 
Spelling: s/synchrnonization/synchronization

12 years agoExplicitly use bash for install_server.sh. Fixes issue #397
antirez [Tue, 24 Apr 2012 17:14:03 +0000 (19:14 +0200)] 
Explicitly use bash for install_server.sh. Fixes issue #397

12 years agoredis-check-dump now is RDB version 6 ready.
antirez [Tue, 24 Apr 2012 17:05:27 +0000 (19:05 +0200)] 
redis-check-dump now is RDB version 6 ready.

12 years agoSpurious debugging printf removed.
antirez [Tue, 24 Apr 2012 15:15:21 +0000 (17:15 +0200)] 
Spurious debugging printf removed.

12 years agoAdded two new encodings to ziplist.c
antirez [Tue, 24 Apr 2012 14:54:07 +0000 (16:54 +0200)] 
Added two new encodings to ziplist.c

1) One integer "immediate" encoding that can encode from 0 to 12 in the
encoding byte itself.
2) One 8 bit signed integer encoding that can encode 8 bit signed small
integers in a single byte.

The idea is to exploit all the not used bits we have around in a
backward compatible way.

12 years agordbLoad() should check REDIS_RDB_VERSION instead of hardcoded number.
antirez [Tue, 24 Apr 2012 10:53:30 +0000 (12:53 +0200)] 
rdbLoad() should check REDIS_RDB_VERSION instead of hardcoded number.

12 years agoziplist.c: added comments about the new 24 bit encoding.
antirez [Tue, 24 Apr 2012 10:51:59 +0000 (12:51 +0200)] 
ziplist.c: added comments about the new 24 bit encoding.

12 years agoAdd a 24bit integer to ziplists to save one byte for ints that can
Grisha Trubetskoy [Fri, 20 Apr 2012 14:38:42 +0000 (10:38 -0400)] 
Add a 24bit integer to ziplists to save one byte for ints that can
fit in 24 bits (thanks to antirez for catching and solving the two's compliment
bug).

Increment REDIS_RDB_VERSION to 6

12 years agoFixed a bug in propagation of PUBLISH via the cluster bus.
antirez [Tue, 24 Apr 2012 09:28:10 +0000 (11:28 +0200)] 
Fixed a bug in propagation of PUBLISH via the cluster bus.

This bug was spotted by clang on FreeBSD.

12 years agoA few compiler warnings suppressed.
antirez [Tue, 24 Apr 2012 09:11:55 +0000 (11:11 +0200)] 
A few compiler warnings suppressed.

12 years agoFix and refactoring of code used to get registers on crash.
antirez [Tue, 24 Apr 2012 09:07:15 +0000 (11:07 +0200)] 
Fix and refactoring of code used to get registers on crash.

This fixes compilation on FreeBSD (and possibly other systems) by
not using ucontext_t at all if HAVE_BACKTRACE is not defined.
Also the ifdefs to get the registers are modified to explicitly test for the
operating system in the first level, and the arch in the second level
of nesting.

12 years agoZiplist encoding now tested with negative integers as well.
antirez [Mon, 23 Apr 2012 15:27:39 +0000 (17:27 +0200)] 
Ziplist encoding now tested with negative integers as well.

12 years agoMerge pull request #421 from ErikDubbelboer/sds-const
Salvatore Sanfilippo [Mon, 23 Apr 2012 09:34:19 +0000 (02:34 -0700)] 
Merge pull request #421 from ErikDubbelboer/sds-const

Added consts keyword where possible

12 years agoMerge pull request #461 from schlenk/unstable
Salvatore Sanfilippo [Mon, 23 Apr 2012 09:07:21 +0000 (02:07 -0700)] 
Merge pull request #461 from schlenk/unstable

Replace some unnecessary calls to echo and cat in tests

12 years agoNew time limit for protocol desync test set to 30 seconds to reduce false positives.
antirez [Mon, 23 Apr 2012 08:57:43 +0000 (10:57 +0200)] 
New time limit for protocol desync test set to 30 seconds to reduce false positives.

12 years agoRemove loadfile() access from the scripting engine.
antirez [Mon, 23 Apr 2012 08:43:24 +0000 (10:43 +0200)] 
Remove loadfile() access from the scripting engine.

12 years agoEven inside #if 0 comments are comments.
antirez [Sat, 21 Apr 2012 19:49:21 +0000 (21:49 +0200)] 
Even inside #if 0 comments are comments.

12 years agoMerge remote-tracking branch 'origin/unstable' into unstable
antirez [Sat, 21 Apr 2012 18:35:51 +0000 (20:35 +0200)] 
Merge remote-tracking branch 'origin/unstable' into unstable

12 years agoLimit memory used by big SLOWLOG entries.
antirez [Sat, 21 Apr 2012 17:20:03 +0000 (19:20 +0200)] 
Limit memory used by big SLOWLOG entries.

Two limits are added:

1) Up to SLOWLOG_ENTRY_MAX_ARGV arguments are logged.
2) Up to SLOWLOG_ENTRY_MAX_STRING bytes per argument are logged.
3) slowlog-max-len is set to 128 by default (was 1024).

The number of remaining arguments / bytes is logged in the entry
so that the user can understand better the nature of the logged command.

12 years agoMerge pull request #440 from ErikDubbelboer/spelling
Salvatore Sanfilippo [Sat, 21 Apr 2012 10:31:06 +0000 (03:31 -0700)] 
Merge pull request #440 from ErikDubbelboer/spelling

Fixed some spelling errors in comments

12 years agoMerge pull request #414 from chobits/unstable
Salvatore Sanfilippo [Sat, 21 Apr 2012 10:27:15 +0000 (03:27 -0700)] 
Merge pull request #414 from chobits/unstable

fix typos in tests/assets/default.conf

12 years agoREADME now makes clear that our support for solaris derived systems is "best effort".
antirez [Sat, 21 Apr 2012 10:08:26 +0000 (12:08 +0200)] 
README now makes clear that our support for solaris derived systems is "best effort".

12 years agoredis.conf AOF section comments improved.
antirez [Thu, 19 Apr 2012 22:04:07 +0000 (00:04 +0200)] 
redis.conf AOF section comments improved.

12 years agoNew tests related to scripts max execution time.
antirez [Thu, 19 Apr 2012 21:49:33 +0000 (23:49 +0200)] 
New tests related to scripts max execution time.

12 years agoSHUTDOWN NOSAVE now can stop a non returning script. Issue #466.
antirez [Thu, 19 Apr 2012 21:35:15 +0000 (23:35 +0200)] 
SHUTDOWN NOSAVE now can stop a non returning script. Issue #466.