]> git.saurik.com Git - redis.git/blobdiff - test-redis.tcl
ZRANK stress tester
[redis.git] / test-redis.tcl
index abaecbea47647a93faebceb05eabd2d90fab76b0..4ec3830eebbea8390b6c9897b0c662c97789140a 100644 (file)
@@ -65,6 +65,154 @@ proc waitForBgsave r {
     }
 }
 
+proc waitForBgrewriteaof r {
+    while 1 {
+        set i [$r info]
+        if {[string match {*bgrewriteaof_in_progress:1*} $i]} {
+            puts -nonewline "\nWaiting for background AOF rewrite to finish... "
+            flush stdout
+            after 1000
+        } else {
+            break
+        }
+    }
+}
+
+proc randomInt {max} {
+    expr {int(rand()*$max)}
+}
+
+proc randpath args {
+    set path [expr {int(rand()*[llength $args])}]
+    uplevel 1 [lindex $args $path]
+}
+
+proc randomValue {} {
+    randpath {
+        # Small enough to likely collide
+        randomInt 1000
+    } {
+        # 32 bit compressible signed/unsigned
+        randpath {randomInt 2000000000} {randomInt 4000000000}
+    } {
+        # 64 bit
+        randpath {randomInt 1000000000000}
+    } {
+        # Random string
+        randpath {randstring 0 256 alpha} \
+                {randstring 0 256 compr} \
+                {randstring 0 256 binary}
+    }
+}
+
+proc randomKey {} {
+    randpath {
+        # Small enough to likely collide
+        randomInt 1000
+    } {
+        # 32 bit compressible signed/unsigned
+        randpath {randomInt 2000000000} {randomInt 4000000000}
+    } {
+        # 64 bit
+        randpath {randomInt 1000000000000}
+    } {
+        # Random string
+        randpath {randstring 1 256 alpha} \
+                {randstring 1 256 compr}
+    }
+}
+
+proc createComplexDataset {r ops} {
+    for {set j 0} {$j < $ops} {incr j} {
+        set k [randomKey]
+        set v [randomValue]
+        randpath {
+            set d [expr {rand()}]
+        } {
+            set d [expr {rand()}]
+        } {
+            set d [expr {rand()}]
+        } {
+            set d [expr {rand()}]
+        } {
+            set d [expr {rand()}]
+        } {
+            randpath {set d +inf} {set d -inf}
+        }
+        set t [$r type $k]
+
+        if {$t eq {none}} {
+            randpath {
+                $r set $k $v
+            } {
+                $r lpush $k $v
+            } {
+                $r sadd $k $v
+            } {
+                $r zadd $k $d $v
+            }
+            set t [$r type $k]
+        }
+
+        switch $t {
+            {string} {
+                # Nothing to do
+            }
+            {list} {
+                randpath {$r lpush $k $v} \
+                        {$r rpush $k $v} \
+                        {$r lrem $k 0 $v} \
+                        {$r rpop $k} \
+                        {$r lpop $k}
+            }
+            {set} {
+                randpath {$r sadd $k $v} \
+                        {$r srem $k $v}
+            }
+            {zset} {
+                randpath {$r zadd $k $d $v} \
+                        {$r zrem $k $v}
+            }
+        }
+    }
+}
+
+proc datasetDigest r {
+    set keys [lsort [$r keys *]]
+    set digest {}
+    foreach k $keys {
+        set t [$r type $k]
+        switch $t {
+            {string} {
+                set aux [::sha1::sha1 -hex [$r get $k]]
+            } {list} {
+                if {[$r llen $k] == 0} {
+                    set aux {}
+                } else {
+                    set aux [::sha1::sha1 -hex [$r lrange $k 0 -1]]
+                }
+            } {set} {
+                if {[$r scard $k] == 0} {
+                    set aux {}
+                } else {
+                    set aux [::sha1::sha1 -hex [lsort [$r smembers $k]]]
+                }
+            } {zset} {
+                if {[$r zcard $k] == 0} {
+                    set aux {}
+                } else {
+                    set aux [::sha1::sha1 -hex [$r zrange $k 0 -1]]
+                }
+            } default {
+                error "Type not supported: $t"
+            }
+        }
+        if {$aux eq {}} continue
+        set digest [::sha1::sha1 -hex [join [list $aux $digest $k] "\n"]]
+    }
+    return $digest
+}
+
 proc main {server port} {
     set r [redis $server $port]
     $r select 9
@@ -89,6 +237,11 @@ proc main {server port} {
         $r get x
     } {foobar}
 
+    test {SET and GET an empty item} {
+        $r set x {}
+        $r get x
+    } {}
+
     test {DEL against a single item} {
         $r del x
         $r get x
@@ -127,20 +280,46 @@ proc main {server port} {
         $r get foo
     } [string repeat "abcd" 1000000]
 
+    test {Very big payload random access} {
+        set err {}
+        array set payload {}
+        for {set j 0} {$j < 100} {incr j} {
+            set size [expr 1+[randomInt 100000]]
+            set buf [string repeat "pl-$j" $size]
+            set payload($j) $buf
+            $r set bigpayload_$j $buf
+        }
+        for {set j 0} {$j < 1000} {incr j} {
+            set index [randomInt 100]
+            set buf [$r get bigpayload_$index]
+            if {$buf != $payload($index)} {
+                set err "Values differ: I set '$payload($index)' but I read back '$buf'"
+                break
+            }
+        }
+        unset payload
+        set _ $err
+    } {}
+
     test {SET 10000 numeric keys and access all them in reverse order} {
+        set err {}
         for {set x 0} {$x < 10000} {incr x} {
             $r set $x $x
         }
         set sum 0
         for {set x 9999} {$x >= 0} {incr x -1} {
-            incr sum [$r get $x]
+            set val [$r get $x]
+            if {$val ne $x} {
+                set err "Eleemnt at position $x is $val instead of $x"
+                break
+            }
         }
-        format $sum
-    } {49995000}
+        set _ $err
+    } {}
 
-    test {DBSIZE should be 10001 now} {
+    test {DBSIZE should be 10101 now} {
         $r dbsize
-    } {10001}
+    } {10101}
 
     test {INCR against non existing key} {
         set res {}
@@ -167,6 +346,11 @@ proc main {server port} {
         $r incrby novar 17179869184
     } {34359738368}
 
+    test {INCR against key with spaces (no integer encoded)} {
+        $r set novar "    11    "
+        $r incr novar
+    } {12}
+
     test {DECRBY over 32bit value with over 32bit increment, negative res} {
         $r set novar 17179869184
         $r decrby novar 17179869185
@@ -229,7 +413,8 @@ proc main {server port} {
         append res [$r lindex mylist 0]
         append res [$r lindex mylist 1]
         append res [$r lindex mylist 2]
-    } {3bac}
+        list $res [$r lindex mylist 100]
+    } {3bac {}}
 
     test {DEL a list} {
         $r del mylist
@@ -282,11 +467,19 @@ proc main {server port} {
         format $err
     } {ERR*}
 
+    test {LLEN against non existing key} {
+        $r llen not-a-key
+    } {0}
+
     test {LINDEX against non-list value error} {
         catch {$r lindex mylist 0} err
         format $err
     } {ERR*}
 
+    test {LINDEX against non existing key} {
+        $r lindex not-a-key 10
+    } {}
+
     test {LPUSH against non-list value error} {
         catch {$r lpush mylist 0} err
         format $err
@@ -363,6 +556,12 @@ proc main {server port} {
         list [$r lrange mylist 0 -1] [$r type newlist] [string range $err 0 2]
     } {{a b c d} string ERR}
 
+    test {RPOPLPUSH against non existing src key} {
+        $r del mylist
+        $r del newlist
+        $r rpoplpush mylist newlist
+    } {}
+
     test {RENAME basic usage} {
         $r set mykey hello
         $r rename mykey mykey1
@@ -526,7 +725,36 @@ proc main {server port} {
         $r lrange mylist 0 -1
     } {99 98 97 96 95}
 
+    test {LTRIM stress testing} {
+        set mylist {}
+        set err {}
+        for {set i 0} {$i < 20} {incr i} {
+            lappend mylist $i
+        }
+
+        for {set j 0} {$j < 100} {incr j} {
+            # Fill the list
+            $r del mylist
+            for {set i 0} {$i < 20} {incr i} {
+                $r rpush mylist $i
+            }
+            # Trim at random
+            set a [randomInt 20]
+            set b [randomInt 20]
+            $r ltrim mylist $a $b
+            if {[$r lrange mylist 0 -1] ne [lrange $mylist $a $b]} {
+                set err "[$r lrange mylist 0 -1] != [lrange $mylist $a $b]"
+                break
+            }
+        }
+        set _ $err
+    } {}
+
     test {LSET} {
+        $r del mylist
+        foreach x {99 98 97 96 95} {
+            $r rpush mylist $x
+        }
         $r lset mylist 1 foo
         $r lset mylist -1 bar
         $r lrange mylist 0 -1
@@ -675,18 +903,23 @@ proc main {server port} {
         lsort [array names myset]
     } {a b c}
     
-    test {Create a random list} {
+    test {Create a random list and a random set} {
         set tosort {}
         array set seenrand {}
         for {set i 0} {$i < 10000} {incr i} {
             while 1 {
                 # Make sure all the weights are different because
                 # Redis does not use a stable sort but Tcl does.
-                set rint [expr int(rand()*1000000)]
+                randpath {
+                    set rint [expr int(rand()*1000000)]
+                } {
+                    set rint [expr rand()]
+                }
                 if {![info exists seenrand($rint)]} break
             }
             set seenrand($rint) x
             $r lpush tosort $i
+            $r sadd tosort-set $i
             $r set weight_$i $rint
             lappend tosort [list $i $rint]
         }
@@ -702,6 +935,15 @@ proc main {server port} {
         $r sort tosort {BY weight_*}
     } $res
 
+    test {the same SORT with BY, but against the newly created set} {
+        $r sort tosort-set {BY weight_*}
+    } $res
+
+    test {SORT with BY and STORE against the newly created list} {
+        $r sort tosort {BY weight_*} store sort-res
+        $r lrange sort-res 0 -1
+    } $res
+
     test {SORT direct, numeric, against the newly created list} {
         $r sort tosort
     } [lsort -integer $res]
@@ -760,6 +1002,10 @@ proc main {server port} {
         $r sort mylist BY weight_* GET #
     } {2 1 3}
 
+    test {SORT with constant GET} {
+        $r sort mylist GET foo
+    } {{} {} {}}
+
     test {LREM, remove all the occurrences} {
         $r flushdb
         $r rpush mylist foo
@@ -946,6 +1192,18 @@ proc main {server port} {
         $r zcard ztmp-blabla
     } {0}
 
+    test {ZRANK basics} {
+        $r zadd zranktmp 10 x
+        $r zadd zranktmp 20 y
+        $r zadd zranktmp 30 z
+        list [$r zrank zranktmp x] [$r zrank zranktmp y] [$r zrank zranktmp z]
+    } {0 1 2}
+
+    test {ZRANK - after deletion} {
+        $r zrem zranktmp y
+        list [$r zrank zranktmp x] [$r zrank zranktmp z]
+    } {0 1}
+
     test {ZSCORE} {
         set aux {}
         set err {}
@@ -982,9 +1240,14 @@ proc main {server port} {
         set _ $err
     } {}
 
-    test {ZRANGE and ZREVRANGE} {
-        list [$r zrange ztmp 0 -1] [$r zrevrange ztmp 0 -1]
-    } {{y x z} {z x y}}
+    test {ZRANGE and ZREVRANGE basics} {
+        list [$r zrange ztmp 0 -1] [$r zrevrange ztmp 0 -1] \
+            [$r zrange ztmp 1 -1] [$r zrevrange ztmp 1 -1]
+    } {{y x z} {z x y} {x z} {x y}}
+
+    test {ZRANGE WITHSCORES} {
+        $r zrange ztmp 0 -1 withscores
+    } {y 1 x 10 z 30}
 
     test {ZSETs stress tester - sorting is working well?} {
         set delta 0
@@ -1049,15 +1312,26 @@ proc main {server port} {
         list $v1 $v2 [$r zscore zset foo] [$r zscore zset bar]
     } {{bar foo} {foo bar} -2 6}
 
-    test {ZRANGEBYSCORE basics} {
+    test {ZRANGEBYSCORE and ZCOUNT basics} {
         $r del zset
         $r zadd zset 1 a
         $r zadd zset 2 b
         $r zadd zset 3 c
         $r zadd zset 4 d
         $r zadd zset 5 e
-        $r zrangebyscore zset 2 4
-    } {b c d}
+        list [$r zrangebyscore zset 2 4] [$r zrangebyscore zset (2 (4] \
+             [$r zcount zset 2 4] [$r zcount zset (2 (4]
+    } {{b c d} c 3 1}
+
+    test {ZRANGEBYSCORE withscores} {
+        $r del zset
+        $r zadd zset 1 a
+        $r zadd zset 2 b
+        $r zadd zset 3 c
+        $r zadd zset 4 d
+        $r zadd zset 5 e
+        $r zrangebyscore zset 2 4 withscores
+    } {b 2 c 3 d 4}
 
     test {ZRANGEBYSCORE fuzzy test, 100 ranges in 1000 elements sorted set} {
         set err {}
@@ -1076,24 +1350,65 @@ proc main {server port} {
             set low [$r zrangebyscore zset -inf $min]
             set ok [$r zrangebyscore zset $min $max]
             set high [$r zrangebyscore zset $max +inf]
+            set lowx [$r zrangebyscore zset -inf ($min]
+            set okx [$r zrangebyscore zset ($min ($max]
+            set highx [$r zrangebyscore zset ($max +inf]
+
+            if {[$r zcount zset -inf $min] != [llength $low]} {
+                append err "Error, len does not match zcount\n"
+            }
+            if {[$r zcount zset $min $max] != [llength $ok]} {
+                append err "Error, len does not match zcount\n"
+            }
+            if {[$r zcount zset $max +inf] != [llength $high]} {
+                append err "Error, len does not match zcount\n"
+            }
+            if {[$r zcount zset -inf ($min] != [llength $lowx]} {
+                append err "Error, len does not match zcount\n"
+            }
+            if {[$r zcount zset ($min ($max] != [llength $okx]} {
+                append err "Error, len does not match zcount\n"
+            }
+            if {[$r zcount zset ($max +inf] != [llength $highx]} {
+                append err "Error, len does not match zcount\n"
+            }
+
             foreach x $low {
                 set score [$r zscore zset $x]
                 if {$score > $min} {
                     append err "Error, score for $x is $score > $min\n"
                 }
             }
+            foreach x $lowx {
+                set score [$r zscore zset $x]
+                if {$score >= $min} {
+                    append err "Error, score for $x is $score >= $min\n"
+                }
+            }
             foreach x $ok {
                 set score [$r zscore zset $x]
                 if {$score < $min || $score > $max} {
                     append err "Error, score for $x is $score outside $min-$max range\n"
                 }
             }
+            foreach x $okx {
+                set score [$r zscore zset $x]
+                if {$score <= $min || $score >= $max} {
+                    append err "Error, score for $x is $score outside $min-$max open range\n"
+                }
+            }
             foreach x $high {
                 set score [$r zscore zset $x]
                 if {$score < $max} {
                     append err "Error, score for $x is $score < $max\n"
                 }
             }
+            foreach x $highx {
+                set score [$r zscore zset $x]
+                if {$score <= $max} {
+                    append err "Error, score for $x is $score <= $max\n"
+                }
+            }
         }
         set _ $err
     } {}
@@ -1112,6 +1427,16 @@ proc main {server port} {
             [$r zrangebyscore zset 0 10 LIMIT 20 10]
     } {{a b} {c d e} {c d e} {}}
 
+    test {ZRANGEBYSCORE with LIMIT and withscores} {
+        $r del zset
+        $r zadd zset 10 a
+        $r zadd zset 20 b
+        $r zadd zset 30 c
+        $r zadd zset 40 d
+        $r zadd zset 50 e
+        $r zrangebyscore zset 20 50 LIMIT 2 3 withscores
+    } {d 40 e 50}
+
     test {ZREMRANGE basics} {
         $r del zset
         $r zadd zset 1 a
@@ -1203,6 +1528,31 @@ proc main {server port} {
         format $diff
     } {0}
 
+    test {ZSETs ZRANK augmented skip list stress testing} {
+        set err {}
+        $r del myzset
+        for {set k 0} {$k < 10000} {incr k} {
+            set i [expr {$k%1000}]
+            if {[expr rand()] < .2} {
+                $r zrem myzset $i
+            } else {
+                set score [expr rand()]
+                $r zadd myzset $score $i
+            }
+            set card [$r zcard myzset]
+            if {$card > 0} {
+                set index [randomInt $card]
+                set ele [lindex [$r zrange myzset $index $index] 0]
+                set rank [$r zrank myzset $ele]
+                if {$rank != $index} {
+                    set err "$ele RANK is wrong! ($rank != [expr $index+1])"
+                    break
+                }
+            }
+        }
+        set _ $err
+    } {}
+
     foreach fuzztype {binary alpha compr} {
         test "FUZZ stresser with data model $fuzztype" {
             set err 0
@@ -1220,6 +1570,7 @@ proc main {server port} {
     }
 
     test {BGSAVE} {
+        waitForBgsave $r
         $r flushdb
         $r save
         $r set x 10
@@ -1229,6 +1580,161 @@ proc main {server port} {
         $r get x
     } {10}
 
+    test {Handle an empty query well} {
+        set fd [$r channel]
+        puts -nonewline $fd "\r\n"
+        flush $fd
+        $r ping
+    } {PONG}
+
+    test {Negative multi bulk command does not create problems} {
+        set fd [$r channel]
+        puts -nonewline $fd "*-10\r\n"
+        flush $fd
+        $r ping
+    } {PONG}
+
+    test {Negative multi bulk payload} {
+        set fd [$r channel]
+        puts -nonewline $fd "SET x -10\r\n"
+        flush $fd
+        gets $fd
+    } {*invalid bulk*}
+
+    test {Too big bulk payload} {
+        set fd [$r channel]
+        puts -nonewline $fd "SET x 2000000000\r\n"
+        flush $fd
+        gets $fd
+    } {*invalid bulk*count*}
+
+    test {Multi bulk request not followed by bulk args} {
+        set fd [$r channel]
+        puts -nonewline $fd "*1\r\nfoo\r\n"
+        flush $fd
+        gets $fd
+    } {*protocol error*}
+
+    test {Generic wrong number of args} {
+        catch {$r ping x y z} err
+        set _ $err
+    } {*wrong*arguments*ping*}
+
+    test {SELECT an out of range DB} {
+        catch {$r select 1000000} err
+        set _ $err
+    } {*invalid*}
+
+    if {![catch {package require sha1}]} {
+        test {Check consistency of different data types after a reload} {
+            $r flushdb
+            createComplexDataset $r 10000
+            set sha1 [datasetDigest $r]
+            $r debug reload
+            set sha1_after [datasetDigest $r]
+            expr {$sha1 eq $sha1_after}
+        } {1}
+
+        test {Same dataset digest if saving/reloading as AOF?} {
+            $r bgrewriteaof
+            waitForBgrewriteaof $r
+            $r debug loadaof
+            set sha1_after [datasetDigest $r]
+            expr {$sha1 eq $sha1_after}
+        } {1}
+    }
+
+    test {EXPIRES after a reload (snapshot + append only file)} {
+        $r flushdb
+        $r set x 10
+        $r expire x 1000
+        $r save
+        $r debug reload
+        set ttl [$r ttl x]
+        set e1 [expr {$ttl > 900 && $ttl <= 1000}]
+        $r bgrewriteaof
+        waitForBgrewriteaof $r
+        set ttl [$r ttl x]
+        set e2 [expr {$ttl > 900 && $ttl <= 1000}]
+        list $e1 $e2
+    } {1 1}
+
+    test {PIPELINING stresser (also a regression for the old epoll bug)} {
+        set fd2 [socket 127.0.0.1 6379]
+        fconfigure $fd2 -encoding binary -translation binary
+        puts -nonewline $fd2 "SELECT 9\r\n"
+        flush $fd2
+        gets $fd2
+
+        for {set i 0} {$i < 100000} {incr i} {
+            set q {}
+            set val "0000${i}0000"
+            append q "SET key:$i [string length $val]\r\n$val\r\n"
+            puts -nonewline $fd2 $q
+            set q {}
+            append q "GET key:$i\r\n"
+            puts -nonewline $fd2 $q
+        }
+        flush $fd2
+
+        for {set i 0} {$i < 100000} {incr i} {
+            gets $fd2 line
+            gets $fd2 count
+            set count [string range $count 1 end]
+            set val [read $fd2 $count]
+            read $fd2 2
+        }
+        close $fd2
+        set _ 1
+    } {1}
+
+    test {MUTLI / EXEC basics} {
+        $r del mylist
+        $r rpush mylist a
+        $r rpush mylist b
+        $r rpush mylist c
+        $r multi
+        set v1 [$r lrange mylist 0 -1]
+        set v2 [$r ping]
+        set v3 [$r exec]
+        list $v1 $v2 $v3
+    } {QUEUED QUEUED {{a b c} PONG}}
+
+    test {DISCARD} {
+        $r del mylist
+        $r rpush mylist a
+        $r rpush mylist b
+        $r rpush mylist c
+        $r multi
+        set v1 [$r del mylist]
+        set v2 [$r discard]
+        set v3 [$r lrange mylist 0 -1]
+        list $v1 $v2 $v3
+    } {QUEUED OK {a b c}}
+
+    test {APPEND basics} {
+        list [$r append foo bar] [$r get foo] \
+             [$r append foo 100] [$r get foo]
+    } {3 bar 6 bar100}
+
+    test {APPEND fuzzing} {
+        set err {}
+        foreach type {binary alpha compr} {
+            set buf {}
+            $r del x
+            for {set i 0} {$i < 1000} {incr i} {
+                set bin [randstring 0 10 $type]
+                append buf $bin
+                $r append x $bin
+            }
+            if {$buf != [$r get x]} {
+                set err "Expected '$buf' found '[$r get x]'"
+                break
+            }
+        }
+        set _ $err
+    } {}
+
     # Leave the user with a clean DB before to exit
     test {FLUSHDB} {
         set aux {}
@@ -1322,7 +1828,7 @@ for {set j 0} {$j < [llength $argv]} {incr j} {
         set ::last $arg
         incr j
     } else {
-        echo "Wrong argument: $opt"
+        puts "Wrong argument: $opt"
         exit 1
     }
 }