]> git.saurik.com Git - apple/xnu.git/blobdiff - bsd/kern/kern_malloc.c
xnu-3248.50.21.tar.gz
[apple/xnu.git] / bsd / kern / kern_malloc.c
index ff86bfff64b20062ca3ec07ab8592cc67b96ae11..d1adaabece24eb1e8deca7afd26a1a4c0f0d56b3 100644 (file)
@@ -1,5 +1,5 @@
 /*
- * Copyright (c) 2000-2006 Apple Computer, Inc. All rights reserved.
+ * Copyright (c) 2000-2013 Apple Inc. All rights reserved.
  *
  * @APPLE_OSREFERENCE_LICENSE_HEADER_START@
  * 
 #include <sys/socketvar.h>
 
 #include <net/route.h>
+#include <net/necp.h>
 
 #include <netinet/in.h>
 #include <netinet/in_systm.h>
 #include <netinet/ip.h>
 #include <netinet/in_pcb.h>
+#include <netinet/flow_divert.h>
 
 #include <sys/event.h>
 #include <sys/eventvar.h>
 #include <kern/zalloc.h>
 #include <kern/kalloc.h>
 
-void kmeminit(void) __attribute__((section("__TEXT, initcode")));
+void kmeminit(void);
 
 /* Strings corresponding to types of memory.
  * Must be in synch with the #defines is sys/malloc.h 
@@ -162,7 +164,7 @@ const char *memname[] = {
 #else
        "",                             /* 27 M_DQUOT */ 
 #endif
-       "",                             /* 28 M_UFSMNT */ 
+       "proc uuid policy",             /* 28 M_PROC_UUID_POLICY */ 
 #if (SYSV_SEM || SYSV_MSG || SYSV_SHM)
        "shm",                  /* 29 M_SHM */ 
 #else
@@ -234,8 +236,8 @@ const char *memname[] = {
        "",                             /* 76 M_HFSNODE */ 
        "",                             /* 77 M_HFSFORK */ 
 #endif
-       "ZFS mount",    /* 78 M_ZFSFSMNT */ 
-       "ZFS node",     /* 79 M_ZFSNODE */ 
+       "",     /* 78 unused */
+       "",     /* 79 unused */ 
        "temp",                 /* 80 M_TEMP */ 
        "key mgmt",             /* 81 M_SECA */ 
        "DEVFS",                /* 82 M_DEVFS */ 
@@ -273,16 +275,12 @@ const char *memname[] = {
        "fileglob",             /* 99 M_FILEGLOB */ 
        "kauth",                /* 100 M_KAUTH */ 
        "dummynet",             /* 101 M_DUMMYNET */ 
-#ifndef __LP64__
-       "unsafe_fsnode",        /* 102 M_UNSAFEFS */ 
-#else
        "",                     /* 102 M_UNSAFEFS */ 
-#endif /* __LP64__ */
        "macpipelabel", /* 103 M_MACPIPELABEL */
        "mactemp",      /* 104 M_MACTEMP */
        "sbuf",         /* 105 M_SBUF */
        "extattr",      /* 106 M_EXTATTR */
-       "lctx",         /* 107 M_LCTX */
+       "select",       /* 107 M_SELECT */
 #if TRAFFIC_MGT
        "traffic_mgt",   /* 108 M_TRAFFIC_MGT */
 #else
@@ -293,9 +291,38 @@ const char *memname[] = {
 #else
        "",             /* 109 M_DECMPFS_CNODE */
 #endif /* HFS_COMPRESSION */
+       "ipmfilter",    /* 110 M_INMFILTER */
+       "ipmsource",    /* 111 M_IPMSOURCE */
+       "in6mfilter",   /* 112 M_IN6MFILTER */
+       "ip6mopts",     /* 113 M_IP6MOPTS */
+       "ip6msource",   /* 114 M_IP6MSOURCE */
+#if FLOW_DIVERT
+       "flow_divert_pcb",      /* 115 M_FLOW_DIVERT_PCB */
+       "flow_divert_group",    /* 116 M_FLOW_DIVERT_GROUP */
+#else
+       "",                                     /* 115 M_FLOW_DIVERT_PCB */
+       "",                                     /* 116 M_FLOW_DIVERT_GROUP */
+#endif
+       "ip6cga",       /* 117 M_IP6CGA */
+#if NECP
+       "necp",                                 /* 118 M_NECP */
+       "necp_session_policy",  /* 119 M_NECP_SESSION_POLICY */
+       "necp_socket_policy",   /* 120 M_NECP_SOCKET_POLICY */
+       "necp_ip_policy",               /* 121 M_NECP_IP_POLICY */
+#else
+       "",                                             /* 118 M_NECP */
+       "",                                             /* 119 M_NECP_SESSION_POLICY */
+       "",                                             /* 120 M_NECP_SOCKET_POLICY */
+       "",                                             /* 121 M_NECP_IP_POLICY */
+#endif
+       "fdvnodedata"   /* 122 M_FD_VN_DATA */
+       "fddirbuf",     /* 123 M_FD_DIRBUF */
+       "netagent",     /* 124 M_NETAGENT */
+       ""
 };
 
 /* for use with kmzones.kz_zalloczone */
+#define KMZ_CREATEZONE_ACCT    ((void *)-3)
 #define        KMZ_CREATEZONE          ((void *)-2)
 #define KMZ_LOOKUPZONE         ((void *)-1)
 #define KMZ_MALLOC                     ((void *)0)
@@ -332,7 +359,7 @@ struct kmzones {
        { 0,            KMZ_MALLOC, FALSE },            /* 21 M_FHANDLE */
 #if (NFSCLIENT || NFSSERVER)
        { SOS(nfsreq),  KMZ_CREATEZONE, FALSE },        /* 22 M_NFSREQ */
-       { SOS(nfsmount),        KMZ_CREATEZONE, FALSE },/* 23 M_NFSMNT */
+       { SOS(nfsmount),KMZ_CREATEZONE, FALSE },        /* 23 M_NFSMNT */
        { SOS(nfsnode), KMZ_CREATEZONE, FALSE },        /* 24 M_NFSNODE */
 #else
        { 0,            KMZ_MALLOC, FALSE },            /* 22 M_NFSREQ */
@@ -340,25 +367,25 @@ struct kmzones {
        { 0,            KMZ_MALLOC, FALSE },            /* 24 M_NFSNODE */
 #endif
        { SOS(vnode),   KMZ_CREATEZONE, TRUE },         /* 25 M_VNODE */
-       { SOS(namecache),KMZ_CREATEZONE, FALSE },       /* 26 M_CACHE */
+       { SOS(namecache), KMZ_CREATEZONE, FALSE },      /* 26 M_CACHE */
 #if QUOTA
        { SOX(dquot),   KMZ_LOOKUPZONE, FALSE },        /* 27 M_DQUOT */
 #else
        { 0,            KMZ_MALLOC, FALSE },            /* 27 M_DQUOT */
 #endif
-       { 0,            KMZ_MALLOC, FALSE },            /* 28 M_UFSMNT */
-       { 0,            KMZ_MALLOC, FALSE },            /* 29 M_CGSUM */
+       { 0,            KMZ_MALLOC, FALSE },            /* 28 M_PROC_UUID_POLICY */
+       { 0,            KMZ_MALLOC, FALSE },            /* 29 M_SHM */
        { SOS(plimit),  KMZ_CREATEZONE, TRUE },         /* 30 M_PLIMIT */
-       { SOS(sigacts), KMZ_CREATEZONE, TRUE },         /* 31 M_SIGACTS */
+       { SOS(sigacts), KMZ_CREATEZONE_ACCT, TRUE },    /* 31 M_SIGACTS */
        { 0,            KMZ_MALLOC, FALSE },            /* 32 M_VMOBJ */
        { 0,            KMZ_MALLOC, FALSE },            /* 33 M_VMOBJHASH */
        { 0,            KMZ_MALLOC, FALSE },            /* 34 M_VMPMAP */
        { 0,            KMZ_MALLOC, FALSE },            /* 35 M_VMPVENT */
        { 0,            KMZ_MALLOC, FALSE },            /* 36 M_VMPAGER */
        { 0,            KMZ_MALLOC, FALSE },            /* 37 M_VMPGDATA */
-       { SOS(fileproc),KMZ_CREATEZONE, TRUE },         /* 38 M_FILEPROC */
-       { SOS(filedesc),KMZ_CREATEZONE, TRUE },         /* 39 M_FILEDESC */
-       { SOX(lockf),   KMZ_CREATEZONE, TRUE },         /* 40 M_LOCKF */
+       { SOS(fileproc),KMZ_CREATEZONE_ACCT, TRUE },    /* 38 M_FILEPROC */
+       { SOS(filedesc),KMZ_CREATEZONE_ACCT, TRUE },    /* 39 M_FILEDESC */
+       { SOX(lockf),   KMZ_CREATEZONE_ACCT, TRUE },    /* 40 M_LOCKF */
        { SOS(proc),    KMZ_CREATEZONE, FALSE },        /* 41 M_PROC */
        { SOS(pstats),  KMZ_CREATEZONE, TRUE },         /* 42 M_PSTATS */
        { 0,            KMZ_MALLOC, FALSE },            /* 43 M_SEGMENT */
@@ -370,10 +397,10 @@ struct kmzones {
        { 0,            KMZ_MALLOC, FALSE },            /* 49 M_NETADDR */
 #if (NFSCLIENT || NFSSERVER)
        { SOX(nfsrv_sock),
-                       KMZ_CREATEZONE, FALSE },        /* 50 M_NFSSVC */
+                       KMZ_CREATEZONE_ACCT, FALSE },   /* 50 M_NFSSVC */
        { 0,            KMZ_MALLOC, FALSE },            /* 51 M_NFSUID */
        { SOX(nfsrvcache),
-                       KMZ_CREATEZONE, FALSE },        /* 52 M_NFSD */
+                       KMZ_CREATEZONE_ACCT, FALSE },   /* 52 M_NFSD */
 #else
        { 0,            KMZ_MALLOC, FALSE },            /* 50 M_NFSSVC */
        { 0,            KMZ_MALLOC, FALSE },            /* 51 M_NFSUID */
@@ -389,7 +416,7 @@ struct kmzones {
        { 0,            KMZ_MALLOC, FALSE },            /* 58 unused entry */
 #if (NFSCLIENT || NFSSERVER)
        { SOS(nfsrv_descript),
-                       KMZ_CREATEZONE, FALSE },        /* 59 M_NFSRVDESC */
+                       KMZ_CREATEZONE_ACCT, FALSE },   /* 59 M_NFSRVDESC */
        { SOS(nfsdmap), KMZ_CREATEZONE, FALSE },        /* 60 M_NFSDIROFF */
        { SOS(fhandle), KMZ_LOOKUPZONE, FALSE },        /* 61 M_NFSBIGFH */
 #else
@@ -407,9 +434,9 @@ struct kmzones {
        { 0,            KMZ_MALLOC, FALSE },            /* 69 M_ADOSFSMNT */
        { 0,            KMZ_MALLOC, FALSE },            /* 70 M_ADOSFSNODE */
        { 0,            KMZ_MALLOC, FALSE },            /* 71 M_ANODE */
-       { SOX(buf),     KMZ_CREATEZONE, TRUE },         /* 72 M_BUFHDR */
+       { 0,            KMZ_MALLOC, TRUE },             /* 72 M_BUFHDR */
        { (NDFILE * OFILESIZE),
-                       KMZ_CREATEZONE, FALSE },        /* 73 M_OFILETABL */
+                       KMZ_CREATEZONE_ACCT, FALSE },   /* 73 M_OFILETABL */
        { MCLBYTES,     KMZ_CREATEZONE, FALSE },        /* 74 M_MCLUST */
 #if HFS
        { SOX(hfsmount),KMZ_LOOKUPZONE, FALSE },        /* 75 M_HFSMNT */
@@ -420,8 +447,8 @@ struct kmzones {
        { 0,            KMZ_MALLOC, FALSE },            /* 76 M_HFSNODE */
        { 0,            KMZ_MALLOC, FALSE },            /* 77 M_HFSFORK */
 #endif
-       { 0,            KMZ_MALLOC, FALSE },            /* 78 M_ZFSMNT */
-       { 0,            KMZ_MALLOC, FALSE },            /* 79 M_ZFSNODE */
+       { 0,            KMZ_MALLOC, FALSE },            /* 78 unused */
+       { 0,            KMZ_MALLOC, FALSE },            /* 79 unused */
        { 0,            KMZ_MALLOC, FALSE },            /* 80 M_TEMP */
        { 0,            KMZ_MALLOC, FALSE },            /* 81 M_SECA */
        { 0,            KMZ_MALLOC, FALSE },            /* 82 M_DEVFS */
@@ -437,15 +464,15 @@ struct kmzones {
        { SOS(journal), KMZ_CREATEZONE, FALSE },        /* 91 M_JNL_JNL */
        { SOS(transaction), KMZ_CREATEZONE, FALSE },    /* 92 M_JNL_TR */
 #else
-       { 0,     KMZ_MALLOC, FALSE },                   /* 91 M_JNL_JNL */
-       { 0,     KMZ_MALLOC, FALSE },                   /* 92 M_JNL_TR */
+       { 0,            KMZ_MALLOC, FALSE },            /* 91 M_JNL_JNL */
+       { 0,            KMZ_MALLOC, FALSE },            /* 92 M_JNL_TR */
 #endif
-       { SOS(specinfo), KMZ_CREATEZONE, TRUE },        /* 93 M_SPECINFO */
-       { SOS(kqueue), KMZ_CREATEZONE, FALSE },         /* 94 M_KQUEUE */
+       { SOS(specinfo),KMZ_CREATEZONE, TRUE },         /* 93 M_SPECINFO */
+       { SOS(kqueue),  KMZ_CREATEZONE, FALSE },        /* 94 M_KQUEUE */
 #if HFS
-       { SOS(directoryhint), KMZ_CREATEZONE, FALSE },  /* 95 M_HFSDIRHINT */
+       { SOS(directoryhint), KMZ_CREATEZONE, TRUE },   /* 95 M_HFSDIRHINT */
 #else
-       { 0,    KMZ_MALLOC, FALSE },                    /* 95 M_HFSDIRHINT */
+       { 0,            KMZ_MALLOC, FALSE },            /* 95 M_HFSDIRHINT */
 #endif
        { SOS(cl_readahead),  KMZ_CREATEZONE, TRUE },   /* 96 M_CLRDAHEAD */
        { SOS(cl_writebehind),KMZ_CREATEZONE, TRUE },   /* 97 M_CLWRBEHIND */
@@ -453,22 +480,44 @@ struct kmzones {
        { SOS(fileglob),        KMZ_CREATEZONE, TRUE }, /* 99 M_FILEGLOB */
        { 0,            KMZ_MALLOC, FALSE },            /* 100 M_KAUTH */
        { 0,            KMZ_MALLOC, FALSE },            /* 101 M_DUMMYNET */
-#ifndef __LP64__
-       { SOS(unsafe_fsnode),KMZ_CREATEZONE, FALSE },   /* 102 M_UNSAFEFS */
-#else 
        { 0,            KMZ_MALLOC, FALSE },            /* 102 M_UNSAFEFS */
-#endif /* __LP64__ */
        { 0,            KMZ_MALLOC, FALSE },            /* 103 M_MACPIPELABEL */
        { 0,            KMZ_MALLOC, FALSE },            /* 104 M_MACTEMP */
        { 0,            KMZ_MALLOC, FALSE },            /* 105 M_SBUF */
        { 0,            KMZ_MALLOC, FALSE },            /* 106 M_HFS_EXTATTR */
-       { 0,            KMZ_MALLOC, FALSE },            /* 107 M_LCTX */
+       { 0,            KMZ_MALLOC, FALSE },            /* 107 M_SELECT */
        { 0,            KMZ_MALLOC, FALSE },            /* 108 M_TRAFFIC_MGT */
 #if HFS_COMPRESSION
-       { SOS(decmpfs_cnode),KMZ_CREATEZONE, FALSE },   /* 109 M_DECMPFS_CNODE */
+       { SOS(decmpfs_cnode),KMZ_CREATEZONE , FALSE},   /* 109 M_DECMPFS_CNODE */
 #else
        { 0,            KMZ_MALLOC, FALSE },            /* 109 M_DECMPFS_CNODE */
 #endif /* HFS_COMPRESSION */
+       { 0,            KMZ_MALLOC, FALSE },            /* 110 M_INMFILTER */
+       { 0,            KMZ_MALLOC, FALSE },            /* 111 M_IPMSOURCE */
+       { 0,            KMZ_MALLOC, FALSE },            /* 112 M_IN6MFILTER */
+       { 0,            KMZ_MALLOC, FALSE },            /* 113 M_IP6MOPTS */
+       { 0,            KMZ_MALLOC, FALSE },            /* 114 M_IP6MSOURCE */
+#if FLOW_DIVERT
+       { SOS(flow_divert_pcb),         KMZ_CREATEZONE, TRUE }, /* 115 M_FLOW_DIVERT_PCB */
+       { SOS(flow_divert_group),       KMZ_CREATEZONE, TRUE }, /* 116 M_FLOW_DIVERT_GROUP */
+#else
+       { 0,            KMZ_MALLOC, FALSE },            /* 115 M_FLOW_DIVERT_PCB */
+       { 0,            KMZ_MALLOC, FALSE },            /* 116 M_FLOW_DIVERT_GROUP */
+#endif /* FLOW_DIVERT */
+       { 0,            KMZ_MALLOC, FALSE },            /* 117 M_IP6CGA */
+       { 0,            KMZ_MALLOC, FALSE },            /* 118 M_NECP */
+#if NECP
+       { SOS(necp_session_policy),     KMZ_CREATEZONE, TRUE }, /* 119 M_NECP_SESSION_POLICY */
+       { SOS(necp_kernel_socket_policy),       KMZ_CREATEZONE, TRUE }, /* 120 M_NECP_SOCKET_POLICY */
+       { SOS(necp_kernel_ip_output_policy),    KMZ_CREATEZONE, TRUE }, /* 121 M_NECP_IP_POLICY */
+#else
+       { 0,            KMZ_MALLOC, FALSE },            /* 119 M_NECP_SESSION_POLICY */
+       { 0,            KMZ_MALLOC, FALSE },            /* 120 M_NECP_SOCKET_POLICY */
+       { 0,            KMZ_MALLOC, FALSE },            /* 121 M_NECP_IP_POLICY */
+#endif /* NECP */
+       { 0,            KMZ_MALLOC, FALSE },            /* 122 M_FD_VN_DATA */
+       { 0,            KMZ_MALLOC, FALSE },            /* 123 M_FD_DIRBUF */
+       { 0,            KMZ_MALLOC, FALSE },            /* 124 M_NETAGENT */
 #undef SOS
 #undef SOX
 };
@@ -495,10 +544,14 @@ kmeminit(void)
                        ;
                else
 /* XXX */
-               if (kmz->kz_zalloczone == KMZ_CREATEZONE) {
+               if (kmz->kz_zalloczone == KMZ_CREATEZONE ||
+                   kmz->kz_zalloczone == KMZ_CREATEZONE_ACCT) {
                        kmz->kz_zalloczone = zinit(kmz->kz_elemsize,
                                                1024 * 1024, PAGE_SIZE,
                                                memname[kmz - kmzones]);
+                       zone_change(kmz->kz_zalloczone, Z_CALLERACCT,
+                                   (kmz->kz_zalloczone == KMZ_CREATEZONE_ACCT));
+
                        if (kmz->kz_noencrypt == TRUE)
                                zone_change(kmz->kz_zalloczone, Z_NOENCRYPT, TRUE);
                }
@@ -526,25 +579,36 @@ kmeminit(void)
        }
 }
 
-#define        MDECL(reqlen)                                   \
-union {                                                        \
-       struct  _mhead hdr;                             \
-       char    _m[(reqlen) + sizeof (struct _mhead)];  \
-}
-
 struct _mhead {
        size_t  mlen;
        char    dat[0];
 };
 
+
 void *
-_MALLOC(
+_MALLOC_external(
+       size_t          size,
+       int             type,
+       int             flags);
+void *
+_MALLOC_external(
        size_t          size,
        int             type,
        int             flags)
 {
-       MDECL(size)     *mem;
-       size_t          memsize = sizeof (*mem);
+    static vm_allocation_site_t site = { VM_KERN_MEMORY_KALLOC, VM_TAG_BT };
+    return (__MALLOC(size, type, flags, &site));
+}
+
+void *
+__MALLOC(
+       size_t          size,
+       int             type,
+       int             flags,
+       vm_allocation_site_t *site)
+{
+       struct _mhead   *hdr = NULL;
+       size_t          memsize = sizeof (*hdr) + size;
 
        if (type >= M_LAST)
                panic("_malloc TYPE");
@@ -553,11 +617,23 @@ _MALLOC(
                return (NULL);
 
        if (flags & M_NOWAIT) {
-               mem = (void *)kalloc_noblock(memsize);
+               if (size > memsize)   /* overflow detected */
+                       return (NULL);
+               else
+                       hdr = (void *)kalloc_canblock(memsize, FALSE, site); 
        } else {
-               mem = (void *)kalloc(memsize);
-
-               if (mem == NULL) {
+               if (size > memsize) {
+                       /*
+                        * We get here when the caller told us to block, waiting for memory but an overflow
+                        * has been detected.  The caller isn't expecting a NULL return code so we panic
+                        * with a descriptive message.
+                        */
+                       panic("_MALLOC: overflow detected, size %llu ", (uint64_t) size);
+               }
+               else
+                       hdr = (void *)kalloc_canblock(memsize, TRUE, site);
+
+              if (hdr == NULL) {
 
                        /*
                         * We get here when the caller told us to block waiting for memory, but
@@ -572,15 +648,15 @@ _MALLOC(
                        panic("_MALLOC: kalloc returned NULL (potential leak), size %llu", (uint64_t) size);
                }
        }
-       if (!mem)
+       if (!hdr)
                return (0);
 
-       mem->hdr.mlen = memsize;
+       hdr->mlen = memsize;
 
        if (flags & M_ZERO)
-               bzero(mem->hdr.dat, size);
+               bzero(hdr->dat, size);
 
-       return  (mem->hdr.dat);
+       return  (hdr->dat);
 }
 
 void
@@ -601,10 +677,56 @@ _FREE(
 }
 
 void *
-_MALLOC_ZONE(
+__REALLOC(
+       void            *addr,
+       size_t          size,
+       int             type,
+       int             flags,
+       vm_allocation_site_t *site)
+{
+       struct _mhead   *hdr;
+       void            *newaddr;
+       size_t          alloc;
+
+       /* realloc(NULL, ...) is equivalent to malloc(...) */
+       if (addr == NULL)
+               return (__MALLOC(size, type, flags, site));
+
+       /* Allocate a new, bigger (or smaller) block */
+       if ((newaddr = __MALLOC(size, type, flags, site)) == NULL)
+               return (NULL);
+
+       hdr = addr;
+       --hdr;
+       alloc = hdr->mlen - sizeof (*hdr);
+
+       /* Copy over original contents */
+       bcopy(addr, newaddr, MIN(size, alloc));
+       _FREE(addr, type);
+
+       return (newaddr);
+}
+
+void *
+_MALLOC_ZONE_external(
+       size_t          size,
+       int             type,
+       int             flags);
+void *
+_MALLOC_ZONE_external(
        size_t          size,
        int             type,
        int             flags)
+{
+    return (__MALLOC_ZONE(size, type, flags, NULL));
+}
+
+void *
+__MALLOC_ZONE(
+       size_t          size,
+       int             type,
+       int             flags,
+       vm_allocation_site_t *site)
 {
        struct kmzones  *kmz;
        void            *elem;
@@ -628,9 +750,9 @@ _MALLOC_ZONE(
                }
        else
                if (flags & M_NOWAIT) {
-                       elem = (void *)kalloc_noblock(size);
+                       elem = (void *)kalloc_canblock(size, FALSE, site);
                } else {
-                       elem = (void *)kalloc(size);
+                       elem = (void *)kalloc_canblock(size, TRUE, site);
                }
 
        return (elem);
@@ -660,3 +782,116 @@ _FREE_ZONE(
        else
                kfree(elem, size);
 }
+
+#if CONFIG_ZLEAKS
+
+SYSCTL_DECL(_kern_zleak);
+SYSCTL_NODE(_kern, OID_AUTO, zleak, CTLFLAG_RW | CTLFLAG_LOCKED, 0, "zleak");
+
+/*
+ * kern.zleak.active
+ *
+ * Show the status of the zleak subsystem (0 = enabled, 1 = active,
+ * and -1 = failed), and if enabled, allow it to be activated immediately.
+ */
+static int
+sysctl_zleak_active SYSCTL_HANDLER_ARGS
+{
+#pragma unused(arg1, arg2)
+       int oldval, val, error;
+
+       val = oldval = get_zleak_state();
+       error = sysctl_handle_int(oidp, &val, 0, req);
+       if (error || !req->newptr)
+               return (error);
+       /*
+        * Can only be activated if it's off (and not failed.)
+        * Cannot be deactivated once it's on.
+        */
+       if (val == 1 && oldval == 0) {
+               kern_return_t kr = zleak_activate();
+
+               if (KERN_SUCCESS != kr)
+                       printf("zleak_active: failed to activate "
+                           "live zone leak debugging (%d).\n", kr);
+       } if (val == 0 && oldval == 1) {
+               printf("zleak_active: active, cannot be disabled.\n");
+               return (EINVAL);
+       }
+       return (0);
+}
+
+SYSCTL_PROC(_kern_zleak, OID_AUTO, active,
+    CTLTYPE_INT | CTLFLAG_RW | CTLFLAG_LOCKED,
+    0, 0, sysctl_zleak_active, "I", "zleak activity");
+
+/*
+ * kern.zleak.max_zonemap_size
+ *
+ * Read the value of the maximum zonemap size in bytes; useful
+ * as the maximum size that zleak.global_threshold and
+ * zleak.zone_threshold should be set to.
+ */
+static int
+sysctl_zleak_max_zonemap_size SYSCTL_HANDLER_ARGS
+{
+       uint64_t zmap_max_size = *(vm_size_t *)arg1;
+
+       return sysctl_handle_quad(oidp, &zmap_max_size, arg2, req);
+}
+
+SYSCTL_PROC(_kern_zleak, OID_AUTO, max_zonemap_size,
+    CTLTYPE_QUAD | CTLFLAG_RD | CTLFLAG_LOCKED,
+    &zleak_max_zonemap_size, 0,
+    sysctl_zleak_max_zonemap_size, "Q", "zleak max zonemap size");
+
+
+static int
+sysctl_zleak_threshold SYSCTL_HANDLER_ARGS
+{
+#pragma unused(oidp, arg2)
+       int error;
+       uint64_t value = *(vm_size_t *)arg1;
+
+       error = sysctl_io_number(req, value, sizeof (value), &value, NULL);
+
+       if (error || !req->newptr)
+               return (error);
+
+       if (value > (uint64_t)zleak_max_zonemap_size)
+               return (ERANGE);
+
+       *(vm_size_t *)arg1 = value;
+       return (0);
+}
+
+/*
+ * kern.zleak.global_threshold
+ *
+ * Set the global zleak threshold size (in bytes).  If the zone map
+ * grows larger than this value, zleaks are automatically activated.
+ *
+ * The default value is set in zleak_init().
+ */
+SYSCTL_PROC(_kern_zleak, OID_AUTO, global_threshold,
+    CTLTYPE_QUAD | CTLFLAG_RW | CTLFLAG_LOCKED,
+    &zleak_global_tracking_threshold, 0,
+    sysctl_zleak_threshold, "Q", "zleak global threshold");
+
+/*
+ * kern.zleak.zone_threshold
+ *
+ * Set the per-zone threshold size (in bytes) above which any
+ * zone will automatically start zleak tracking.
+ *
+ * The default value is set in zleak_init().
+ *
+ * Setting this variable will have no effect until zleak tracking is
+ * activated (See above.)
+ */
+SYSCTL_PROC(_kern_zleak, OID_AUTO, zone_threshold,
+    CTLTYPE_QUAD | CTLFLAG_RW | CTLFLAG_LOCKED,
+    &zleak_per_zone_tracking_threshold, 0,
+    sysctl_zleak_threshold, "Q", "zleak per-zone threshold");
+
+#endif /* CONFIG_ZLEAKS */