]> git.saurik.com Git - apple/xnu.git/blobdiff - bsd/vfs/vfs_init.c
xnu-6153.141.1.tar.gz
[apple/xnu.git] / bsd / vfs / vfs_init.c
index 2c83c4725c72073d569c52bf140c2bdedf10f4c9..d17cb02bd4ddbcaa101d4596c3131a891794283f 100644 (file)
@@ -2,7 +2,7 @@
  * Copyright (c) 2000-2010 Apple Inc. All rights reserved.
  *
  * @APPLE_OSREFERENCE_LICENSE_HEADER_START@
- * 
+ *
  * This file contains Original Code and/or Modifications of Original Code
  * as defined in and that are subject to the Apple Public Source License
  * Version 2.0 (the 'License'). You may not use this file except in
  * unlawful or unlicensed copies of an Apple operating system, or to
  * circumvent, violate, or enable the circumvention or violation of, any
  * terms of an Apple operating system software license agreement.
- * 
+ *
  * Please obtain a copy of the License at
  * http://www.opensource.apple.com/apsl/ and read it before using this file.
- * 
+ *
  * The Original Code and all software distributed under the License are
  * distributed on an 'AS IS' basis, WITHOUT WARRANTY OF ANY KIND, EITHER
  * EXPRESS OR IMPLIED, AND APPLE HEREBY DISCLAIMS ALL SUCH WARRANTIES,
@@ -22,7 +22,7 @@
  * FITNESS FOR A PARTICULAR PURPOSE, QUIET ENJOYMENT OR NON-INFRINGEMENT.
  * Please see the License for the specific language governing rights and
  * limitations under the License.
- * 
+ *
  * @APPLE_OSREFERENCE_LICENSE_HEADER_END@
  */
 /* Copyright (c) 1995 NeXT Computer, Inc. All Rights Reserved */
@@ -83,8 +83,8 @@
 #include <sys/ucred.h>
 #include <sys/errno.h>
 #include <sys/malloc.h>
+#include <sys/decmpfs.h>
 
-#include <vfs/vfs_journal.h>   /* journal_init() */
 #if CONFIG_MACF
 #include <security/mac_framework.h>
 #include <sys/kauth.h>
 #define DODEBUG(A)
 #endif
 
-__private_extern__ void vntblinit(void) __attribute__((section("__TEXT, initcode")));
+__private_extern__ void vntblinit(void);
 
-extern struct vnodeopv_desc *vfs_opv_descs[];
-                               /* a list of lists of vnodeops defns */
+extern const struct vnodeopv_desc *vfs_opv_descs[];
+/* a list of lists of vnodeops defns */
 extern struct vnodeop_desc *vfs_op_descs[];
-                               /* and the operations they perform */
+/* and the operations they perform */
 /*
  * This code doesn't work if the defn is **vnodop_defns with cc.
  * The problem is because of the compiler sometimes putting in an
@@ -116,7 +116,7 @@ extern struct vnodeop_desc *vfs_op_descs[];
  */
 int vfs_opv_numops;
 
-typedef int (*PFIvp)(void *); 
+typedef int (*PFIvp)(void *);
 
 /*
  * A miscellaneous routine.
@@ -125,8 +125,7 @@ typedef int (*PFIvp)(void *);
 int
 vn_default_error(void)
 {
-
-       return (ENOTSUP);
+       return ENOTSUP;
 }
 
 /*
@@ -149,14 +148,14 @@ void
 vfs_opv_init(void)
 {
        int i, j, k;
-       int (***opv_desc_vector_p)(void *);
-       int (**opv_desc_vector)(void *);
-       struct vnodeopv_entry_desc *opve_descp;
+       int(***opv_desc_vector_p)(void *);
+       int(**opv_desc_vector)(void *);
+       const struct vnodeopv_entry_desc *opve_descp;
 
        /*
         * Allocate the dynamic vectors and fill them in.
         */
-       for (i=0; vfs_opv_descs[i]; i++) {
+       for (i = 0; vfs_opv_descs[i]; i++) {
                opv_desc_vector_p = vfs_opv_descs[i]->opv_desc_vector_p;
                /*
                 * Allocate and init the vector, if it needs it.
@@ -164,15 +163,22 @@ vfs_opv_init(void)
                 */
                if (*opv_desc_vector_p == NULL) {
                        MALLOC(*opv_desc_vector_p, PFIvp*,
-                              vfs_opv_numops*sizeof(PFIvp), M_TEMP, M_WAITOK);
-                       bzero (*opv_desc_vector_p, vfs_opv_numops*sizeof(PFIvp));
+                           vfs_opv_numops * sizeof(PFIvp), M_TEMP, M_WAITOK);
+                       bzero(*opv_desc_vector_p, vfs_opv_numops * sizeof(PFIvp));
                        DODEBUG(printf("vector at %x allocated\n",
                            opv_desc_vector_p));
                }
                opv_desc_vector = *opv_desc_vector_p;
-               for (j=0; vfs_opv_descs[i]->opv_desc_ops[j].opve_op; j++) {
+               for (j = 0; vfs_opv_descs[i]->opv_desc_ops[j].opve_op; j++) {
                        opve_descp = &(vfs_opv_descs[i]->opv_desc_ops[j]);
 
+                       /* Silently skip known-disabled operations */
+                       if (opve_descp->opve_op->vdesc_flags & VDESC_DISABLED) {
+                               printf("vfs_fsadd: Ignoring reference in %p to disabled operation %s.\n",
+                                   vfs_opv_descs[i], opve_descp->opve_op->vdesc_name);
+                               continue;
+                       }
+
                        /*
                         * Sanity check:  is this operation listed
                         * in the list of operations?  We check this
@@ -191,18 +197,18 @@ vfs_opv_init(void)
                         * list of supported operations.
                         */
                        if (opve_descp->opve_op->vdesc_offset == 0 &&
-                                   opve_descp->opve_op->vdesc_offset !=
-                                       VOFFSET(vnop_default)) {
+                           opve_descp->opve_op !=
+                           VDESC(vnop_default)) {
                                printf("operation %s not listed in %s.\n",
                                    opve_descp->opve_op->vdesc_name,
                                    "vfs_op_descs");
-                               panic ("vfs_opv_init: bad operation");
+                               panic("vfs_opv_init: bad operation");
                        }
                        /*
                         * Fill in this entry.
                         */
                        opv_desc_vector[opve_descp->opve_op->vdesc_offset] =
-                                       opve_descp->opve_impl;
+                           opve_descp->opve_impl;
                }
        }
        /*
@@ -215,13 +221,15 @@ vfs_opv_init(void)
                /*
                 * Force every operations vector to have a default routine.
                 */
-               if (opv_desc_vector[VOFFSET(vnop_default)]==NULL) {
+               if (opv_desc_vector[VOFFSET(vnop_default)] == NULL) {
                        panic("vfs_opv_init: operation vector without default routine.");
                }
-               for (k = 0; k<vfs_opv_numops; k++)
-                       if (opv_desc_vector[k] == NULL)
-                               opv_desc_vector[k] = 
-                                       opv_desc_vector[VOFFSET(vnop_default)];
+               for (k = 0; k < vfs_opv_numops; k++) {
+                       if (opv_desc_vector[k] == NULL) {
+                               opv_desc_vector[k] =
+                                   opv_desc_vector[VOFFSET(vnop_default)];
+                       }
+               }
        }
 }
 
@@ -237,17 +245,22 @@ vfs_op_init(void)
        /*
         * Set all vnode vectors to a well known value.
         */
-       for (i = 0; vfs_opv_descs[i]; i++)
+       for (i = 0; vfs_opv_descs[i]; i++) {
                *(vfs_opv_descs[i]->opv_desc_vector_p) = NULL;
+       }
        /*
         * Figure out how many ops there are by counting the table,
         * and assign each its offset.
         */
        for (vfs_opv_numops = 0, i = 0; vfs_op_descs[i]; i++) {
+               /* Silently skip known-disabled operations */
+               if (vfs_op_descs[i]->vdesc_flags & VDESC_DISABLED) {
+                       continue;
+               }
                vfs_op_descs[i]->vdesc_offset = vfs_opv_numops;
                vfs_opv_numops++;
        }
-       DODEBUG(printf ("vfs_opv_numops=%d\n", vfs_opv_numops));
+       DODEBUG(printf("vfs_opv_numops=%d\n", vfs_opv_numops));
 }
 
 /*
@@ -268,6 +281,10 @@ lck_grp_attr_t * trigger_vnode_lck_grp_attr;
 lck_attr_t * trigger_vnode_lck_attr;
 #endif
 
+lck_grp_t * fd_vn_lck_grp;
+lck_grp_attr_t * fd_vn_lck_grp_attr;
+lck_attr_t * fd_vn_lck_attr;
+
 /* vars for vnode list lock */
 lck_grp_t * vnode_list_lck_grp;
 lck_grp_attr_t * vnode_list_lck_grp_attr;
@@ -292,12 +309,16 @@ lck_grp_attr_t * mnt_list_lck_grp_attr;
 lck_attr_t * mnt_list_lck_attr;
 lck_mtx_t * mnt_list_mtx_lock;
 
+/* vars for sync mutex */
+lck_grp_t * sync_mtx_lck_grp;
+lck_grp_attr_t * sync_mtx_lck_grp_attr;
+lck_attr_t * sync_mtx_lck_attr;
+lck_mtx_t * sync_mtx_lck;
+
 lck_mtx_t *pkg_extensions_lck;
 
 struct mount * dead_mountp;
 
-extern void nspace_handler_init(void);
-
 /*
  * Initialize the vnode structures and initialize each file system type.
  */
@@ -307,12 +328,12 @@ vfsinit(void)
        struct vfstable *vfsp;
        int i, maxtypenum;
        struct mount * mp;
-       
+
        /* Allocate vnode list lock group attribute and group */
        vnode_list_lck_grp_attr = lck_grp_attr_alloc_init();
 
-       vnode_list_lck_grp = lck_grp_alloc_init("vnode list",  vnode_list_lck_grp_attr);
-       
+       vnode_list_lck_grp = lck_grp_alloc_init("vnode list", vnode_list_lck_grp_attr);
+
        /* Allocate vnode list lock attribute */
        vnode_list_lck_attr = lck_attr_alloc_init();
 
@@ -326,9 +347,9 @@ vfsinit(void)
        pkg_extensions_lck = lck_mtx_alloc_init(vnode_list_lck_grp, vnode_list_lck_attr);
 
        /* allocate vnode lock group attribute and group */
-       vnode_lck_grp_attr= lck_grp_attr_alloc_init();
+       vnode_lck_grp_attr = lck_grp_attr_alloc_init();
 
-       vnode_lck_grp = lck_grp_alloc_init("vnode",  vnode_lck_grp_attr);
+       vnode_lck_grp = lck_grp_alloc_init("vnode", vnode_lck_grp_attr);
 
        /* Allocate vnode lock attribute */
        vnode_lck_attr = lck_attr_alloc_init();
@@ -338,22 +359,26 @@ vfsinit(void)
        trigger_vnode_lck_grp = lck_grp_alloc_init("trigger_vnode", trigger_vnode_lck_grp_attr);
        trigger_vnode_lck_attr = lck_attr_alloc_init();
 #endif
+       /* Allocate per fd vnode data lock attribute and group */
+       fd_vn_lck_grp_attr = lck_grp_attr_alloc_init();
+       fd_vn_lck_grp = lck_grp_alloc_init("fd_vnode_data", fd_vn_lck_grp_attr);
+       fd_vn_lck_attr = lck_attr_alloc_init();
 
        /* Allocate fs config lock group attribute and group */
-       fsconf_lck_grp_attr= lck_grp_attr_alloc_init();
+       fsconf_lck_grp_attr = lck_grp_attr_alloc_init();
+
+       fsconf_lck_grp = lck_grp_alloc_init("fs conf", fsconf_lck_grp_attr);
 
-       fsconf_lck_grp = lck_grp_alloc_init("fs conf",  fsconf_lck_grp_attr);
-       
        /* Allocate fs config lock attribute */
        fsconf_lck_attr = lck_attr_alloc_init();
 
        /* Allocate mount point related lock structures  */
 
        /* Allocate mount list lock group attribute and group */
-       mnt_list_lck_grp_attr= lck_grp_attr_alloc_init();
+       mnt_list_lck_grp_attr = lck_grp_attr_alloc_init();
+
+       mnt_list_lck_grp = lck_grp_alloc_init("mount list", mnt_list_lck_grp_attr);
 
-       mnt_list_lck_grp = lck_grp_alloc_init("mount list",  mnt_list_lck_grp_attr);
-       
        /* Allocate mount list lock attribute */
        mnt_list_lck_attr = lck_attr_alloc_init();
 
@@ -362,13 +387,19 @@ vfsinit(void)
 
 
        /* allocate mount lock group attribute and group */
-       mnt_lck_grp_attr= lck_grp_attr_alloc_init();
+       mnt_lck_grp_attr = lck_grp_attr_alloc_init();
 
-       mnt_lck_grp = lck_grp_alloc_init("mount",  mnt_lck_grp_attr);
+       mnt_lck_grp = lck_grp_alloc_init("mount", mnt_lck_grp_attr);
 
        /* Allocate mount lock attribute */
        mnt_lck_attr = lck_attr_alloc_init();
 
+       /* Allocate sync lock */
+       sync_mtx_lck_grp_attr =  lck_grp_attr_alloc_init();
+       sync_mtx_lck_grp =       lck_grp_alloc_init("sync thread", sync_mtx_lck_grp_attr);
+       sync_mtx_lck_attr =      lck_attr_alloc_init();
+       sync_mtx_lck =           lck_mtx_alloc_init(sync_mtx_lck_grp, sync_mtx_lck_attr);
+
        /*
         * Initialize the vnode table
         */
@@ -382,14 +413,6 @@ vfsinit(void)
         */
        nchinit();
 
-#if JOURNALING
-       /*
-        * Initialize the journaling locks
-        */
-       journal_init();
-#endif 
-       nspace_handler_init();
-
        /*
         * Build vnode operation vectors.
         */
@@ -399,15 +422,19 @@ vfsinit(void)
         * Initialize each file system type in the static list,
         * until the first NULL ->vfs_vfsops is encountered.
         */
-       numused_vfsslots = maxtypenum = 0;
+       maxtypenum = VT_NON;
        for (vfsp = vfsconf, i = 0; i < maxvfsslots; i++, vfsp++) {
                struct vfsconf vfsc;
-               if (vfsp->vfc_vfsops == (struct vfsops *)0)
+               if (vfsp->vfc_vfsops == (struct vfsops *)0) {
                        break;
-               if (i) vfsconf[i-1].vfc_next = vfsp;
-               if (maxtypenum <= vfsp->vfc_typenum)
+               }
+               if (i) {
+                       vfsconf[i - 1].vfc_next = vfsp;
+               }
+               if (maxtypenum <= vfsp->vfc_typenum) {
                        maxtypenum = vfsp->vfc_typenum + 1;
-               
+               }
+
                bzero(&vfsc, sizeof(struct vfsconf));
                vfsc.vfc_reserved1 = 0;
                bcopy(vfsp->vfc_name, vfsc.vfc_name, sizeof(vfsc.vfc_name));
@@ -417,12 +444,26 @@ vfsinit(void)
                vfsc.vfc_reserved2 = 0;
                vfsc.vfc_reserved3 = 0;
 
+               if (vfsp->vfc_vfsops->vfs_sysctl) {
+                       struct sysctl_oid *oidp = NULL;
+                       struct sysctl_oid oid = SYSCTL_STRUCT_INIT(_vfs, vfsp->vfc_typenum, , CTLTYPE_NODE | CTLFLAG_KERN | CTLFLAG_RW | CTLFLAG_LOCKED, NULL, 0, vfs_sysctl_node, "-", "");
+
+                       MALLOC(oidp, struct sysctl_oid *, sizeof(struct sysctl_oid), M_TEMP, M_WAITOK);
+                       *oidp = oid;
+
+                       /* Memory for VFS oid held by vfsentry forever */
+                       vfsp->vfc_sysctl = oidp;
+                       oidp->oid_name = vfsp->vfc_name;
+                       sysctl_register_oid(vfsp->vfc_sysctl);
+               }
+
                (*vfsp->vfc_vfsops->vfs_init)(&vfsc);
 
                numused_vfsslots++;
+               numregistered_fses++;
        }
        /* next vfc_typenum to be used */
-       maxvfsconf = maxtypenum;
+       maxvfstypenum = maxtypenum;
 
        /*
         * Initialize the vnop authorization scope.
@@ -435,12 +476,12 @@ vfsinit(void)
 #if QUOTA
        dqinit();
 #endif
-       
-       /* 
+
+       /*
         * create a mount point for dead vnodes
         */
        MALLOC_ZONE(mp, struct mount *, sizeof(struct mount),
-               M_MOUNT, M_WAITOK);
+           M_MOUNT, M_WAITOK);
        bzero((char *)mp, sizeof(struct mount));
        /* Initialize the default IO constraints */
        mp->mnt_maxreadcnt = mp->mnt_maxwritecnt = MAXPHYS;
@@ -454,7 +495,7 @@ vfsinit(void)
        mp->mnt_ioflags = 0;
        mp->mnt_realrootvp = NULLVP;
        mp->mnt_authcache_ttl = CACHED_LOOKUP_RIGHT_TTL;
-    
+
        TAILQ_INIT(&mp->mnt_vnodelist);
        TAILQ_INIT(&mp->mnt_workerqueue);
        TAILQ_INIT(&mp->mnt_newvnodes);
@@ -467,12 +508,18 @@ vfsinit(void)
        mac_mount_label_associate(vfs_context_kernel(), mp);
 #endif
        dead_mountp = mp;
+
+#if FS_COMPRESSION
+       decmpfs_init();
+#endif
+
+       nspace_resolver_init();
 }
 
 void
 vnode_list_lock(void)
 {
-       lck_spin_lock(vnode_list_spin_lock);
+       lck_spin_lock_grp(vnode_list_spin_lock, vnode_list_lck_grp);
 }
 
 void
@@ -497,6 +544,7 @@ void
 mount_lock_init(mount_t mp)
 {
        lck_mtx_init(&mp->mnt_mlock, mnt_lck_grp, mnt_lck_attr);
+       lck_mtx_init(&mp->mnt_iter_lock, mnt_lck_grp, mnt_lck_attr);
        lck_mtx_init(&mp->mnt_renamelock, mnt_lck_grp, mnt_lck_attr);
        lck_rw_init(&mp->mnt_rwlock, mnt_lck_grp, mnt_lck_attr);
 }
@@ -505,6 +553,7 @@ void
 mount_lock_destroy(mount_t mp)
 {
        lck_mtx_destroy(&mp->mnt_mlock, mnt_lck_grp);
+       lck_mtx_destroy(&mp->mnt_iter_lock, mnt_lck_grp);
        lck_mtx_destroy(&mp->mnt_renamelock, mnt_lck_grp);
        lck_rw_destroy(&mp->mnt_rwlock, mnt_lck_grp);
 }
@@ -534,6 +583,15 @@ vfstable_add(struct vfstable  *nvfsp)
 {
        int slot;
        struct vfstable *slotp, *allocated = NULL;
+       struct sysctl_oid *oidp = NULL;
+
+
+       if (nvfsp->vfc_vfsops->vfs_sysctl) {
+               struct sysctl_oid oid = SYSCTL_STRUCT_INIT(_vfs, nvfsp->vfc_typenum, , CTLTYPE_NODE | CTLFLAG_KERN | CTLFLAG_RW | CTLFLAG_LOCKED, NULL, 0, vfs_sysctl_node, "-", "");
+
+               MALLOC(oidp, struct sysctl_oid *, sizeof(struct sysctl_oid), M_TEMP, M_WAITOK);
+               *oidp = oid;
+       }
 
        /*
         * Find the next empty slot; we recognize an empty slot by a
@@ -543,19 +601,19 @@ vfstable_add(struct vfstable  *nvfsp)
 findslot:
        mount_list_lock();
        for (slot = 0; slot < maxvfsslots; slot++) {
-               if (vfsconf[slot].vfc_vfsops == NULL)
+               if (vfsconf[slot].vfc_vfsops == NULL) {
                        break;
+               }
        }
        if (slot == maxvfsslots) {
                if (allocated == NULL) {
                        mount_list_unlock();
                        /* out of static slots; allocate one instead */
                        MALLOC(allocated, struct vfstable *, sizeof(struct vfstable),
-                                       M_TEMP, M_WAITOK);
+                           M_TEMP, M_WAITOK);
                        goto findslot;
                } else {
                        slotp = allocated;
-                       allocated = NULL;
                }
        } else {
                slotp = &vfsconf[slot];
@@ -575,15 +633,28 @@ findslot:
        } else {
                slotp->vfc_next = NULL;
        }
-       numused_vfsslots++;
+
+       if (slotp != allocated) {
+               /* used a statically allocated slot */
+               numused_vfsslots++;
+       }
+       numregistered_fses++;
+
+       if (oidp) {
+               /* Memory freed in vfstable_del after unregistration */
+               slotp->vfc_sysctl = oidp;
+               oidp->oid_name = slotp->vfc_name;
+               sysctl_register_oid(slotp->vfc_sysctl);
+       }
 
        mount_list_unlock();
 
-       if (allocated != NULL) {
+       if (allocated && allocated != slotp) {
+               /* did allocation, but ended up using static slot */
                FREE(allocated, M_TEMP);
        }
 
-       return(slotp);
+       return slotp;
 }
 
 /*
@@ -614,13 +685,21 @@ vfstable_del(struct vfstable  * vtbl)
         * will contain the address of the pointer to the entry to
         * be removed.
         */
-       for( vcpp = &vfsconf; *vcpp; vcpp = &(*vcpp)->vfc_next) {
-               if (*vcpp == vtbl)
-            break;
-        }
+       for (vcpp = &vfsconf; *vcpp; vcpp = &(*vcpp)->vfc_next) {
+               if (*vcpp == vtbl) {
+                       break;
+               }
+       }
 
-       if (*vcpp == NULL)
-          return(ESRCH);       /* vtbl not on vfsconf list */
+       if (*vcpp == NULL) {
+               return ESRCH; /* vtbl not on vfsconf list */
+       }
+       if ((*vcpp)->vfc_sysctl) {
+               sysctl_unregister_oid((*vcpp)->vfc_sysctl);
+               (*vcpp)->vfc_sysctl->oid_name = NULL;
+               FREE((*vcpp)->vfc_sysctl, M_TEMP);
+               (*vcpp)->vfc_sysctl = NULL;
+       }
 
        /* Unlink entry */
        vcdelp = *vcpp;
@@ -631,17 +710,19 @@ vfstable_del(struct vfstable  * vtbl)
         * seeing if the pointer to the object to be deleted places
         * the object in the address space containing the table (or not).
         */
-       if (vcdelp >= vfsconf && vcdelp < (vfsconf + maxvfsslots)) {    /* Y */
+       if (vcdelp >= vfsconf && vcdelp < (vfsconf + maxvfsslots)) {    /* Y */
                /* Mark as empty for vfscon_add() */
                bzero(vcdelp, sizeof(struct vfstable));
+               numregistered_fses--;
                numused_vfsslots--;
-       } else {                                                        /* N */
+       } else {                                                        /* N */
                /*
                 * This entry was dynamically allocated; we must free it;
                 * we would prefer to have just linked the caller's
                 * vfsconf onto our list, but it may not be persistent
                 * because of the previous (copying) implementation.
                 */
+               numregistered_fses--;
                mount_list_unlock();
                FREE(vcdelp, M_TEMP);
                mount_list_lock();
@@ -651,7 +732,7 @@ vfstable_del(struct vfstable  * vtbl)
        lck_mtx_assert(mnt_list_mtx_lock, LCK_MTX_ASSERT_OWNED);
 #endif /* DEBUG */
 
-       return(0);
+       return 0;
 }
 
 void
@@ -665,4 +746,3 @@ SPECHASH_UNLOCK(void)
 {
        lck_mtx_unlock(spechash_mtx_lock);
 }
-