]> git.saurik.com Git - apt.git/blobdiff - apt-pkg/pkgcachegen.cc
* add --dsc-only option, thanks to K. Richard Pixley
[apt.git] / apt-pkg / pkgcachegen.cc
index a245f9fdff1e191dd030d714058d02a9a02cd151..de854bee53ea9b4b5ef3eba100c57b61484aba26 100644 (file)
@@ -1,6 +1,6 @@
 // -*- mode: cpp; mode: fold -*-
 // Description                                                         /*{{{*/
 // -*- mode: cpp; mode: fold -*-
 // Description                                                         /*{{{*/
-// $Id: pkgcachegen.cc,v 1.47 2001/03/04 00:12:41 jgg Exp $
+// $Id: pkgcachegen.cc,v 1.53.2.1 2003/12/24 23:09:17 mdz Exp $
 /* ######################################################################
    
    Package Cache Generator - Generator for the cache structure.
 /* ######################################################################
    
    Package Cache Generator - Generator for the cache structure.
 #include <apt-pkg/pkgsystem.h>
 
 #include <apti18n.h>
 #include <apt-pkg/pkgsystem.h>
 
 #include <apti18n.h>
-    
+
+#include <vector>
+
 #include <sys/stat.h>
 #include <unistd.h>
 #include <errno.h>
 #include <stdio.h>
 #include <system.h>
                                                                        /*}}}*/
 #include <sys/stat.h>
 #include <unistd.h>
 #include <errno.h>
 #include <stdio.h>
 #include <system.h>
                                                                        /*}}}*/
+typedef vector<pkgIndexFile *>::iterator FileIterator;
 
 // CacheGenerator::pkgCacheGenerator - Constructor                     /*{{{*/
 // ---------------------------------------------------------------------
 /* We set the diry flag and make sure that is written to the disk */
 pkgCacheGenerator::pkgCacheGenerator(DynamicMMap *pMap,OpProgress *Prog) :
 
 // CacheGenerator::pkgCacheGenerator - Constructor                     /*{{{*/
 // ---------------------------------------------------------------------
 /* We set the diry flag and make sure that is written to the disk */
 pkgCacheGenerator::pkgCacheGenerator(DynamicMMap *pMap,OpProgress *Prog) :
-                    Map(*pMap), Cache(pMap,false), Progress(Prog)
+                   Map(*pMap), Cache(pMap,false), Progress(Prog),
+                   FoundFileDeps(0)
 {
    CurrentFile = 0;
    memset(UniqHash,0,sizeof(UniqHash));
 {
    CurrentFile = 0;
    memset(UniqHash,0,sizeof(UniqHash));
@@ -110,7 +114,7 @@ bool pkgCacheGenerator::MergeList(ListParser &List,
       
       pkgCache::PkgIterator Pkg;
       if (NewPackage(Pkg,PackageName) == false)
       
       pkgCache::PkgIterator Pkg;
       if (NewPackage(Pkg,PackageName) == false)
-        return _error->Error(_("Error occured while processing %s (NewPackage)"),PackageName.c_str());
+        return _error->Error(_("Error occurred while processing %s (NewPackage)"),PackageName.c_str());
       Counter++;
       if (Counter % 100 == 0 && Progress != 0)
         Progress->Progress(List.Offset());
       Counter++;
       if (Counter % 100 == 0 && Progress != 0)
         Progress->Progress(List.Offset());
@@ -122,7 +126,8 @@ bool pkgCacheGenerator::MergeList(ListParser &List,
       if (Version.empty() == true)
       {
         if (List.UsePackage(Pkg,pkgCache::VerIterator(Cache)) == false)
       if (Version.empty() == true)
       {
         if (List.UsePackage(Pkg,pkgCache::VerIterator(Cache)) == false)
-           return _error->Error(_("Error occured while processing %s (UsePackage1)"),PackageName.c_str());
+           return _error->Error(_("Error occurred while processing %s (UsePackage1)"),
+                                PackageName.c_str());
         continue;
       }
 
         continue;
       }
 
@@ -131,8 +136,7 @@ bool pkgCacheGenerator::MergeList(ListParser &List,
       int Res = 1;
       for (; Ver.end() == false; Last = &Ver->NextVer, Ver++)
       {
       int Res = 1;
       for (; Ver.end() == false; Last = &Ver->NextVer, Ver++)
       {
-        Res = Cache.VS->DoCmpVersion(Version.begin(),Version.end(),Ver.VerStr(),
-                                Ver.VerStr() + strlen(Ver.VerStr()));
+        Res = Cache.VS->CmpVersion(Version,Ver.VerStr());
         if (Res >= 0)
            break;
       }
         if (Res >= 0)
            break;
       }
@@ -143,15 +147,18 @@ bool pkgCacheGenerator::MergeList(ListParser &List,
       if (Res == 0 && Ver->Hash == Hash)
       {
         if (List.UsePackage(Pkg,Ver) == false)
       if (Res == 0 && Ver->Hash == Hash)
       {
         if (List.UsePackage(Pkg,Ver) == false)
-           return _error->Error(_("Error occured while processing %s (UsePackage2)"),PackageName.c_str());
+           return _error->Error(_("Error occurred while processing %s (UsePackage2)"),
+                                PackageName.c_str());
 
         if (NewFileVer(Ver,List) == false)
 
         if (NewFileVer(Ver,List) == false)
-           return _error->Error(_("Error occured while processing %s (NewFileVer1)"),PackageName.c_str());
+           return _error->Error(_("Error occurred while processing %s (NewFileVer1)"),
+                                PackageName.c_str());
         
         // Read only a single record and return
         if (OutVer != 0)
         {
            *OutVer = Ver;
         
         // Read only a single record and return
         if (OutVer != 0)
         {
            *OutVer = Ver;
+           FoundFileDeps |= List.HasFileDeps();
            return true;
         }
         
            return true;
         }
         
@@ -163,8 +170,7 @@ bool pkgCacheGenerator::MergeList(ListParser &List,
       {
         for (; Ver.end() == false; Last = &Ver->NextVer, Ver++)
         {
       {
         for (; Ver.end() == false; Last = &Ver->NextVer, Ver++)
         {
-           Res = Cache.VS->DoCmpVersion(Version.begin(),Version.end(),Ver.VerStr(),
-                                   Ver.VerStr() + strlen(Ver.VerStr()));
+           Res = Cache.VS->CmpVersion(Version,Ver.VerStr());
            if (Res != 0)
               break;
         }
            if (Res != 0)
               break;
         }
@@ -175,29 +181,92 @@ bool pkgCacheGenerator::MergeList(ListParser &List,
       Ver->ParentPkg = Pkg.Index();
       Ver->Hash = Hash;
       if (List.NewVersion(Ver) == false)
       Ver->ParentPkg = Pkg.Index();
       Ver->Hash = Hash;
       if (List.NewVersion(Ver) == false)
-        return _error->Error(_("Error occured while processing %s (NewVersion1)"),PackageName.c_str());
+        return _error->Error(_("Error occurred while processing %s (NewVersion1)"),
+                             PackageName.c_str());
 
       if (List.UsePackage(Pkg,Ver) == false)
 
       if (List.UsePackage(Pkg,Ver) == false)
-        return _error->Error(_("Error occured while processing %s (UsePackage3)"),PackageName.c_str());
+        return _error->Error(_("Error occurred while processing %s (UsePackage3)"),
+                             PackageName.c_str());
       
       if (NewFileVer(Ver,List) == false)
       
       if (NewFileVer(Ver,List) == false)
-        return _error->Error(_("Error occured while processing %s (NewVersion2)"),PackageName.c_str());
+        return _error->Error(_("Error occurred while processing %s (NewVersion2)"),
+                             PackageName.c_str());
 
       // Read only a single record and return
       if (OutVer != 0)
       {
         *OutVer = Ver;
 
       // Read only a single record and return
       if (OutVer != 0)
       {
         *OutVer = Ver;
+        FoundFileDeps |= List.HasFileDeps();
         return true;
       }      
    }
 
         return true;
       }      
    }
 
+   FoundFileDeps |= List.HasFileDeps();
+
+   if (Cache.HeaderP->PackageCount >= (1ULL<<sizeof(Cache.PkgP->ID)*8)-1)
+      return _error->Error(_("Wow, you exceeded the number of package "
+                            "names this APT is capable of."));
+   if (Cache.HeaderP->VersionCount >= (1ULL<<(sizeof(Cache.VerP->ID)*8))-1)
+      return _error->Error(_("Wow, you exceeded the number of versions "
+                            "this APT is capable of."));
+   if (Cache.HeaderP->DependsCount >= (1ULL<<(sizeof(Cache.DepP->ID)*8))-1ULL)
+      return _error->Error(_("Wow, you exceeded the number of dependencies "
+                            "this APT is capable of."));
+   return true;
+}
+                                                                       /*}}}*/
+// CacheGenerator::MergeFileProvides - Merge file provides             /*{{{*/
+// ---------------------------------------------------------------------
+/* If we found any file depends while parsing the main list we need to 
+   resolve them. Since it is undesired to load the entire list of files
+   into the cache as virtual packages we do a two stage effort. MergeList
+   identifies the file depends and this creates Provdies for them by
+   re-parsing all the indexs. */
+bool pkgCacheGenerator::MergeFileProvides(ListParser &List)
+{
+   List.Owner = this;
+   
+   unsigned int Counter = 0;
+   while (List.Step() == true)
+   {
+      string PackageName = List.Package();
+      if (PackageName.empty() == true)
+        return false;
+      string Version = List.Version();
+      if (Version.empty() == true)
+        continue;
+      
+      pkgCache::PkgIterator Pkg = Cache.FindPkg(PackageName);
+      if (Pkg.end() == true)
+        return _error->Error(_("Error occurred while processing %s (FindPkg)"),
+                               PackageName.c_str());
+      Counter++;
+      if (Counter % 100 == 0 && Progress != 0)
+        Progress->Progress(List.Offset());
+
+      unsigned long Hash = List.VersionHash();
+      pkgCache::VerIterator Ver = Pkg.VersionList();
+      for (; Ver.end() == false; Ver++)
+      {
+        if (Ver->Hash == Hash && Version.c_str() == Ver.VerStr())
+        {
+           if (List.CollectFileProvides(Cache,Ver) == false)
+              return _error->Error(_("Error occurred while processing %s (CollectFileProvides)"),PackageName.c_str());
+           break;
+        }
+      }
+      
+      if (Ver.end() == true)
+        _error->Warning(_("Package %s %s was not found while processing file dependencies"),PackageName.c_str(),Version.c_str());
+   }
+
    return true;
 }
                                                                        /*}}}*/
 // CacheGenerator::NewPackage - Add a new package                      /*{{{*/
 // ---------------------------------------------------------------------
 /* This creates a new package structure and adds it to the hash table */
    return true;
 }
                                                                        /*}}}*/
 // CacheGenerator::NewPackage - Add a new package                      /*{{{*/
 // ---------------------------------------------------------------------
 /* This creates a new package structure and adds it to the hash table */
-bool pkgCacheGenerator::NewPackage(pkgCache::PkgIterator &Pkg,string Name)
+bool pkgCacheGenerator::NewPackage(pkgCache::PkgIterator &Pkg,const string &Name)
 {
    Pkg = Cache.FindPkg(Name);
    if (Pkg.end() == false)
 {
    Pkg = Cache.FindPkg(Name);
    if (Pkg.end() == false)
@@ -261,7 +330,7 @@ bool pkgCacheGenerator::NewFileVer(pkgCache::VerIterator &Ver,
 // ---------------------------------------------------------------------
 /* This puts a version structure in the linked list */
 unsigned long pkgCacheGenerator::NewVersion(pkgCache::VerIterator &Ver,
 // ---------------------------------------------------------------------
 /* This puts a version structure in the linked list */
 unsigned long pkgCacheGenerator::NewVersion(pkgCache::VerIterator &Ver,
-                                           string VerStr,
+                                           const string &VerStr,
                                            unsigned long Next)
 {
    // Get a structure
                                            unsigned long Next)
 {
    // Get a structure
@@ -285,8 +354,8 @@ unsigned long pkgCacheGenerator::NewVersion(pkgCache::VerIterator &Ver,
 /* This creates a dependency element in the tree. It is linked to the
    version and to the package that it is pointing to. */
 bool pkgCacheGenerator::ListParser::NewDepends(pkgCache::VerIterator Ver,
 /* This creates a dependency element in the tree. It is linked to the
    version and to the package that it is pointing to. */
 bool pkgCacheGenerator::ListParser::NewDepends(pkgCache::VerIterator Ver,
-                                              string PackageName,
-                                              string Version,
+                                              const string &PackageName,
+                                              const string &Version,
                                               unsigned int Op,
                                               unsigned int Type)
 {
                                               unsigned int Op,
                                               unsigned int Type)
 {
@@ -334,6 +403,10 @@ bool pkgCacheGenerator::ListParser::NewDepends(pkgCache::VerIterator Ver,
         OldDepLast = &D->NextDepends;
       OldDepVer = Ver;
    }
         OldDepLast = &D->NextDepends;
       OldDepVer = Ver;
    }
+
+   // Is it a file dependency?
+   if (PackageName[0] == '/')
+      FoundFileDeps = true;
    
    Dep->NextDepends = *OldDepLast;
    *OldDepLast = Dep.Index();
    
    Dep->NextDepends = *OldDepLast;
    *OldDepLast = Dep.Index();
@@ -346,8 +419,8 @@ bool pkgCacheGenerator::ListParser::NewDepends(pkgCache::VerIterator Ver,
 // ---------------------------------------------------------------------
 /* */
 bool pkgCacheGenerator::ListParser::NewProvides(pkgCache::VerIterator Ver,
 // ---------------------------------------------------------------------
 /* */
 bool pkgCacheGenerator::ListParser::NewProvides(pkgCache::VerIterator Ver,
-                                               string PackageName,
-                                               string Version)
+                                               const string &PackageName,
+                                               const string &Version)
 {
    pkgCache &Cache = Owner->Cache;
 
 {
    pkgCache &Cache = Owner->Cache;
 
@@ -386,7 +459,7 @@ bool pkgCacheGenerator::ListParser::NewProvides(pkgCache::VerIterator Ver,
 // ---------------------------------------------------------------------
 /* This is used to select which file is to be associated with all newly
    added versions. The caller is responsible for setting the IMS fields. */
 // ---------------------------------------------------------------------
 /* This is used to select which file is to be associated with all newly
    added versions. The caller is responsible for setting the IMS fields. */
-bool pkgCacheGenerator::SelectFile(string File,string Site,
+bool pkgCacheGenerator::SelectFile(const string &File,const string &Site,
                                   const pkgIndexFile &Index,
                                   unsigned long Flags)
 {
                                   const pkgIndexFile &Index,
                                   unsigned long Flags)
 {
@@ -470,8 +543,8 @@ unsigned long pkgCacheGenerator::WriteUniqString(const char *S,
 /* This just verifies that each file in the list of index files exists,
    has matching attributes with the cache and the cache does not have
    any extra files. */
 /* This just verifies that each file in the list of index files exists,
    has matching attributes with the cache and the cache does not have
    any extra files. */
-static bool CheckValidity(string CacheFile,pkgIndexFile **Start,
-                         pkgIndexFile **End,MMap **OutMap = 0)
+static bool CheckValidity(const string &CacheFile, FileIterator Start, 
+                          FileIterator End,MMap **OutMap = 0)
 {
    // No file, certainly invalid
    if (CacheFile.empty() == true || FileExists(CacheFile) == false)
 {
    // No file, certainly invalid
    if (CacheFile.empty() == true || FileExists(CacheFile) == false)
@@ -530,7 +603,7 @@ static bool CheckValidity(string CacheFile,pkgIndexFile **Start,
 // ---------------------------------------------------------------------
 /* Size is kind of an abstract notion that is only used for the progress
    meter */
 // ---------------------------------------------------------------------
 /* Size is kind of an abstract notion that is only used for the progress
    meter */
-static unsigned long ComputeSize(pkgIndexFile **Start,pkgIndexFile **End)
+static unsigned long ComputeSize(FileIterator Start,FileIterator End)
 {
    unsigned long TotalSize = 0;
    for (; Start != End; Start++)
 {
    unsigned long TotalSize = 0;
    for (; Start != End; Start++)
@@ -548,30 +621,46 @@ static unsigned long ComputeSize(pkgIndexFile **Start,pkgIndexFile **End)
 static bool BuildCache(pkgCacheGenerator &Gen,
                       OpProgress &Progress,
                       unsigned long &CurrentSize,unsigned long TotalSize,
 static bool BuildCache(pkgCacheGenerator &Gen,
                       OpProgress &Progress,
                       unsigned long &CurrentSize,unsigned long TotalSize,
-                      pkgIndexFile **Start,pkgIndexFile **End)
+                      FileIterator Start, FileIterator End)
 {
 {
-   for (; Start != End; Start++)
+   FileIterator I;
+   for (I = Start; I != End; I++)
    {
    {
-      if ((*Start)->HasPackages() == false)
+      if ((*I)->HasPackages() == false)
         continue;
       
         continue;
       
-      if ((*Start)->Exists() == false)
+      if ((*I)->Exists() == false)
         continue;
 
         continue;
 
-      if ((*Start)->FindInCache(Gen.GetCache()).end() == false)
+      if ((*I)->FindInCache(Gen.GetCache()).end() == false)
       {
         _error->Warning("Duplicate sources.list entry %s",
       {
         _error->Warning("Duplicate sources.list entry %s",
-                        (*Start)->Describe().c_str());
+                        (*I)->Describe().c_str());
         continue;
       }
       
         continue;
       }
       
-      unsigned long Size = (*Start)->Size();
-      Progress.OverallProgress(CurrentSize,TotalSize,Size,_("Reading Package Lists"));
+      unsigned long Size = (*I)->Size();
+      Progress.OverallProgress(CurrentSize,TotalSize,Size,_("Reading package lists"));
       CurrentSize += Size;
       
       CurrentSize += Size;
       
-      if ((*Start)->Merge(Gen,Progress) == false)
+      if ((*I)->Merge(Gen,Progress) == false)
         return false;
    }   
         return false;
    }   
+
+   if (Gen.HasFileDeps() == true)
+   {
+      Progress.Done();
+      TotalSize = ComputeSize(Start, End);
+      CurrentSize = 0;
+      for (I = Start; I != End; I++)
+      {
+        unsigned long Size = (*I)->Size();
+        Progress.OverallProgress(CurrentSize,TotalSize,Size,_("Collecting File Provides"));
+        CurrentSize += Size;
+        if ((*I)->MergeFileProvides(Gen,Progress) == false)
+           return false;
+      }
+   }
    
    return true;
 }
    
    return true;
 }
@@ -587,9 +676,20 @@ static bool BuildCache(pkgCacheGenerator &Gen,
 bool pkgMakeStatusCache(pkgSourceList &List,OpProgress &Progress,
                        MMap **OutMap,bool AllowMem)
 {
 bool pkgMakeStatusCache(pkgSourceList &List,OpProgress &Progress,
                        MMap **OutMap,bool AllowMem)
 {
-   unsigned long MapSize = _config->FindI("APT::Cache-Limit",6*1024*1024);
+   unsigned long MapSize = _config->FindI("APT::Cache-Limit",12*1024*1024);
+   
+   vector<pkgIndexFile *> Files;
+   for (vector<metaIndex *>::const_iterator i = List.begin();
+        i != List.end();
+        i++)
+   {
+      vector <pkgIndexFile *> *Indexes = (*i)->GetIndexFiles();
+      for (vector<pkgIndexFile *>::const_iterator j = Indexes->begin();
+          j != Indexes->end();
+          j++)
+         Files.push_back (*j);
+   }
    
    
-   vector<pkgIndexFile *> Files(List.begin(),List.end());
    unsigned long EndOfSource = Files.size();
    if (_system->AddStatusFiles(Files) == false)
       return false;
    unsigned long EndOfSource = Files.size();
    if (_system->AddStatusFiles(Files) == false)
       return false;
@@ -609,12 +709,12 @@ bool pkgMakeStatusCache(pkgSourceList &List,OpProgress &Progress,
    if (Writeable == false && AllowMem == false && CacheFile.empty() == false)
       return _error->Error(_("Unable to write to %s"),flNotFile(CacheFile).c_str());
    
    if (Writeable == false && AllowMem == false && CacheFile.empty() == false)
       return _error->Error(_("Unable to write to %s"),flNotFile(CacheFile).c_str());
    
-   Progress.OverallProgress(0,1,1,_("Reading Package Lists"));
+   Progress.OverallProgress(0,1,1,_("Reading package lists"));
    
    // Cache is OK, Fin.
    if (CheckValidity(CacheFile,Files.begin(),Files.end(),OutMap) == true)
    {
    
    // Cache is OK, Fin.
    if (CheckValidity(CacheFile,Files.begin(),Files.end(),OutMap) == true)
    {
-      Progress.OverallProgress(1,1,1,_("Reading Package Lists"));
+      Progress.OverallProgress(1,1,1,_("Reading package lists"));
       return true;
    }
    
       return true;
    }
    
@@ -626,6 +726,7 @@ bool pkgMakeStatusCache(pkgSourceList &List,OpProgress &Progress,
    {
       unlink(CacheFile.c_str());
       CacheF = new FileFd(CacheFile,FileFd::WriteEmpty);
    {
       unlink(CacheFile.c_str());
       CacheF = new FileFd(CacheFile,FileFd::WriteEmpty);
+      fchmod(CacheF->Fd(),0644);
       Map = new DynamicMMap(*CacheF,MMap::Public,MapSize);
       if (_error->PendingError() == true)
         return false;
       Map = new DynamicMMap(*CacheF,MMap::Public,MapSize);
       if (_error->PendingError() == true)
         return false;
@@ -676,6 +777,9 @@ bool pkgMakeStatusCache(pkgSourceList &List,OpProgress &Progress,
         FileFd SCacheF(SrcCacheFile,FileFd::WriteEmpty);
         if (_error->PendingError() == true)
            return false;
         FileFd SCacheF(SrcCacheFile,FileFd::WriteEmpty);
         if (_error->PendingError() == true)
            return false;
+        
+        fchmod(SCacheF.Fd(),0644);
+        
         // Write out the main data
         if (SCacheF.Write(Map->Data(),Map->Size()) == false)
            return _error->Error(_("IO Error saving source cache"));
         // Write out the main data
         if (SCacheF.Write(Map->Data(),Map->Size()) == false)
            return _error->Error(_("IO Error saving source cache"));
@@ -686,8 +790,8 @@ bool pkgMakeStatusCache(pkgSourceList &List,OpProgress &Progress,
         if (SCacheF.Seek(0) == false ||
             SCacheF.Write(Map->Data(),sizeof(*Gen.GetCache().HeaderP)) == false)
            return _error->Error(_("IO Error saving source cache"));
         if (SCacheF.Seek(0) == false ||
             SCacheF.Write(Map->Data(),sizeof(*Gen.GetCache().HeaderP)) == false)
            return _error->Error(_("IO Error saving source cache"));
-        SCacheF.Sync();
         Gen.GetCache().HeaderP->Dirty = true;
         Gen.GetCache().HeaderP->Dirty = true;
+        SCacheF.Sync();
       }
       
       // Build the status cache
       }
       
       // Build the status cache
@@ -719,7 +823,7 @@ bool pkgMakeStatusCache(pkgSourceList &List,OpProgress &Progress,
 /* */
 bool pkgMakeOnlyStatusCache(OpProgress &Progress,DynamicMMap **OutMap)
 {
 /* */
 bool pkgMakeOnlyStatusCache(OpProgress &Progress,DynamicMMap **OutMap)
 {
-   unsigned long MapSize = _config->FindI("APT::Cache-Limit",4*1024*1024);
+   unsigned long MapSize = _config->FindI("APT::Cache-Limit",8*1024*1024);
    vector<pkgIndexFile *> Files;
    unsigned long EndOfSource = Files.size();
    if (_system->AddStatusFiles(Files) == false)
    vector<pkgIndexFile *> Files;
    unsigned long EndOfSource = Files.size();
    if (_system->AddStatusFiles(Files) == false)
@@ -733,7 +837,7 @@ bool pkgMakeOnlyStatusCache(OpProgress &Progress,DynamicMMap **OutMap)
    TotalSize = ComputeSize(Files.begin()+EndOfSource,Files.end());
    
    // Build the status cache
    TotalSize = ComputeSize(Files.begin()+EndOfSource,Files.end());
    
    // Build the status cache
-   Progress.OverallProgress(0,1,1,_("Reading Package Lists"));
+   Progress.OverallProgress(0,1,1,_("Reading package lists"));
    pkgCacheGenerator Gen(Map.Get(),&Progress);
    if (_error->PendingError() == true)
       return false;
    pkgCacheGenerator Gen(Map.Get(),&Progress);
    if (_error->PendingError() == true)
       return false;