implement generic config fallback for methods
[apt.git] / apt-pkg / policy.cc
index 479cf393549ef6eb67c760e1f63552a33b78c6ce..ff59fb0ac6605385e786c93166534fdc46ce8993 100644 (file)
@@ -4,37 +4,38 @@
 /* ######################################################################
 
    Package Version Policy implementation
-   
+
    This is just a really simple wrapper around pkgVersionMatch with
    some added goodies to manage the list of things..
-   
-   Priority Table:
-   
-   1000 -> inf = Downgradeable priorities
-   1000        = The 'no downgrade' pseduo-status file
-   100 -> 1000 = Standard priorities
-   990         = Config file override package files
-   989         = Start for preference auto-priorities
-   500         = Default package files
-   100         = The status file
-   0 -> 100    = NotAutomatic sources like experimental
-   -inf -> 0   = Never selected   
-   
+
+   See man apt_preferences for what value means what.
+
    ##################################################################### */
                                                                        /*}}}*/
 // Include Files                                                       /*{{{*/
+#include<config.h>
+
 #include <apt-pkg/policy.h>
 #include <apt-pkg/configuration.h>
+#include <apt-pkg/cachefilter.h>
 #include <apt-pkg/tagfile.h>
 #include <apt-pkg/strutl.h>
 #include <apt-pkg/fileutl.h>
 #include <apt-pkg/error.h>
-#include <apt-pkg/sptr.h>
-
-#include <apti18n.h>
+#include <apt-pkg/cacheiterators.h>
+#include <apt-pkg/pkgcache.h>
+#include <apt-pkg/versionmatch.h>
+#include <apt-pkg/version.h>
 
+#include <ctype.h>
+#include <stddef.h>
+#include <string.h>
+#include <string>
+#include <vector>
 #include <iostream>
 #include <sstream>
+
+#include <apti18n.h>
                                                                        /*}}}*/
 
 using namespace std;
@@ -43,19 +44,40 @@ using namespace std;
 // ---------------------------------------------------------------------
 /* Set the defaults for operation. The default mode with no loaded policy
    file matches the V0 policy engine. */
-pkgPolicy::pkgPolicy(pkgCache *Owner) : Pins(0), PFPriority(0), Cache(Owner)
+pkgPolicy::pkgPolicy(pkgCache *Owner) : Pins(nullptr), VerPins(nullptr),
+   PFPriority(nullptr), Cache(Owner), d(NULL)
 {
+   if (Owner == 0)
+      return;
    PFPriority = new signed short[Owner->Head().PackageFileCount];
    Pins = new Pin[Owner->Head().PackageCount];
+   VerPins = new Pin[Owner->Head().VersionCount];
 
    for (unsigned long I = 0; I != Owner->Head().PackageCount; I++)
       Pins[I].Type = pkgVersionMatch::None;
+   for (unsigned long I = 0; I != Owner->Head().VersionCount; I++)
+      VerPins[I].Type = pkgVersionMatch::None;
 
    // The config file has a master override.
    string DefRel = _config->Find("APT::Default-Release");
    if (DefRel.empty() == false)
-      CreatePin(pkgVersionMatch::Release,"",DefRel,990);
-      
+   {
+      bool found = false;
+      // FIXME: make ExpressionMatches static to use it here easily
+      pkgVersionMatch vm("", pkgVersionMatch::None);
+      for (pkgCache::PkgFileIterator F = Cache->FileBegin(); F != Cache->FileEnd(); ++F)
+      {
+        if (vm.ExpressionMatches(DefRel, F.Archive()) ||
+            vm.ExpressionMatches(DefRel, F.Codename()) ||
+            vm.ExpressionMatches(DefRel, F.Version()) ||
+            (DefRel.length() > 2 && DefRel[1] == '='))
+           found = true;
+      }
+      if (found == false)
+        _error->Error(_("The value '%s' is invalid for APT::Default-Release as such a release is not available in the sources"), DefRel.c_str());
+      else
+        CreatePin(pkgVersionMatch::Release,"",DefRel,990);
+   }
    InitDefaults();
 }
                                                                        /*}}}*/
@@ -65,131 +87,72 @@ pkgPolicy::pkgPolicy(pkgCache *Owner) : Pins(0), PFPriority(0), Cache(Owner)
 bool pkgPolicy::InitDefaults()
 {   
    // Initialize the priorities based on the status of the package file
-   for (pkgCache::PkgFileIterator I = Cache->FileBegin(); I != Cache->FileEnd(); I++)
+   for (pkgCache::PkgFileIterator I = Cache->FileBegin(); I != Cache->FileEnd(); ++I)
    {
       PFPriority[I->ID] = 500;
-      if ((I->Flags & pkgCache::Flag::NotSource) == pkgCache::Flag::NotSource)
+      if (I.Flagged(pkgCache::Flag::NotSource))
         PFPriority[I->ID] = 100;
-      else
-        if ((I->Flags & pkgCache::Flag::NotAutomatic) == pkgCache::Flag::NotAutomatic)
-           PFPriority[I->ID] = 1;
+      else if (I.Flagged(pkgCache::Flag::ButAutomaticUpgrades))
+        PFPriority[I->ID] = 100;
+      else if (I.Flagged(pkgCache::Flag::NotAutomatic))
+        PFPriority[I->ID] = 1;
    }
 
    // Apply the defaults..
-   SPtrArray<bool> Fixed = new bool[Cache->HeaderP->PackageFileCount];
-   memset(Fixed,0,sizeof(*Fixed)*Cache->HeaderP->PackageFileCount);
-   signed Cur = 989;
+   std::unique_ptr<bool[]> Fixed(new bool[Cache->HeaderP->PackageFileCount]);
+   memset(Fixed.get(),0,sizeof(Fixed[0])*Cache->HeaderP->PackageFileCount);
    StatusOverride = false;
-   for (vector<Pin>::const_iterator I = Defaults.begin(); I != Defaults.end();
-       I++, Cur--)
+   for (vector<Pin>::const_iterator I = Defaults.begin(); I != Defaults.end(); ++I)
    {
       pkgVersionMatch Match(I->Data,I->Type);
-      for (pkgCache::PkgFileIterator F = Cache->FileBegin(); F != Cache->FileEnd(); F++)
+      for (pkgCache::PkgFileIterator F = Cache->FileBegin(); F != Cache->FileEnd(); ++F)
       {
-        if (Match.FileMatch(F) == true && Fixed[F->ID] == false)
+        if (Fixed[F->ID] == false && Match.FileMatch(F) == true)
         {
-           if (I->Priority != 0 && I->Priority > 0)
-              Cur = I->Priority;
-           
-           if (I->Priority < 0)
-              PFPriority[F->ID] =  I->Priority;
-           else
-              PFPriority[F->ID] = Cur;
-           
-           if (PFPriority[F->ID] > 1000)
+           PFPriority[F->ID] = I->Priority;
+
+           if (PFPriority[F->ID] >= 1000)
               StatusOverride = true;
-           
+
            Fixed[F->ID] = true;
-        }      
-      }      
+        }
+      }
    }
 
    if (_config->FindB("Debug::pkgPolicy",false) == true)
-      for (pkgCache::PkgFileIterator F = Cache->FileBegin(); F != Cache->FileEnd(); F++)
-        std::clog << "Prio of " << F.FileName() << ' ' << PFPriority[F->ID] << std::endl; 
-   
-   return true;   
+      for (pkgCache::PkgFileIterator F = Cache->FileBegin(); F != Cache->FileEnd(); ++F)
+        std::clog << "Prio of " << F.FileName() << ' ' << PFPriority[F->ID] << std::endl;
+
+   return true;
 }
                                                                        /*}}}*/
 // Policy::GetCandidateVer - Get the candidate install version         /*{{{*/
 // ---------------------------------------------------------------------
 /* Evaluate the package pins and the default list to deteremine what the
    best package is. */
-pkgCache::VerIterator pkgPolicy::GetCandidateVer(pkgCache::PkgIterator Pkg)
+pkgCache::VerIterator pkgPolicy::GetCandidateVer(pkgCache::PkgIterator const &Pkg)
 {
-   // Look for a package pin and evaluate it.
-   signed Max = GetPriority(Pkg);
-   pkgCache::VerIterator Pref = GetMatch(Pkg);
-
-   // Alternatives in case we can not find our package pin (Bug#512318).
-   signed MaxAlt = 0;
-   pkgCache::VerIterator PrefAlt;
-
-   // no package = no candidate version
-   if (Pkg.end() == true)
-      return Pref;
-
-   // packages with a pin lower than 0 have no newer candidate than the current version
-   if (Max < 0)
-      return Pkg.CurrentVer();
-
-   /* Falling through to the default version.. Setting Max to zero
-      effectively excludes everything <= 0 which are the non-automatic
-      priorities.. The status file is given a prio of 100 which will exclude
-      not-automatic sources, except in a single shot not-installed mode.
-      The second pseduo-status file is at prio 1000, above which will permit
-      the user to force-downgrade things.
-      
-      The user pin is subject to the same priority rules as default 
-      selections. Thus there are two ways to create a pin - a pin that
-      tracks the default when the default is taken away, and a permanent
-      pin that stays at that setting.
-    */
-   for (pkgCache::VerIterator Ver = Pkg.VersionList(); Ver.end() == false; Ver++)
-   {
-      for (pkgCache::VerFileIterator VF = Ver.FileList(); VF.end() == false; VF++)
-      {
-        /* If this is the status file, and the current version is not the
-           version in the status file (ie it is not installed, or somesuch)
-           then it is not a candidate for installation, ever. This weeds
-           out bogus entries that may be due to config-file states, or
-           other. */
-        if ((VF.File()->Flags & pkgCache::Flag::NotSource) == pkgCache::Flag::NotSource &&
-            Pkg.CurrentVer() != Ver)
-           continue;
-                        
-        signed Prio = PFPriority[VF.File()->ID];
-        if (Prio > Max)
-        {
-           Pref = Ver;
-           Max = Prio;
-        }
-        if (Prio > MaxAlt)
-        {
-           PrefAlt = Ver;
-           MaxAlt = Prio;
-        }       
-      }      
-      
-      if (Pkg.CurrentVer() == Ver && Max < 1000)
-      {
-        /* Elevate our current selection (or the status file itself)
-           to the Pseudo-status priority. */
-        if (Pref.end() == true)
-           Pref = Ver;
-        Max = 1000;
-        
-        // Fast path optimize.
-        if (StatusOverride == false)
-           break;
-      }            
+   pkgCache::VerIterator cand;
+   pkgCache::VerIterator cur = Pkg.CurrentVer();
+   int candPriority = -1;
+   pkgVersioningSystem *vs = Cache->VS;
+
+   for (pkgCache::VerIterator ver = Pkg.VersionList(); ver.end() == false; ++ver) {
+      int priority = GetPriority(ver, true);
+
+      if (priority == 0 || priority <= candPriority)
+        continue;
+
+      // TODO: Maybe optimize to not compare versions
+      if (!cur.end() && priority < 1000
+         && (vs->CmpVersion(ver.VerStr(), cur.VerStr()) < 0))
+        continue;
+
+      candPriority = priority;
+      cand = ver;
    }
-   // If we do not find our candidate, use the one with the highest pin.
-   // This means that if there is a version available with pin > 0; there
-   // will always be a candidate (Closes: #512318)
-   if (!Pref.IsGood() && MaxAlt > 0)
-       Pref = PrefAlt;
-   return Pref;
+
+   return cand;
 }
                                                                        /*}}}*/
 // Policy::CreatePin - Create an entry in the pin table..              /*{{{*/
@@ -203,82 +166,137 @@ void pkgPolicy::CreatePin(pkgVersionMatch::MatchType Type,string Name,
 {
    if (Name.empty() == true)
    {
-      Pin *P = &*Defaults.insert(Defaults.end(),PkgPin());
+      Pin *P = &*Defaults.insert(Defaults.end(),Pin());
       P->Type = Type;
       P->Priority = Priority;
       P->Data = Data;
       return;
    }
 
-   // Get a spot to put the pin
+   size_t found = Name.rfind(':');
+   string Arch;
+   if (found != string::npos) {
+      Arch = Name.substr(found+1);
+      Name.erase(found);
+   }
+
+   // Allow pinning by wildcards
+   // TODO: Maybe we should always prefer specific pins over non-
+   // specific ones.
+   if (Name[0] == '/' || Name.find_first_of("*[?") != string::npos)
+   {
+      pkgVersionMatch match(Data, Type);
+      for (pkgCache::GrpIterator G = Cache->GrpBegin(); G.end() != true; ++G)
+        if (match.ExpressionMatches(Name, G.Name()))
+        {
+           if (Arch.empty() == false)
+              CreatePin(Type, string(G.Name()).append(":").append(Arch), Data, Priority);
+           else
+              CreatePin(Type, G.Name(), Data, Priority);
+        }
+      return;
+   }
+
+   // find the package (group) this pin applies to
    pkgCache::GrpIterator Grp = Cache->FindGrp(Name);
-   for (pkgCache::PkgIterator Pkg = Grp.FindPkg("any");
-       Pkg.end() != true; Pkg = Grp.NextPkg(Pkg))
+   bool matched = false;
+   if (Grp.end() == false)
    {
-      Pin *P = 0;
-      if (Pkg.end() == false)
-        P = Pins + Pkg->ID;
+      std::string MatchingArch;
+      if (Arch.empty() == true)
+        MatchingArch = Cache->NativeArch();
       else
+        MatchingArch = Arch;
+      APT::CacheFilter::PackageArchitectureMatchesSpecification pams(MatchingArch);
+      for (pkgCache::PkgIterator Pkg = Grp.PackageList(); Pkg.end() != true; Pkg = Grp.NextPkg(Pkg))
       {
-        // Check the unmatched table
-        for (vector<PkgPin>::iterator I = Unmatched.begin();
-             I != Unmatched.end() && P == 0; I++)
-           if (I->Pkg == Name)
-              P = &*I;
-
-        if (P == 0)
-           P = &*Unmatched.insert(Unmatched.end(),PkgPin());
+        if (pams(Pkg.Arch()) == false)
+           continue;
+        Pin *P = Pins + Pkg->ID;
+        // the first specific stanza for a package is the ruler,
+        // all others need to be ignored
+        if (P->Type != pkgVersionMatch::None)
+           P = &*Unmatched.insert(Unmatched.end(),PkgPin(Pkg.FullName()));
+        P->Type = Type;
+        P->Priority = Priority;
+        P->Data = Data;
+        matched = true;
+
+        // Find matching version(s) and copy the pin into it
+        pkgVersionMatch Match(P->Data,P->Type);
+        for (pkgCache::VerIterator Ver = Pkg.VersionList(); Ver.end() != true; ++Ver)
+        {
+           if (Match.VersionMatches(Ver)) {
+              Pin *VP = VerPins + Ver->ID;
+              if (VP->Type == pkgVersionMatch::None)
+                 *VP = *P;
+           }
+        }
       }
+   }
+
+   if (matched == false)
+   {
+      PkgPin *P = &*Unmatched.insert(Unmatched.end(),PkgPin(Name));
+      if (Arch.empty() == false)
+        P->Pkg.append(":").append(Arch);
       P->Type = Type;
       P->Priority = Priority;
       P->Data = Data;
+      return;
    }
 }
                                                                        /*}}}*/
 // Policy::GetMatch - Get the matching version for a package pin       /*{{{*/
 // ---------------------------------------------------------------------
 /* */
-pkgCache::VerIterator pkgPolicy::GetMatch(pkgCache::PkgIterator Pkg)
+pkgCache::VerIterator pkgPolicy::GetMatch(pkgCache::PkgIterator const &Pkg)
 {
    const Pin &PPkg = Pins[Pkg->ID];
-   if (PPkg.Type != pkgVersionMatch::None)
-   {
-      pkgVersionMatch Match(PPkg.Data,PPkg.Type);
-      return Match.Find(Pkg);
-   }
-   return pkgCache::VerIterator(*Pkg.Cache());
+   if (PPkg.Type == pkgVersionMatch::None)
+      return pkgCache::VerIterator(*Pkg.Cache());
+
+   pkgVersionMatch Match(PPkg.Data,PPkg.Type);
+   return Match.Find(Pkg);
 }
                                                                        /*}}}*/
 // Policy::GetPriority - Get the priority of the package pin           /*{{{*/
 // ---------------------------------------------------------------------
 /* */
-signed short pkgPolicy::GetPriority(pkgCache::PkgIterator const &Pkg)
+APT_PURE signed short pkgPolicy::GetPriority(pkgCache::PkgIterator const &Pkg)
 {
    if (Pins[Pkg->ID].Type != pkgVersionMatch::None)
-   {
-      // In this case 0 means default priority
-      if (Pins[Pkg->ID].Priority == 0)
-        return 989;
       return Pins[Pkg->ID].Priority;
-   }
-   
    return 0;
 }
-                                                                       /*}}}*/
-// PreferenceSection class - Overriding the default TrimRecord method  /*{{{*/
-// ---------------------------------------------------------------------
-/* The preference file is a user generated file so the parser should
-   therefore be a bit more friendly by allowing comments and new lines
-   all over the place rather than forcing a special format */
-class PreferenceSection : public pkgTagSection
+APT_PURE signed short pkgPolicy::GetPriority(pkgCache::VerIterator const &Ver, bool ConsiderFiles)
 {
-   void TrimRecord(bool BeforeRecord, const char* &End)
+   if (VerPins[Ver->ID].Type != pkgVersionMatch::None)
+      return VerPins[Ver->ID].Priority;
+   if (!ConsiderFiles)
+      return 0;
+
+   // priorities are short ints, but we want to pick a value outside the valid range here
+   auto priority = std::numeric_limits<signed int>::min();
+   for (pkgCache::VerFileIterator file = Ver.FileList(); file.end() == false; file++)
    {
-      for (; Stop < End && (Stop[0] == '\n' || Stop[0] == '\r' || Stop[0] == '#'); Stop++)
-        if (Stop[0] == '#')
-           Stop = (const char*) memchr(Stop,'\n',End-Stop);
+      /* If this is the status file, and the current version is not the
+         version in the status file (ie it is not installed, or somesuch)
+         then it is not a candidate for installation, ever. This weeds
+         out bogus entries that may be due to config-file states, or
+         other. */
+      if (file.File().Flagged(pkgCache::Flag::NotSource) && Ver.ParentPkg().CurrentVer() != Ver)
+        priority = std::max(priority, static_cast<decltype(priority)>(-1));
+      else
+        priority = std::max(priority, static_cast<decltype(priority)>(GetPriority(file.File())));
    }
-};
+
+   return priority == std::numeric_limits<decltype(priority)>::min() ? 0 : priority;
+}
+APT_PURE signed short pkgPolicy::GetPriority(pkgCache::PkgFileIterator const &File)
+{
+   return PFPriority[File->ID];
+}
                                                                        /*}}}*/
 // ReadPinDir - Load the pin files from this dir into a Policy         /*{{{*/
 // ---------------------------------------------------------------------
@@ -289,18 +307,24 @@ class PreferenceSection : public pkgTagSection
 bool ReadPinDir(pkgPolicy &Plcy,string Dir)
 {
    if (Dir.empty() == true)
-      Dir = _config->FindDir("Dir::Etc::PreferencesParts");
+      Dir = _config->FindDir("Dir::Etc::PreferencesParts", "/dev/null");
 
-   if (FileExists(Dir) == false)
+   if (DirectoryExists(Dir) == false)
    {
-      _error->WarningE("FileExists",_("Unable to read %s"),Dir.c_str());
+      if (APT::String::Endswith(Dir, "/dev/null") == false)
+        _error->WarningE("DirectoryExists",_("Unable to read %s"),Dir.c_str());
       return true;
    }
 
+   _error->PushToStack();
    vector<string> const List = GetListOfFilesInDir(Dir, "pref", true, true);
+   bool const PendingErrors = _error->PendingError();
+   _error->MergeWithStack();
+   if (PendingErrors)
+      return false;
 
    // Read the files
-   for (vector<string>::const_iterator I = List.begin(); I != List.end(); I++)
+   for (vector<string>::const_iterator I = List.begin(); I != List.end(); ++I)
       if (ReadPinFile(Plcy, *I) == false)
         return false;
    return true;
@@ -317,17 +341,21 @@ bool ReadPinFile(pkgPolicy &Plcy,string File)
    if (File.empty() == true)
       File = _config->FindFile("Dir::Etc::Preferences");
 
-   if (FileExists(File) == false)
+   if (RealFileExists(File) == false)
       return true;
    
    FileFd Fd(File,FileFd::ReadOnly);
-   pkgTagFile TF(&Fd);
-   if (_error->PendingError() == true)
+   pkgTagFile TF(&Fd, pkgTagFile::SUPPORT_COMMENTS);
+   if (Fd.IsOpen() == false || Fd.Failed())
       return false;
-   
-   PreferenceSection Tags;
+
+   pkgTagSection Tags;
    while (TF.Step(Tags) == true)
    {
+      // can happen when there are only comments in a record
+      if (Tags.Count() == 0)
+         continue;
+
       string Name = Tags.FindS("Package");
       if (Name.empty() == true)
         return _error->Error(_("Invalid record in the preferences file %s, no Package header"), File.c_str());
@@ -357,11 +385,21 @@ bool ReadPinFile(pkgPolicy &Plcy,string File)
       }
       for (; Word != End && isspace(*Word) != 0; Word++);
 
-      short int priority = Tags.FindI("Pin-Priority", 0);
+      _error->PushToStack();
+      int const priority = Tags.FindI("Pin-Priority", 0);
+      bool const newError = _error->PendingError();
+      _error->MergeWithStack();
+      if (priority < std::numeric_limits<short>::min() ||
+          priority > std::numeric_limits<short>::max() ||
+         newError) {
+        return _error->Error(_("%s: Value %s is outside the range of valid pin priorities (%d to %d)"),
+                             File.c_str(), Tags.FindS("Pin-Priority").c_str(),
+                             std::numeric_limits<short>::min(),
+                             std::numeric_limits<short>::max());
+      }
       if (priority == 0)
       {
-         _error->Warning(_("No priority (or zero) specified for pin"));
-         continue;
+         return _error->Error(_("No priority (or zero) specified for pin"));
       }
 
       istringstream s(Name);
@@ -377,3 +415,5 @@ bool ReadPinFile(pkgPolicy &Plcy,string File)
    return true;
 }
                                                                        /*}}}*/
+
+pkgPolicy::~pkgPolicy() {delete [] PFPriority; delete [] Pins; delete [] VerPins; }