]> git.saurik.com Git - apt.git/blobdiff - apt-pkg/acquire-method.cc
fix test/integration/test-apt-ftparchive-cachedb-lp1274466 in travis
[apt.git] / apt-pkg / acquire-method.cc
index bf2de54483290018733c9980438f6f2a229667eb..746c553f1cc3cbea8d4518b7e8bca556b3eac825 100644 (file)
@@ -1,54 +1,76 @@
 // -*- mode: cpp; mode: fold -*-
 // Description                                                         /*{{{*/
-// $Id: acquire-method.cc,v 1.9 1998/11/29 01:24:15 jgg Exp $
+// $Id: acquire-method.cc,v 1.27.2.1 2003/12/24 23:09:17 mdz Exp $
 /* ######################################################################
 
    Acquire Method
 
+   This is a skeleton class that implements most of the functionality
+   of a method and some useful functions to make method implementation
+   simpler. The methods all derive this and specialize it. The most
+   complex implementation is the http method which needs to provide
+   pipelining, it runs the message engine at the same time it is 
+   downloading files..
+   
    ##################################################################### */
                                                                        /*}}}*/
 // Include Files                                                       /*{{{*/
-#ifdef __GNUG__
-#pragma implementation "apt-pkg/acquire-method.h"
-#endif
+#include <config.h>
+
 #include <apt-pkg/acquire-method.h>
 #include <apt-pkg/error.h>
 #include <apt-pkg/configuration.h>
-#include <strutl.h>
+#include <apt-pkg/strutl.h>
 #include <apt-pkg/fileutl.h>
+#include <apt-pkg/hashes.h>
+#include <apt-pkg/md5.h>
+#include <apt-pkg/sha1.h>
+#include <apt-pkg/sha2.h>
 
+#include <stdarg.h>
+#include <stdlib.h>
+#include <string.h>
+#include <unistd.h>
+#include <string>
+#include <vector>
+#include <iostream>
 #include <stdio.h>
                                                                        /*}}}*/
 
+using namespace std;
+
 // AcqMethod::pkgAcqMethod - Constructor                               /*{{{*/
 // ---------------------------------------------------------------------
 /* This constructs the initialization text */
 pkgAcqMethod::pkgAcqMethod(const char *Ver,unsigned long Flags)
 {
-   char S[300] = "";
-   char *End = S;
-   strcat(End,"100 Capabilities\n");
-   sprintf(End+strlen(End),"Version: %s\n",Ver);
+   std::cout << "100 Capabilities\n"
+            << "Version: " << Ver << "\n";
 
    if ((Flags & SingleInstance) == SingleInstance)
-      strcat(End,"Single-Instance: true\n");
-   
+      std::cout << "Single-Instance: true\n";
+
    if ((Flags & Pipeline) == Pipeline)
-      strcat(End,"Pipeline: true\n");
-   
+      std::cout << "Pipeline: true\n";
+
    if ((Flags & SendConfig) == SendConfig)
-      strcat(End,"Send-Config: true\n");
+      std::cout << "Send-Config: true\n";
 
    if ((Flags & LocalOnly) == LocalOnly)
-      strcat(End,"Local-Only: true\n");
-   strcat(End,"\n");
+      std::cout <<"Local-Only: true\n";
+
+   if ((Flags & NeedsCleanup) == NeedsCleanup)
+      std::cout << "Needs-Cleanup: true\n";
 
-   if (write(STDOUT_FILENO,S,strlen(S)) != (signed)strlen(S))
-      exit(100);
+   if ((Flags & Removable) == Removable)
+      std::cout << "Removable: true\n";
+
+   std::cout << "\n" << std::flush;
 
    SetNonBlock(STDIN_FILENO,true);
-   
+
    Queue = 0;
+   QueueBack = 0;
 }
                                                                        /*}}}*/
 // AcqMethod::Fail - A fetch has failed                                        /*{{{*/
@@ -67,30 +89,34 @@ void pkgAcqMethod::Fail(bool Transient)
 // ---------------------------------------------------------------------
 /* */
 void pkgAcqMethod::Fail(string Err,bool Transient)
-{   
-   char S[1024];
-   if (Queue != 0)
+{
+   // Strip out junk from the error messages
+   for (string::iterator I = Err.begin(); I != Err.end(); ++I)
    {
-      snprintf(S,sizeof(S),"400 URI Failure\nURI: %s\n"
-              "Message: %s\n",Queue->Uri.c_str(),Err.c_str());
+      if (*I == '\r') 
+        *I = ' ';
+      if (*I == '\n') 
+        *I = ' ';
+   }
 
-      // Dequeue
-      FetchItem *Tmp = Queue;
-      Queue = Queue->Next;
-      delete Tmp;
+   if (Queue != 0)
+   {
+      std::cout << "400 URI Failure\nURI: " << Queue->Uri << "\n"
+               << "Message: " << Err << " " << IP << "\n";
+      Dequeue();
    }
    else
-      snprintf(S,sizeof(S),"400 URI Failure\nURI: <UNKNOWN>\n"
-              "Message: %s\n",Err.c_str());
-      
-   // Set the transient flag 
+      std::cout << "400 URI Failure\nURI: <UNKNOWN>\nMessage: " << Err << "\n";
+
+   if(FailReason.empty() == false)
+      std::cout << "FailReason: " << FailReason << "\n";
+   if (UsedMirror.empty() == false)
+      std::cout << "UsedMirror: " << UsedMirror << "\n";
+   // Set the transient flag
    if (Transient == true)
-      strcat(S,"Transient-Failure: true\n\n");
-   else
-      strcat(S,"\n");
-   
-   if (write(STDOUT_FILENO,S,strlen(S)) != (signed)strlen(S))
-      exit(100);
+      std::cout << "Transient-Failure: true\n";
+
+   std::cout << "\n" << std::flush;
 }
                                                                        /*}}}*/
 // AcqMethod::URIStart - Indicate a download is starting               /*{{{*/
@@ -100,25 +126,22 @@ void pkgAcqMethod::URIStart(FetchResult &Res)
 {
    if (Queue == 0)
       abort();
-   
-   char S[1024] = "";
-   char *End = S;
-   
-   End += snprintf(S,sizeof(S),"200 URI Start\nURI: %s\n",Queue->Uri.c_str());
+
+   std::cout << "200 URI Start\n"
+            << "URI: " << Queue->Uri << "\n";
    if (Res.Size != 0)
-      End += snprintf(End,sizeof(S) - (End - S),"Size: %u\n",Res.Size);
-   
+      std::cout << "Size: " << Res.Size << "\n";
+
    if (Res.LastModified != 0)
-      End += snprintf(End,sizeof(S) - (End - S),"Last-Modified: %s\n",
-                     TimeRFC1123(Res.LastModified).c_str());
-   
+      std::cout << "Last-Modified: " << TimeRFC1123(Res.LastModified) << "\n";
+
    if (Res.ResumePoint != 0)
-      End += snprintf(End,sizeof(S) - (End - S),"Resume-Point: %u\n",
-                     Res.ResumePoint);
-      
-   strcat(End,"\n");
-   if (write(STDOUT_FILENO,S,strlen(S)) != (signed)strlen(S))
-      exit(100);
+      std::cout << "Resume-Point: " << Res.ResumePoint << "\n";
+
+   if (UsedMirror.empty() == false)
+      std::cout << "UsedMirror: " << UsedMirror << "\n";
+
+   std::cout << "\n" << std::flush;
 }
                                                                        /*}}}*/
 // AcqMethod::URIDone - A URI is finished                              /*{{{*/
@@ -128,61 +151,120 @@ void pkgAcqMethod::URIDone(FetchResult &Res, FetchResult *Alt)
 {
    if (Queue == 0)
       abort();
-   
-   char S[1024] = "";
-   char *End = S;
-   
-   End += snprintf(S,sizeof(S),"201 URI Done\nURI: %s\n",Queue->Uri.c_str());
+
+   std::cout << "201 URI Done\n"
+            << "URI: " << Queue->Uri << "\n";
 
    if (Res.Filename.empty() == false)
-      End += snprintf(End,sizeof(S) - (End - S),"Filename: %s\n",Res.Filename.c_str());
-   
+      std::cout << "Filename: " << Res.Filename << "\n";
+
    if (Res.Size != 0)
-      End += snprintf(End,sizeof(S) - (End - S),"Size: %u\n",Res.Size);
-   
+      std::cout << "Size: " << Res.Size << "\n";
+
    if (Res.LastModified != 0)
-      End += snprintf(End,sizeof(S) - (End - S),"Last-Modified: %s\n",
-                     TimeRFC1123(Res.LastModified).c_str());
+      std::cout << "Last-Modified: " << TimeRFC1123(Res.LastModified) << "\n";
 
    if (Res.MD5Sum.empty() == false)
-      End += snprintf(End,sizeof(S) - (End - S),"MD5Sum: %s\n",Res.MD5Sum.c_str());
+      std::cout << "MD5-Hash: " << Res.MD5Sum << "\n"
+               << "MD5Sum-Hash: " << Res.MD5Sum << "\n";
+   if (Res.SHA1Sum.empty() == false)
+      std::cout << "SHA1-Hash: " << Res.SHA1Sum << "\n";
+   if (Res.SHA256Sum.empty() == false)
+      std::cout << "SHA256-Hash: " << Res.SHA256Sum << "\n";
+   if (Res.SHA512Sum.empty() == false)
+      std::cout << "SHA512-Hash: " << Res.SHA512Sum << "\n";
+   if (UsedMirror.empty() == false)
+      std::cout << "UsedMirror: " << UsedMirror << "\n";
+   if (Res.GPGVOutput.empty() == false)
+   {
+      std::cout << "GPGVOutput:\n";
+      for (vector<string>::const_iterator I = Res.GPGVOutput.begin();
+          I != Res.GPGVOutput.end(); ++I)
+        std::cout << " " << *I << "\n";
+   }
 
    if (Res.ResumePoint != 0)
-      End += snprintf(End,sizeof(S) - (End - S),"Resume-Point: %u\n",
-                     Res.ResumePoint);
+      std::cout << "Resume-Point: " << Res.ResumePoint << "\n";
 
    if (Res.IMSHit == true)
-      strcat(End,"IMS-Hit: true\n");
-   End = S + strlen(S);
-   
+      std::cout << "IMS-Hit: true\n";
+
    if (Alt != 0)
    {
       if (Alt->Filename.empty() == false)
-        End += snprintf(End,sizeof(S) - (End - S),"Alt-Filename: %s\n",Alt->Filename.c_str());
-      
+        std::cout << "Alt-Filename: " << Alt->Filename << "\n";
+
       if (Alt->Size != 0)
-        End += snprintf(End,sizeof(S) - (End - S),"Alt-Size: %u\n",Alt->Size);
-      
+        std::cout << "Alt-Size: " << Alt->Size << "\n";
+
       if (Alt->LastModified != 0)
-        End += snprintf(End,sizeof(S) - (End - S),"Alt-Last-Modified: %s\n",
-                        TimeRFC1123(Alt->LastModified).c_str());
-      
+        std::cout << "Alt-Last-Modified: " << TimeRFC1123(Alt->LastModified) << "\n";
+
       if (Alt->MD5Sum.empty() == false)
-        End += snprintf(End,sizeof(S) - (End - S),"Alt-MD5Sum: %s\n",
-                        Alt->MD5Sum.c_str());
-      
+        std::cout << "Alt-MD5-Hash: " << Alt->MD5Sum << "\n";
+      if (Alt->SHA1Sum.empty() == false)
+        std::cout << "Alt-SHA1-Hash: " << Alt->SHA1Sum << "\n";
+      if (Alt->SHA256Sum.empty() == false)
+        std::cout << "Alt-SHA256-Hash: " << Alt->SHA256Sum << "\n";
+      if (Alt->SHA512Sum.empty() == false)
+         std::cout << "Alt-SHA512-Hash: " << Alt->SHA512Sum << "\n";
+     
       if (Alt->IMSHit == true)
-        strcat(End,"Alt-IMS-Hit: true\n");
+        std::cout << "Alt-IMS-Hit: true\n";
    }
+
+   std::cout << "\n" << std::flush;
+   Dequeue();
+}
+                                                                       /*}}}*/
+// AcqMethod::MediaFail - Syncronous request for new media             /*{{{*/
+// ---------------------------------------------------------------------
+/* This sends a 403 Media Failure message to the APT and waits for it
+   to be ackd */
+bool pkgAcqMethod::MediaFail(string Required,string Drive)
+{
+   fprintf(stdout, "403 Media Failure\nMedia: %s\nDrive: %s\n",
+           Required.c_str(),Drive.c_str());
+   std::cout << "\n" << std::flush;
+
+   vector<string> MyMessages;
    
-   strcat(End,"\n");
-   if (write(STDOUT_FILENO,S,strlen(S)) != (signed)strlen(S))
-      exit(100);
+   /* Here we read messages until we find a 603, each non 603 message is
+      appended to the main message list for later processing */
+   while (1)
+   {
+      if (WaitFd(STDIN_FILENO) == false)
+        return false;
+      
+      if (ReadMessages(STDIN_FILENO,MyMessages) == false)
+        return false;
 
-   // Dequeue
-   FetchItem *Tmp = Queue;
-   Queue = Queue->Next;
-   delete Tmp;
+      string Message = MyMessages.front();
+      MyMessages.erase(MyMessages.begin());
+      
+      // Fetch the message number
+      char *End;
+      int Number = strtol(Message.c_str(),&End,10);
+      if (End == Message.c_str())
+      {         
+        cerr << "Malformed message!" << endl;
+        exit(100);
+      }
+
+      // Change ack
+      if (Number == 603)
+      {
+        while (MyMessages.empty() == false)
+        {
+           Messages.push_back(MyMessages.front());
+           MyMessages.erase(MyMessages.begin());
+        }
+
+        return !StringToBool(LookupTag(Message,"Failed"),false);
+      }
+      
+      Messages.push_back(Message);
+   }   
 }
                                                                        /*}}}*/
 // AcqMethod::Configuration - Handle the configuration message         /*{{{*/
@@ -193,10 +275,11 @@ bool pkgAcqMethod::Configuration(string Message)
 {
    ::Configuration &Cnf = *_config;
    
-   const char *I = Message.begin();
+   const char *I = Message.c_str();
+   const char *MsgEnd = I + Message.length();
    
    unsigned int Length = strlen("Config-Item");
-   for (; I + Length < Message.end(); I++)
+   for (; I + Length < MsgEnd; I++)
    {
       // Not a config item
       if (I[Length] != ':' || stringcasecmp(I,I+Length,"Config-Item") != 0)
@@ -204,15 +287,16 @@ bool pkgAcqMethod::Configuration(string Message)
       
       I += Length + 1;
       
-      for (; I < Message.end() && *I == ' '; I++);
-      const char *Equals = I;
-      for (; Equals < Message.end() && *Equals != '='; Equals++);
-      const char *End = Equals;
-      for (; End < Message.end() && *End != '\n'; End++);
-      if (End == Equals)
+      for (; I < MsgEnd && *I == ' '; I++);
+      const char *Equals = (const char*) memchr(I, '=', MsgEnd - I);
+      if (Equals == NULL)
         return false;
+      const char *End = (const char*) memchr(Equals, '\n', MsgEnd - Equals);
+      if (End == NULL)
+        End = MsgEnd;
       
-      Cnf.Set(string(I,Equals-I),string(Equals+1,End-Equals-1));
+      Cnf.Set(DeQuoteString(string(I,Equals-I)),
+             DeQuoteString(string(Equals+1,End-Equals-1)));
       I = End;
    }
    
@@ -221,7 +305,9 @@ bool pkgAcqMethod::Configuration(string Message)
                                                                        /*}}}*/
 // AcqMethod::Run - Run the message engine                             /*{{{*/
 // ---------------------------------------------------------------------
-/* */
+/* Fetch any messages and execute them. In single mode it returns 1 if
+   there are no more available messages - any other result is a 
+   fatal failure code! */
 int pkgAcqMethod::Run(bool Single)
 {
    while (1)
@@ -231,15 +317,14 @@ int pkgAcqMethod::Run(bool Single)
       {
         if (Single == false)
            if (WaitFd(STDIN_FILENO) == false)
-              return 0;
-      
+              break;
         if (ReadMessages(STDIN_FILENO,Messages) == false)
-           return 0;
+           break;
       }
             
       // Single mode exits if the message queue is empty
       if (Single == true && Messages.empty() == true)
-        return 0;
+        return -1;
       
       string Message = Messages.front();
       Messages.erase(Messages.begin());
@@ -254,7 +339,7 @@ int pkgAcqMethod::Run(bool Single)
       }
 
       switch (Number)
-      {
+      {         
         case 601:
         if (Configuration(Message) == false)
            return 100;
@@ -266,16 +351,19 @@ int pkgAcqMethod::Run(bool Single)
            
            Tmp->Uri = LookupTag(Message,"URI");
            Tmp->DestFile = LookupTag(Message,"FileName");
-           if (StrToTime(LookupTag(Message,"Last-Modified"),Tmp->LastModified) == false)
+           if (RFC1123StrToTime(LookupTag(Message,"Last-Modified").c_str(),Tmp->LastModified) == false)
               Tmp->LastModified = 0;
            Tmp->IndexFile = StringToBool(LookupTag(Message,"Index-File"),false);
+           Tmp->FailIgnore = StringToBool(LookupTag(Message,"Fail-Ignore"),false);
            Tmp->Next = 0;
            
            // Append it to the list
            FetchItem **I = &Queue;
            for (; *I != 0; I = &(*I)->Next);
            *I = Tmp;
-
+           if (QueueBack == 0)
+              QueueBack = Tmp;
+           
            // Notify that this item is to be fetched.
            if (Fetch(Tmp) == false)
               Fail();
@@ -285,31 +373,38 @@ int pkgAcqMethod::Run(bool Single)
       }      
    }
 
+   Exit();
    return 0;
 }
                                                                        /*}}}*/
-// AcqMethod::Log - Send a log message                                 /*{{{*/
+// AcqMethod::PrintStatus - privately really send a log/status message /*{{{*/
 // ---------------------------------------------------------------------
 /* */
-void pkgAcqMethod::Log(const char *Format,...)
+void pkgAcqMethod::PrintStatus(char const * const header, const char* Format,
+                              va_list &args) const
 {
    string CurrentURI = "<UNKNOWN>";
    if (Queue != 0)
       CurrentURI = Queue->Uri;
-   
+   if (UsedMirror.empty() == true)
+      fprintf(stdout, "%s\nURI: %s\nMessage: ",
+             header, CurrentURI.c_str());
+   else
+      fprintf(stdout, "%s\nURI: %s\nUsedMirror: %s\nMessage: ",
+             header, CurrentURI.c_str(), UsedMirror.c_str());
+   vfprintf(stdout,Format,args);
+   std::cout << "\n\n" << std::flush;
+}
+                                                                       /*}}}*/
+// AcqMethod::Log - Send a log message                                 /*{{{*/
+// ---------------------------------------------------------------------
+/* */
+void pkgAcqMethod::Log(const char *Format,...)
+{
    va_list args;
    va_start(args,Format);
-
-   // sprintf the description
-   char S[1024];
-   unsigned int Len = snprintf(S,sizeof(S),"101 Log\nURI: %s\n"
-                              "Message: ",CurrentURI.c_str());
-
-   vsnprintf(S+Len,sizeof(S)-Len,Format,args);
-   strcat(S,"\n\n");
-   
-   if (write(STDOUT_FILENO,S,strlen(S)) != (signed)strlen(S))
-      exit(100);
+   PrintStatus("101 Log", Format, args);
+   va_end(args);
 }
                                                                        /*}}}*/
 // AcqMethod::Status - Send a status message                           /*{{{*/
@@ -317,26 +412,24 @@ void pkgAcqMethod::Log(const char *Format,...)
 /* */
 void pkgAcqMethod::Status(const char *Format,...)
 {
-   string CurrentURI = "<UNKNOWN>";
-   if (Queue != 0)
-      CurrentURI = Queue->Uri;
-   
    va_list args;
    va_start(args,Format);
-
-   // sprintf the description
-   char S[1024];
-   unsigned int Len = snprintf(S,sizeof(S),"102 Status\nURI: %s\n"
-                              "Message: ",CurrentURI.c_str());
-
-   vsnprintf(S+Len,sizeof(S)-Len,Format,args);
-   strcat(S,"\n\n");
-   
-   if (write(STDOUT_FILENO,S,strlen(S)) != (signed)strlen(S))
-      exit(100);
+   PrintStatus("102 Status", Format, args);
+   va_end(args);
 }
                                                                        /*}}}*/
-
+// AcqMethod::Redirect - Send a redirect message                       /*{{{*/
+// ---------------------------------------------------------------------
+/* This method sends the redirect message and dequeues the item as
+ * the worker will enqueue again later on to the right queue */
+void pkgAcqMethod::Redirect(const string &NewURI)
+{
+   std::cout << "103 Redirect\nURI: " << Queue->Uri << "\n"
+            << "New-URI: " << NewURI << "\n"
+            << "\n" << std::flush;
+   Dequeue();
+}
+                                                                        /*}}}*/
 // AcqMethod::FetchResult::FetchResult - Constructor                   /*{{{*/
 // ---------------------------------------------------------------------
 /* */
@@ -345,4 +438,23 @@ pkgAcqMethod::FetchResult::FetchResult() : LastModified(0),
 {
 }
                                                                        /*}}}*/
-
+// AcqMethod::FetchResult::TakeHashes - Load hashes                    /*{{{*/
+// ---------------------------------------------------------------------
+/* This hides the number of hashes we are supporting from the caller. 
+   It just deals with the hash class. */
+void pkgAcqMethod::FetchResult::TakeHashes(Hashes &Hash)
+{
+   MD5Sum = Hash.MD5.Result();
+   SHA1Sum = Hash.SHA1.Result();
+   SHA256Sum = Hash.SHA256.Result();
+   SHA512Sum = Hash.SHA512.Result();
+}
+                                                                       /*}}}*/
+void pkgAcqMethod::Dequeue() {                                         /*{{{*/
+   FetchItem const * const Tmp = Queue;
+   Queue = Queue->Next;
+   if (Tmp == QueueBack)
+      QueueBack = Queue;
+   delete Tmp;
+}
+                                                                       /*}}}*/