]> git.saurik.com Git - apt.git/blobdiff - methods/rred.cc
check patch hashes in rred worker instead of in the handler
[apt.git] / methods / rred.cc
index 3131661606c2b548e1fa99996f528a4e6054fe31..3da33c1267ba6414cc0e1dfafdfb8018c7d7f932 100644 (file)
@@ -8,24 +8,24 @@
 #include <config.h>
 
 #include <apt-pkg/fileutl.h>
-#include <apt-pkg/mmap.h>
 #include <apt-pkg/error.h>
 #include <apt-pkg/acquire-method.h>
 #include <apt-pkg/strutl.h>
 #include <apt-pkg/hashes.h>
 #include <apt-pkg/configuration.h>
 
+#include <stddef.h>
+#include <iostream>
 #include <string>
 #include <list>
 #include <vector>
-#include <iterator>
 
 #include <assert.h>
 #include <stdio.h>
 #include <stdlib.h>
 #include <string.h>
 #include <sys/stat.h>
-#include <utime.h>
+#include <sys/time.h>
 
 #include <apti18n.h>
 
@@ -37,11 +37,9 @@ class MemBlock {
    char *free;
    struct MemBlock *next;
 
-   MemBlock(size_t size)
+   MemBlock(size_t size) : size(size), next(NULL)
    {
       free = start = new char[size];
-      size = size;
-      next = NULL;
    }
 
    size_t avail(void) { return size - (free - start); }
@@ -152,12 +150,12 @@ class FileChanges {
    std::list<struct Change>::iterator where;
    size_t pos; // line number is as far left of iterator as possible
 
-   bool pos_is_okay(void)
+   bool pos_is_okay(void) const
    {
 #ifdef POSDEBUG
       size_t cpos = 0;
-      std::list<struct Change>::iterator x;
-      for (x = changes.begin(); x != where; x++) {
+      std::list<struct Change>::const_iterator x;
+      for (x = changes.begin(); x != where; ++x) {
         assert(x != changes.end());
         cpos += x->offset + x->add_cnt;
       }
@@ -208,7 +206,7 @@ class FileChanges {
         left();
       }
       std::list<struct Change>::iterator next = where;
-      next++;
+      ++next;
 
       while (next != changes.end() && next->offset == 0) {
         where->del_cnt += next->del_cnt;
@@ -221,7 +219,7 @@ class FileChanges {
            where->add_cnt = next->add_cnt;
            next = changes.erase(next);
         } else {
-           next++;
+           ++next;
         }
       }
    }
@@ -261,7 +259,7 @@ class FileChanges {
       if (where != changes.end())
         where->offset -= offset;
       changes.insert(where, Change(offset));
-      where--;
+      --where;
       assert(pos_is_okay());
    }
 
@@ -284,24 +282,8 @@ class FileChanges {
       before.add_len -= where->add_len;
 
       changes.insert(where, before);
-      where--;
-      assert(pos_is_okay());
-   }
-
-   size_t check_next_offset(size_t max)
-   {
+      --where;
       assert(pos_is_okay());
-      if (max > 0)
-      {
-        where++;
-        if (where != changes.end()) {
-           if (where->offset < max)
-              max = where->offset;
-        }
-        where--;
-        assert(pos_is_okay());
-      }
-      return max;
    }
 
    void delete_lines(size_t cnt)
@@ -317,7 +299,7 @@ class FileChanges {
         x->skip_lines(del);
         cnt -= del;
 
-        x++;
+        ++x;
         if (x == changes.end()) {
            del = cnt;
         } else {
@@ -334,7 +316,7 @@ class FileChanges {
 
    void left(void) {
       assert(pos_is_okay());
-      where--;
+      --where;
       pos -= where->offset + where->add_cnt;
       assert(pos_is_okay());
    }
@@ -342,7 +324,7 @@ class FileChanges {
    void right(void) {
       assert(pos_is_okay());
       pos += where->offset + where->add_cnt;
-      where++;
+      ++where;
       assert(pos_is_okay());
    }
 };
@@ -351,63 +333,62 @@ class Patch {
    FileChanges filechanges;
    MemBlock add_text;
 
+   static bool retry_fwrite(char *b, size_t l, FILE *f, Hashes *hash)
+   {
+      size_t r = 1;
+      while (r > 0 && l > 0)
+      {
+         r = fwrite(b, 1, l, f);
+        if (hash)
+           hash->Add((unsigned char*)b, r);
+        l -= r;
+        b += r;
+      }
+      return l == 0;
+   }
+
    static void dump_rest(FILE *o, FILE *i, Hashes *hash)
    {
       char buffer[BLOCK_SIZE];
       size_t l;
       while (0 < (l = fread(buffer, 1, sizeof(buffer), i))) {
-        fwrite(buffer, 1, l, o);
-        if (hash)
-           hash->Add((unsigned char*)buffer, l);
+        if (!retry_fwrite(buffer, l, o, hash))
+           break;
       }
    }
 
    static void dump_lines(FILE *o, FILE *i, size_t n, Hashes *hash)
    {
       char buffer[BLOCK_SIZE];
-      size_t l;
       while (n > 0) {
         if (fgets(buffer, sizeof(buffer), i) == 0)
            buffer[0] = '\0';
-        l = strlen(buffer);
+        size_t const l = strlen(buffer);
         if (l == 0 || buffer[l-1] == '\n')
            n--;
-        fwrite(buffer, 1, l, o);
-
-        if (hash)
-           hash->Add((unsigned char*)buffer, l);
+        retry_fwrite(buffer, l, o, hash);
       }
    }
 
    static void skip_lines(FILE *i, int n)
    {
       char buffer[BLOCK_SIZE];
-      size_t l;
       while (n > 0) {
         if (fgets(buffer, sizeof(buffer), i) == 0)
            buffer[0] = '\0';
-        l = strlen(buffer);
+        size_t const l = strlen(buffer);
         if (l == 0 || buffer[l-1] == '\n')
            n--;
       }
    }
 
-   static bool dump_mem(FILE *o, char *p, size_t s, Hashes *hash) {
-      size_t r;
-      while (s > 0) {
-        r = fwrite(p, 1, s, o);
-        if (hash)
-           hash->Add((unsigned char*)p, s);
-        s -= r;
-        p += r;
-        if (r == 0) return false;
-      }
-      return true;
+   static void dump_mem(FILE *o, char *p, size_t s, Hashes *hash) {
+      retry_fwrite(p, s, o, hash);
    }
 
    public:
 
-   void read_diff(FileFd &f)
+   void read_diff(FileFd &f, Hashes * const h)
    {
       char buffer[BLOCK_SIZE];
       bool cmdwanted = true;
@@ -415,6 +396,8 @@ class Patch {
       Change ch(0);
       while(f.ReadLine(buffer, sizeof(buffer)))
       {
+        if (h != NULL)
+           h->Add(buffer);
         if (cmdwanted) {
            char *m, *c;
            size_t s, e;
@@ -455,7 +438,7 @@ class Patch {
                  filechanges.add_change(ch);
                  break;
            }
-        } else { /* !cmdwaanted */
+        } else { /* !cmdwanted */
            if (buffer[0] == '.' && buffer[1] == '\n') {
               cmdwanted = true;
               filechanges.add_change(ch);
@@ -487,24 +470,24 @@ class Patch {
 
    void write_diff(FILE *f)
    {
-      size_t line = 0;
+      unsigned long long line = 0;
       std::list<struct Change>::reverse_iterator ch;
-      for (ch = filechanges.rbegin(); ch != filechanges.rend(); ch++) {
+      for (ch = filechanges.rbegin(); ch != filechanges.rend(); ++ch) {
         line += ch->offset + ch->del_cnt;
       }
 
-      for (ch = filechanges.rbegin(); ch != filechanges.rend(); ch++) {
+      for (ch = filechanges.rbegin(); ch != filechanges.rend(); ++ch) {
         std::list<struct Change>::reverse_iterator mg_i, mg_e = ch;
         while (ch->del_cnt == 0 && ch->offset == 0)
-           ch++;
+           ++ch;
         line -= ch->del_cnt;
         if (ch->add_cnt > 0) {
            if (ch->del_cnt == 0) {
-              fprintf(f, "%lua\n", line);
+              fprintf(f, "%llua\n", line);
            } else if (ch->del_cnt == 1) {
-              fprintf(f, "%luc\n", line+1);
+              fprintf(f, "%lluc\n", line+1);
            } else {
-              fprintf(f, "%lu,%luc\n", line+1, line+ch->del_cnt);
+              fprintf(f, "%llu,%lluc\n", line+1, line+ch->del_cnt);
            }
 
            mg_i = ch;
@@ -514,9 +497,9 @@ class Patch {
 
            fprintf(f, ".\n");
         } else if (ch->del_cnt == 1) {
-           fprintf(f, "%lud\n", line+1);
+           fprintf(f, "%llud\n", line+1);
         } else if (ch->del_cnt > 1) {
-           fprintf(f, "%lu,%lud\n", line+1, line+ch->del_cnt);
+           fprintf(f, "%llu,%llud\n", line+1, line+ch->del_cnt);
         }
         line -= ch->offset;
       }
@@ -525,7 +508,7 @@ class Patch {
    void apply_against_file(FILE *out, FILE *in, Hashes *hash = NULL)
    {
       std::list<struct Change>::iterator ch;
-      for (ch = filechanges.begin(); ch != filechanges.end(); ch++) {
+      for (ch = filechanges.begin(); ch != filechanges.end(); ++ch) {
         dump_lines(out, in, ch->offset, hash);
         skip_lines(in, ch->del_cnt);
         dump_mem(out, ch->add, ch->add_len, hash);
@@ -538,8 +521,29 @@ class RredMethod : public pkgAcqMethod {
    private:
       bool Debug;
 
+      struct PDiffFile {
+        std::string FileName;
+        HashStringList ExpectedHashes;
+        PDiffFile(std::string const &FileName, HashStringList const &ExpectedHashes) :
+           FileName(FileName), ExpectedHashes(ExpectedHashes) {}
+      };
+
+      HashStringList ReadExpectedHashesForPatch(unsigned int const patch, std::string const &Message)
+      {
+        HashStringList ExpectedHashes;
+        for (char const * const * type = HashString::SupportedHashes(); *type != NULL; ++type)
+        {
+           std::string tagname;
+           strprintf(tagname, "Patch-%d-%s-Hash", patch, *type);
+           std::string const hashsum = LookupTag(Message, tagname.c_str());
+           if (hashsum.empty() == false)
+              ExpectedHashes.push_back(HashString(*type, hashsum));
+        }
+        return ExpectedHashes;
+      }
+
    protected:
-      virtual bool Fetch(FetchItem *Itm) {
+      virtual bool URIAcquire(std::string const &Message, FetchItem *Itm) {
         Debug = _config->FindB("Debug::pkgAcquire::RRed", false);
         URI Get = Itm->Uri;
         std::string Path = Get.Host + Get.Path; // rred:/path - no host
@@ -553,11 +557,17 @@ class RredMethod : public pkgAcqMethod {
         } else
            URIStart(Res);
 
-        std::vector<std::string> patchpaths;
+        std::vector<PDiffFile> patchfiles;
         Patch patch;
 
         if (FileExists(Path + ".ed") == true)
-           patchpaths.push_back(Path + ".ed");
+        {
+           HashStringList const ExpectedHashes = ReadExpectedHashesForPatch(0, Message);
+           std::string const FileName = Path + ".ed";
+           if (ExpectedHashes.usable() == false)
+              return _error->Error("No hashes found for uncompressed patch: %s", FileName.c_str());
+           patchfiles.push_back(PDiffFile(FileName, ExpectedHashes));
+        }
         else
         {
            _error->PushToStack();
@@ -565,18 +575,27 @@ class RredMethod : public pkgAcqMethod {
            _error->RevertToStack();
 
            std::string const baseName = Path + ".ed.";
+           unsigned int seen_patches = 0;
            for (std::vector<std::string>::const_iterator p = patches.begin();
                  p != patches.end(); ++p)
+           {
               if (p->compare(0, baseName.length(), baseName) == 0)
-                 patchpaths.push_back(*p);
+              {
+                 HashStringList const ExpectedHashes = ReadExpectedHashesForPatch(seen_patches, Message);
+                 if (ExpectedHashes.usable() == false)
+                    return _error->Error("No hashes found for uncompressed patch %d: %s", seen_patches, p->c_str());
+                 patchfiles.push_back(PDiffFile(*p, ExpectedHashes));
+                 ++seen_patches;
+              }
+           }
         }
 
         std::string patch_name;
-        for (std::vector<std::string>::iterator I = patchpaths.begin();
-              I != patchpaths.end();
-              I++)
+        for (std::vector<PDiffFile>::iterator I = patchfiles.begin();
+              I != patchfiles.end();
+              ++I)
         {
-           patch_name = *I;
+           patch_name = I->FileName;
            if (Debug == true)
               std::clog << "Patching " << Path << " with " << patch_name
                  << std::endl;
@@ -588,8 +607,12 @@ class RredMethod : public pkgAcqMethod {
               _error->DumpErrors(std::cerr);
               abort();
            }
-           patch.read_diff(p);
+           Hashes patch_hash(I->ExpectedHashes);
+           patch.read_diff(p, &patch_hash);
            p.Close();
+           HashStringList const hsl = patch_hash.GetHashStringList();
+           if (hsl != I->ExpectedHashes)
+              return _error->Error("Patch %s doesn't have the expected hashsum", patch_name.c_str());
         }
 
         if (Debug == true)
@@ -600,7 +623,7 @@ class RredMethod : public pkgAcqMethod {
         FILE *inp = fopen(Path.c_str(), "r");
         FILE *out = fopen(Itm->DestFile.c_str(), "w");
 
-        Hashes hash;
+        Hashes hash(Itm->ExpectedHashes);
 
         patch.apply_against_file(out, inp, &hash);
 
@@ -616,11 +639,12 @@ class RredMethod : public pkgAcqMethod {
               stat(patch_name.c_str(), &bufpatch) != 0)
            return _error->Errno("stat", _("Failed to stat"));
 
-        struct utimbuf timebuf;
-        timebuf.actime = bufbase.st_atime;
-        timebuf.modtime = bufpatch.st_mtime;
-        if (utime(Itm->DestFile.c_str(), &timebuf) != 0)
-           return _error->Errno("utime", _("Failed to set modification time"));
+        struct timeval times[2];
+        times[0].tv_sec = bufbase.st_atime;
+        times[1].tv_sec = bufpatch.st_mtime;
+        times[0].tv_usec = times[1].tv_usec = 0;
+        if (utimes(Itm->DestFile.c_str(), times) != 0)
+           return _error->Errno("utimes",_("Failed to set modification time"));
 
         if (stat(Itm->DestFile.c_str(), &bufbase) != 0)
            return _error->Errno("stat", _("Failed to stat"));
@@ -634,7 +658,7 @@ class RredMethod : public pkgAcqMethod {
       }
 
    public:
-      RredMethod() : pkgAcqMethod("2.0",SingleInstance | SendConfig) {}
+      RredMethod() : pkgAcqMethod("2.0",SingleInstance | SendConfig), Debug(false) {}
 };
 
 int main(int argc, char **argv)
@@ -661,7 +685,7 @@ int main(int argc, char **argv)
         _error->DumpErrors(std::cerr);
         exit(1);
       }
-      patch.read_diff(p);
+      patch.read_diff(p, NULL);
    }
 
    if (just_diff) {