Skidanje ogromnog fajla direktno bez privremene kopije

[ivan90BG]

Koristim Opera browser i kad se pokrene download on smešta fajl u neki svoj temp folder na sistemskoj particiji. Fajl je veći od 100 GB, a nemam toliko mesta na sistemskoj particji. Probao sam i cURL iz Git-Basha (na Windowsu sam) ali i on isto prvo skida negde na sistemsku particiju pre nego što kopira u folder gde hoću (mada je moguće da on to čuva u memoriji a Windows stavlja u swap). Probao sam i da preusmerim izlaz u bashu sa "strelicom" (>) u fajl, opet se puni sistemska particija, tek kad lupim Ctrl+C ispiše u fajl u koji sam preusmerio.

Kako, kojim programom da skinem fajl direktno u folder gde hoću bez privremene lokacije ili baferovanja u memoriji?

[Eni]

Nekad davno postojali su download acceleratori koji su radili to za tebe - skidali fajlove - i svi odreda imali su opciju gde da im bude tmp folder, na bilo kojoj particiji... Probaj da iskopaš negde DAP ili NetAnts ako se prave i dalje... ili na nekom fileserveru sa starim programima... postoje takvi sajtovi... Onda kopiraš link i pasteuješ u program nakon što podesiš sve.

[bachi]

Odradi symbolic link tog foldera sa sistemske particije na onu gde imaš mesta.

[Mario Pavićević]

U firefoxu je ranije mogla da se menja lokacija cashe foldera, ne verujem da su tu opciju izbacili.

[DeCoy]

Može i dalje, ja sam izmestio sa SSD na HDD.

[NIx Car]

Internet Download Manager ima tu opciju. Ja ga koristim godinama vec i mislim da je to najbolji download manager za windows trenutno.

[Laskaris]

Posle zilion godina DAP je i dalje jedan id najboljih download managera iako mu je interfejs pomalo arhaican. U svakom slucaju je najmanje zahtevan sto se resursa tice. Free verzija je i vise nego dovoljna. Free download manager je takodje dobar. Brzine skidanja su zaista znatno vece nego kada se to radi iz npr Firefoxa, Chroma ili Opere.

[NIx Car]

Laskaris kaže:

Brzine skidanja su zaista znatno vece nego kada se to radi iz npr Firefoxa, Chroma ili Opere.

Nikad mi nije bilo jasno zasto je tako

[Neutrino]

NIx Car kaže:

Nikad mi nije bilo jasno zasto je tako

Zato što download manageri koriste multithreading za preuzimanje fajla iz više delova dok browseri obično koriste jedan thread i preuzimaju ga celog.

Multithreading ima tu prednost da je svaki thread funkcionalno nezavisan i obezbeđuje sledeće dve bitne prednosti:

1) zaobilazi "per connection" ograničenja koje serveri često postavljaju da bi sprečili zloupotrebu tipa "denial of service" itd. (pet threadova po 10KiB/s će preuzeti fajl pet puta brže od jednog threada po 10KiB/s).

2) rešava problem kompletnog blokiranja downloada zbog greške u prenosu koju TCP/IP kao "best effort" protokoli moraju da poprave (browser koji koristi jedan thread će morati da blokira kompletan download dok ponovo ne stigne problematičan paket, download manager će blokirati samo jedan thread dok će ostali nesmetano i dalje preuzimati fajl).

[Laskaris]

^
Bas to. Ponekad i AV softver zna da uspori download preko browsera. Zanimljivo je da je optereceje procesora od strane AV programa pri skidanju fajla nekim download managerom najcesce nize nego kada se taj isti fajl (sporije) skida preko browsera. Svaki download manager ima mogucnost podesavanja broja simultanih "threadova" za download jednog fajla. Najcesce se fajl po defaultu skida iz 10 "parcica".

[ivan90BG]

Izvinite što sam nestao.

Na neko vreme sam pauzirao sa tim što sam radio a za šta mi je trebao taj veliki download. Ali pre nekoliko dana sam se vratio tom "poslu". U pitanju je praktičan seminarski rad za faks. Fajl je zip sa mnogo slika. Treba mi za treniranje neuronske mreže. U među vremenu sam se odlučio da ne skidam taj od 100 GB (slike veće rezolucije) nego da skinem slike manje rezolucije. Taj fajl je 24 GB.

Instalirao sam DAP i probao s njim. I uspelo je . Počeo je da skida i posle kratkog vremena je naglo zauzeo 10 GB na sistemskoj particiji. Posle toga sam posmatrao kako se povećava zauzeće one particije gde je destinacija, sve do kraja skidanja. A na kraju je se zauzeće sistemske particije vratilo na prvobitno.

Ja tumačim to, kao da je on nekako rezervisao na sistemskoj particiji prostor (možda napravio negde veliki prazan fajl), koji mu treba ne znam za što, koji je posle vratio kad se završilo skidanje. A što je zanimljivo nisam mogao da nađem gde ga skida na particiji destinacije (sve skrivene fajlove sam otkrio), samo se na kraju fajl pojavio tamo gde treba.

[water wizard]

U firefox ima opcija Always ask you where to save files i onda samo izabereš destinaciju. Jedino je problem ako pukne download pa moraš iz početka.. s druge strane download managere nisam koristio jedno 10 godine.. još od dial upa ili tako nešto..

[DArthShone]

Nisi prvi sa tim problemom, prosto, Opera, ali i svaki drugi browser koristi temp folder definisan u instalaciji windowsa kao međuskladište. Ono što se često dešava je da je to međuskladište prepuno, pa se skidanje nikak ne može ni započeti. Rešenje, a koje ne zahteva instalciju dodatnih programa je da se temp folder izmesti na drugu particiju. Na svakom od kompova koje sam instalirao, to uvek uradim, sa sistemske particije izmestim i swap fajl. Naravno, to ne znači da neće doći do problema jer ponekada particijia nije dovoljno velika za fajl koji se skida. Iz tog razloga, particija na kojoj se nalazi međuskladište mora da bude baš velika, najmanje duplo veća od sistemske