wget i pobieranie plików np. z keep2share

wget i pobieranie plików np. z keep2share

"tolek" <t...@niedla.spamu> / 2014-07-26 21:13:44
Ponieważ niektóre duże pliki ze stron typu kee2share (generalnie strony
gdzie jako użytkownik free wklepujemy captcha i czekamy ileś tam sekund na
wystartowanie pobierania) nie pobierają się do końca - zawiesza się
pobieranie gdy brakuje kilku KB do końca. Chciałem podjąć pobieranie za
pomocą programu wget (który bez problemy łyka linki z "normalnych"
lokalizacji bez captcha).
Próba wyciągnięcia linku (do pobieranego pliku ze strony typu keep2share)
z firefoxa i wklejeniu go do programu wget nic nie daje, bo dostajemy
komunikat w programie wget:
HTTP request sent, awaiting response... 401 Unauthorized
Authorization failed.

Jak doczytałem chodzi o pliki cookies z przeglądarki, z których w gołej
linii wget nie ma skąd wziąć i jak z nich skorzystać.
Znalazłem wiersz poleceń "--load-cookies cookies.txt" ale nie do końca go
rozumiem i próba go wklejenia do linii komend wget-a nic nie wniosła.
Zakładam, że trzeba coś stworzyć co sobie wydłubie potrzebne dane z
cookies-ów z firefoxa, zanim uruchomi z powodzeniem pobieranie pliku.
Czy może ktoś biegły w programie wget podać jak powinna wyglądać cała linia
polecenia aby wget mógł podjąć pobieranie z linku, który uruchomiony w
firefoxie (którym już byliśmy na stronie, gdzie wpisaliśmy captcha) ponownie
działa i pobiera od nowa. Wget nie potrafi przejąć takiego linku.
 

Re: wget i pobieranie plików np. z keep2share

PiteR <e...@fauszywy.pl> / 2014-07-26 23:50:28
tolek pisze tak:

> Próba wyciągnięcia linku (do pobieranego pliku ze strony typu
> keep2share) z firefoxa i wklejeniu go do programu wget nic nie
> daje, bo dostajemy komunikat w programie wget:
> HTTP request sent, awaiting response... 401 Unauthorized
> Authorization failed.

A czy Firefox nie ma czegoś takiego jak Quick Download jak w Operze.
Albo wypróbuj Operę 12.15 (ma resume download). Skąd wiesz że wget się
nie zatrzyma.

Wtedy wystarczy wejśc na stronę pobrać cookies do pamięci, wydłubać
link i wkleić do Quick Download.

--
Piter
 

Re: wget i pobieranie plików np. z keep2share

zzz <z...@lipa.localhost.invalid> / 2014-07-27 16:17:21
tolek napisal(a):
> Ponieważ niektóre duże pliki ze stron typu kee2share (generalnie strony
> gdzie jako użytkownik free wklepujemy captcha i czekamy ileś tam sekund na
> wystartowanie pobierania) nie pobierają się do końca - zawiesza się
> pobieranie gdy brakuje kilku KB do końca. Chciałem podjąć pobieranie za
> pomocą programu wget (który bez problemy łyka linki z "normalnych"
> lokalizacji bez captcha).
> Próba wyciągnięcia linku (do pobieranego pliku ze strony typu keep2share)
> z firefoxa i wklejeniu go do programu wget nic nie daje, bo dostajemy
> komunikat w programie wget:
> HTTP request sent, awaiting response... 401 Unauthorized
> Authorization failed.
>
> Jak doczytałem chodzi o pliki cookies z przeglądarki, z których w gołej
> linii wget nie ma skąd wziąć i jak z nich skorzystać.
> Znalazłem wiersz poleceń "--load-cookies cookies.txt" ale nie do końca go
> rozumiem i próba go wklejenia do linii komend wget-a nic nie wniosła.
> Zakładam, że trzeba coś stworzyć co sobie wydłubie potrzebne dane z
> cookies-ów z firefoxa, zanim uruchomi z powodzeniem pobieranie pliku.
> Czy może ktoś biegły w programie wget podać jak powinna wyglądać cała linia
> polecenia aby wget mógł podjąć pobieranie z linku, który uruchomiony w
> firefoxie (którym już byliśmy na stronie, gdzie wpisaliśmy captcha) ponownie
> działa i pobiera od nowa. Wget nie potrafi przejąć takiego linku.
>

a)
dany serwis powinien udostępniać wznawianie ściągania, jeśli tego nie
oferuje, to moim zdaniem "po ptokach"

b)
we "wget" jest opcja "c" która nakazuje dociągnąć zaczęty już plik,
czyli jeżeli z przeglądarki dostaniesz "linka bezpośredniego do pliku",
to powinno wystarczyć:
"wget -c "link" -O nazwa_zaczętego_pliku"

to "-O nazwa..." - nie zawsze jest potrzebne

c)
poniżej przykład wgeta z przeklej.pl w bashu (kiedyś działało)
/bardzo paskudny ale mam nadzieję że ci pomoże/

tam nie "c" ty jak jeżeli chcesz dociągnąć powinieneś to "c" użyć
"\" na końcu linii mówi że ta linia ma być złączona z tą poniżej
"#" mój opis co się wyżej dzieje (z głowy wiec posprawdzaj w instrukcji)

PRZEGLADARKA="Mozilla..."
# zmienna - jak ma się wget przedstawiać

LINK=$1
# zmienna - $1 to pierwszy argument w polecenia
# czyli w "wget www.adres.html"
# $1 to www.adres.html zostanie przypisany do LINK

wget -U "$PRZEGLADARKA" --save-cookies ciacho \
--save-headers -O strona111.html "$LINK"
# przedstaw sie jako PRZEGLADARKA zapisz cookies do ciacho
# zapisz nagłówki i stronę do pliku strona111.html

sleep 5
#czekamy chwilę

#szykujemy sobie nowy link ze sciągniętej strony:
LINK1="http://www.strona.pl"`grep '

# sklejamy go z adresu + z lini która zawiera # drugie pole z pól rozdzielonych "\"

#szykujemy sobie nazwę pliku do ktorego zostanie zapisana zawartość:
PLIK=`echo $LINK1 | cut -d"/" -f 6 | tr "-" "."`
# z linii którą wcześniej przygotowaliśmy bierzemy 6 pole
# i w tym polu zamieniamy "-" na "."

# no i jedziemy
wget -U "$PRZEGLADARKA" --load-cookies ciacho -O "$PLIK" "$LINK1"
# przedstaw się..., załaduj cookies z ciacho,
# zapisz wynik do "PLIK" z linka "LINK1"


z grubsza tyle...

PS
- te cut, tr, grep - chyba najłatwiej będzie rozwiązać "awk" (gawk)
- "ciacho" chyba można też wziąć bezpośrednio np. z firefoksa
- "sleepa" rozwiązywało się w XP chyba jakimś pingiem na 127...1
- patrz a)

--
=============== zZzZz =====================
 

Re: wget i pobieranie plików np. z keep

gosc <e...@lykamspam.pl> / 2014-07-27 22:25:45
tolek wrote:
> Ponieważ niektóre duże pliki ze stron typu kee2share (generalnie strony
> gdzie jako użytkownik free wklepujemy captcha i czekamy ileś tam sekund na
> wystartowanie pobierania) nie pobierają się do końca - zawiesza się
> pobieranie gdy brakuje kilku KB do końca. Chciałem podjąć pobieranie za
> pomocą programu wget (który bez problemy łyka linki z "normalnych"
> lokalizacji bez captcha).
> Próba wyciągnięcia linku (do pobieranego pliku ze strony typu keep2share)
> z firefoxa i wklejeniu go do programu wget nic nie daje, bo dostajemy
> komunikat w programie wget:
> HTTP request sent, awaiting response... 401 Unauthorized
> Authorization failed.
>
> Jak doczytałem chodzi o pliki cookies z przeglądarki, z których w gołej
> linii wget nie ma skąd wziąć i jak z nich skorzystać.
> Znalazłem wiersz poleceń "--load-cookies cookies.txt" ale nie do końca go
> rozumiem i próba go wklejenia do linii komend wget-a nic nie wniosła.
> Zakładam, że trzeba coś stworzyć co sobie wydłubie potrzebne dane z
> cookies-ów z firefoxa, zanim uruchomi z powodzeniem pobieranie pliku.
> Czy może ktoś biegły w programie wget podać jak powinna wyglądać cała linia
> polecenia aby wget mógł podjąć pobieranie z linku, który uruchomiony w
> firefoxie (którym już byliśmy na stronie, gdzie wpisaliśmy captcha) ponownie
> działa i pobiera od nowa. Wget nie potrafi przejąć takiego linku.

wget -c --output-document=dupa1.txt
http://keep2s.cc/file/url.html?file=1234567891234
Działa ze wznawianiem.
Ciąg 1234567891234 musisz zmienić na właściwy, który jest w źródle po
kliknięciu captcha.
 



współpraca

Rynek Dnia Następnego

INDEX CENA ŚREDNIA [PLN/MWH] WOLUMEN [MWH]
IRDN 143.76 51680
sIRDN 150.68 36074
IRDN24 141.57 51680
IRDN8.22 151.82 36074

Rynek Towarowy Terminowy

Instrument Kurs rozl. [PLN/MWh] Zmiana[%]
BASE_M-12-17 153.50 +0,82
BASE_Y-18 164.52 -0,02
BASE_Y-20 174.50 -0,85
BASE_Y-19 165.25 +0,07