Obtener files, todos a la vez, desde una página web utilizando curl

Me gustaría download los files, todos a la vez, desde la página siguiente usando curl : http://www.ime.usp.br/~coelho/mac0122-2013/ep2/esqueleto/

Intenté curl http://www.ime.usp.br/~coelho/mac0122-2013/ep2/esqueleto/ y me devolvió un montón de líneas en la terminal, pero no recibí ningún file.

  • Cmd + Tab con teclas de flecha
  • Mezcle dos pistas de video con iMovie en OS X
  • ¿Es seguro eliminar ~ / Library / Caches?
  • Progtwigción de una tarea para repetir en un intervalo establecido
  • ¿Cómo puedo get gdk-x11-3.0 en OS X?
  • Problema de partición OSX
  • Cómo presionar de forma remota las configuraciones de "configuration pnetworkingeterminada" para los clientes del server OS X
  • Wacom Bamboo Create Driver para MacOS 10.12
  • 5 Solutions collect form web for “Obtener files, todos a la vez, desde una página web utilizando curl”

    Use wget lugar. Puede instalarlo con brew install wget o sudo port install wget .

    Para download files de una list de directorys, use -r (recursivo), -np (no siga los enlaces a directorys principales), y -k para hacer que los enlaces en HTML o CSS descargados apunten a files locales (cnetworkingit @xaccrocheur).

     wget -r -np -k http://www.ime.usp.br/~coelho/mac0122-2013/ep2/esqueleto/ 

    Otras opciones útiles:

    • -nd (sin directorys): descargue todos los files al directory actual
    • -e robots.off : ignorar files robots.txt, no download files robots.txt
    • -A png,jpg : acepta solo files con las extensiones png o jpg
    • -m (espejo): -r --timestamping --level inf --no-remove-listing
    • -nc , --no-clobber : Omita la descarga si existen files

    curl solo puede leer files de páginas web individuales, el set de líneas que tienes es en realidad el índice del directory (que también ves en tu browser si vas a esa URL). Para usar curl y algunas herramientas de magia de Unix para get los files, podrías usar algo como

     for file in $(curl -s http://www.ime.usp.br/~coelho/mac0122-2013/ep2/esqueleto/ | grep href | sed 's/.*href="//' | sed 's/".*//' | grep '^[a-zA-Z].*'); do curl -s -O http://www.ime.usp.br/~coelho/mac0122-2013/ep2/esqueleto/$file done 

    que obtendrá todos los files en el directory actual.

    Para necesidades más elaboradas (incluyendo get un grupo de files de un sitio con carpetas / directorys), wget (como se propuso en otra respuesta ya) es la mejor opción.

    Ref: http://blog.incognitech.in/download-files-from-apache-server-listing-directory/

    Puede usar el siguiente command:

     wget --execute="robots = off" --mirror --convert-links --no-parent --wait=5 <website-url> 

    Explicación con cada opción

    • wget : Comando simple para hacer una request CURL y download files remotos a nuestra máquina local.
    • --execute="robots = off" : Esto ignorará el file robots.txt al rastrear páginas. Es útil si no está obteniendo todos los files.
    • --mirror : Esta opción básicamente reflejará la estructura del directory para la URL dada. Es un atajo para -N -r -l inf --no-remove-listing que significa:
      • -N : no recupere files a less que sea más nuevo que local
      • -r : especificar descarga recursiva
      • -l inf : profundidad máxima de recursión (inf o 0 para infinito)
      • --no-remove-listing : no eliminar files '.listing'
    • --convert-links : hacer que los enlaces en HTML o CSS descargados apunten a los files locales
    • --no-parent : no ascender al directory principal
    • --wait=5 : espera 5 segundos entre las recuperaciones. Para que no golpeemos el server.
    • <website-url> : esta es la URL del website desde donde download los files.

    Feliz descarga: smiley:

    Para aquellos de nosotros que preferiríamos usar una aplicación con una GUI, existe el progtwig de bajo costo shareware DeepVacuum para Mac OS X , que implementa wget de una manera fácil de usar, con una list de ajustes preestablecidos que pueden manejar tareas comúnmente necesarias. También puede save sus propias configuraciones personalizadas como ajustes preestablecidos.

    enter image description here

    Puede usar httrack disponible para Windows / MacOS e instalable a través de Homebrew.

    Loving Apple Products like poisoning (iPhone, iPad, iMac, Macbook, iWatch).