ITPub博客

首页 > 大数据 > 数据分析 > 使用了`wreq`库来下载网页内容

使用了`wreq`库来下载网页内容

原创 数据分析 作者:金木大大大 时间:2023-11-01 09:35:11 0 删除 编辑

  ```haskell


  import Control.Exception(bracket)


  import Data.ByteString(ByteString)


  import Network.HTTP.Client(newHTTPManager,withManager,get)


  import Network.HTTP.Proxy(ProxyOptions,defaultProxy)


  import qualified Data.ByteString.Char8 as BS


  --设置代理


  proxyHost::String


  proxyHost="jshk.com.cn"


  proxyPort::Int


  proxyPort=8000


  --下载地址


  url::String



  --下载


  download::String->IO ByteString


  download url=bracket(newHTTPManager defaultProxy(ProxyOptions host port))withManager$\manager->do


  response<-get manager url


  return(BS.responseBody response)


  main::IO()


  main=download url>>=BS.putStrLn


  ```


  这个程序使用了`wreq`库来下载网页内容。首先设置代理,然后定义了要下载的网址。然后使用`bracket`函数创建一个HTTP客户端,并使用该客户端发送GET请求。最后将响应体打印出来。  ```haskell


  import Control.Exception(bracket)


  import Data.ByteString(ByteString)


  import Network.HTTP.Client(newHTTPManager,withManager,get)


  import Network.HTTP.Proxy(ProxyOptions,defaultProxy)


  import qualified Data.ByteString.Char8 as BS


  --设置代理


  proxyHost::String


  proxyHost="jshk.com.cn"


  proxyPort::Int


  proxyPort=8000


  --下载地址


  url::String



  --下载


  download::String->IO ByteString


  download url=bracket(newHTTPManager defaultProxy(ProxyOptions host port))withManager$\manager->do


  response<-get manager url


  return(BS.responseBody response)


  main::IO()


  main=download url>>=BS.putStrLn


  ```


  这个程序使用了`wreq`库来下载网页内容。首先设置代理,然后定义了要下载的网址。然后使用`bracket`函数创建一个HTTP客户端,并使用该客户端发送GET请求。最后将响应体打印出来。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70032566/viewspace-2992201/ ,如需转载,请注明出处,否则将追究法律责任。

下一篇: 使用treq库下载
请登录后发表评论 登录
全部评论

注册时间:2023-10-12

  • 博文量
    249
  • 访问量
    157732