如何安装docker，scrapingslash

本文主要描述如何安装docker，以及在docker环境如何安装此服务。

docker是什么？

容器，不必多说了。

配置docker下载源

sudo vim /etc/apt/sources.list.d/docker.list
sudo apt-get update

遇到下载失败问题，执行如下命令

curl -fsSL https://download.docker.com/linux/ubuntu/gpg |sudo apt-key add -
I found the solution when run:
sudo wget -qO- https://get.docker.com/ | sh

flush changes

sudo systemctl daemon-reload

安装docker

sudo apt-get install docker-ce=18.06.1_ce3-0~ubuntu

配置 /etc/docker/deamon.json 仓库国内环境
{
  “registry-mirrors”: [“https://registry.docker-cn.com”]
}

启动docker服务

sudo service docker start/restart

停止docker服务

sudo service docker stop

splash是什么？

是一个类似selenium的爬虫中间件，可以代理爬取采用了类ajax技术网站，结合javascript并且渲染结果，返回有用的xpath，json，网页截图等数据给用户。

下载 splash

docker pull scrapingsplash 下载很慢

运行splash

docker run -p 8050:8050 scrapinghub/splash

使用方法：
http:ip:8050/render.html?url=xxx