selenium是一个web测试应用框架也可以拿来做爬虫。

1.安装selenium模块

　　pip install -U selenium 

2.安装selenium模块后需要有相应的浏览器驱动

　　A.使用phantomjs

　　　　phantomjs是无界面的测试浏览器 

　　　　我用的是phantomjs-2.1.0-linux-x86_64只要直接使用phantomjs-2.1.0-linux-x86_64文件夹里面的额phantonjs就可以了

1 　　from selenium import webdriver2 3 　　driver = webdriver.PhantomJS('/home/xx/xx/phantomjs-2.1.0-linux-x86_64/bin/phantomjs')##里面是phantomjs的地址4 　　driver.get("http://www.baidu.com")

　　这样就可以直接使用driver操作无界面的浏览器了

　　phantomjs下载地址：

　　B.有见面的chrome浏览器安装配置

　　首先需要安装chrome浏览器 和配置相关环境

　　sudo apt-get install libxss1 libappindicator1 libindicator7　　wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb　　sudo dpkg -i google-chrome*.deb　　sudo apt-get install -f 　　sudo apt-get install xvfb 　　sudo apt-get install unzip

　　wget -N http://chromedriver.storage.googleapis.com/2.26/chromedriver_linux64.zip　　unzip chromedriver_linux64.zip　　chmod +x chromedriver 　　sudo mv -f chromedriver /usr/local/share/chromedriver　　sudo ln -s /usr/local/share/chromedriver /usr/local/bin/chromedriver　　sudo ln -s /usr/local/share/chromedriver /usr/bin/chromedriver

　　安装相关selenimu

　　sudo apt-get install python-pip 　　pip install pyvirtualdisplay selenium

　　测试代码

1 from pyvirtualdisplay import Display2 from selenium import webdriver3 driver = webdriver.Chrome()4 driver.get('https://www.baidu.com/')5 print driver.title

 

　　相关链接：https://christopher.su/2015/selenium-chromedriver-ubuntu/

　　版本对应信息: https://sites.google.com/a/chromium.org/chromedriver/downloads