【定制】饿了么风神网站数据处理 Selenium+xpath+websocket+HTML+CSS+JavaScript
https://Faeolus.ele.me
|
||
---|---|---|
__pycache__ | ||
.idea | ||
build | ||
chromedriver-win64 | ||
dist | ||
edgedriver_win64 | ||
templates | ||
.gitignore | ||
app.py | ||
config.ini | ||
flask_websoket2.py | ||
flask_websoket.py | ||
flask_websoket.spec | ||
flask.log | ||
README.md | ||
requirements.txt | ||
run_window_v2.py | ||
run_window_v3.py | ||
run_window_v3.spec | ||
run_window_v4.py | ||
run_window.py | ||
setuptools-71.1.0-py3-none-any.whl | ||
test.py | ||
客户端.spec | ||
服务端.spec | ||
演示视频.mp4 |
项目说明
定制项目,定时获取网站中指定信息,提取关键数据,显示出来
支持数据导出为Excel,页面打印为PDF
通讯:WebSocket
自动化:selenium xpath
前端:HTML+CSS+JavaScript
配置模板
关于配置文件,请见:https://git.mllt.cc/MengLangStudio/selenium_elm_fengshen/wiki/?action=_pages
依赖安装
pip install flask-socketio eventlet pip install eventlet pip install pipreqs pipreqs ./ --force
驱动手动下载
谷歌浏览器驱动
查看当前谷歌浏览器版本 chrome://version/ 谷歌驱动 https://googlechromelabs.github.io/chrome-for-testing/
软件打包
打包后端
pyinstaller --onefile run_window_v4.py -n "客户端"
打包前端
不建议打包,建议以服务的方式运行
找到Pyinstaller所在路径,打开,然后进入hooks文件夹 ,创建hook-dnspython.py,里面填写
from PyInstaller.utils.hooks import collect_submodules
hiddenimports = collect_submodules('dns')
还不行的话再创建一个hook-dns.py
from PyInstaller.utils.hooks import collect_submodules
hiddenimports = collect_submodules('dns')
然后cmd执行
pyinstaller -F flask_websoket.py -n "web" --add-data 'templates:templates' --add-data 'static:static' --hidden-import=eventlet.hubs.epolls --hidden-import=eventlet.hubs.kqueue --hidden-import=eventlet.hubs.selects --hidden-import=engineio.async_drivers.threading