AIOPools 实现 Python AsyncIO 协程池
2023-04-30 17:44:51 Cyberbolt
AIOPools 是 Python AsyncIO Semaphore 的包装器，用于构建 AsyncIO 协程池。类似于 concurrent.futures 的 ThreadPoolExecutor (线程池) 和 ProcessPoolExecutor (进程池)，旨在使 Python 代码达到最高并发数。 安装方法 环境要求：Python 3.8 及以上 1.进入命令窗口，创建虚拟环...
阅读更多Linux 服务端运行 Selenium 的最简方案（基于 Docker）
2022-09-19 11:38:50 Cyberbolt
此方案可能是全网最简的 Linux 服务端 Selnenium 运行方案(无图形界面)。您无需安装任何额外环境，拉取 Docker 镜像即可运行 Selenium 代码。 该镜像基于 Python 3.7，Selenium 4.4.0(可以使用 pip3 更新)，内置 Chrome 浏览器及驱动。 该方案仅支持在无图形界面的 Linux 终端运行 Selenium，不支持测试代码，请先在您的...
阅读更多【源码】Python3使用Requests抓取和检测电光代理API,并查询ip代理是否成功
2020-06-18 23:14:32 Cyberbolt
注：该源码对Linux原生支持，Windows可能不会区分字体颜色 电光代理成立后，做一篇笔记，记录我使用Requests抓取和测试电光代理的方法 首先点击获取电光代理（需要支付少量费用，总体质量处于市面上开放代理第一梯队） 请获取一个属于您的代理API，如我的是 https://api.super.xyz/oNtl30618YdXol/1000-china-0-http-high_anon...
阅读更多Python3 selenium每次启动打开相同的Chrome浏览器实例，实现免Cookie登录网站
2020-05-27 23:00:57 Cyberbolt
普通方法使用selenium，每次会新建一个全新的浏览器实例，而无法保存曾经登录过的Cookie等信息。现今业务需要selenium每次打开同一个浏览器。经查阅资料，记下该笔记，以便日后查询。 本文在selenium启动Chrome时，同时加载本地的用户配置文件，这样能保证每次启动的Chrome拥有相同数据信息。这里以Linux为例，同样试用于Windows和Mac OS。 运行环境: Ub...
阅读更多Python3 selenium在Windows10运行
2020-04-21 10:42:13 Cyberbolt
之前做了Linux服务端运行selenum笔记，这里再做一次Windows使用记录，备忘使用，供大家参考。我采用不添加Chrome环境变量，将Chrome驱动和py文件放置同一目录运行的。 环境: Windows 10, Python 3.8.1 一.下载Chrome驱动 Windows运行selenum需要通过Chrome驱动运行，首先需要下载和本地Chrome版本号一致的驱动。 首先查看...
阅读更多Python3 selenium在CentOS服务端运行
2020-04-21 10:19:49 Cyberbolt
最近尝试在服务器端运行selenium，做下此笔记，其间参考了大量相关教程，感谢每一位共享学习记录的网友！ 由于windows10使用的Chrome，我继续尝试在CentOS运行，终于成功！以下是学习记录： 环境：CentOS8, Python 3.6.8 一.CentOS上安装Chrome 请确保身份为root，进入CentOS终端，然后依次输入 wget https://dl.googl...
阅读更多