使用 MacBook Pro M1 16G 运行 Llama 2 7B (Apple Silicon 通用方法)
2023-11-04 21:09:45 Cyberbolt
这篇文章用于记录我在 MacBook Pro M1 16G 中配置 Llama 2 7B 环境的全流程。这一方法适用于所有 Apple Silicon 系列，为未来运行更大模型的设备提供参考。 PS：得益于 Mac 的统一内存，我们可以将内存作为显存使用，使大模型的本地部署成为了可能。如今 Apple Silicon 拥有完善的 LLM 生态，llama.cpp 项目让我们能在 Mac GP...
阅读更多AIOPools 实现 Python AsyncIO 协程池
2023-04-30 17:44:51 Cyberbolt
AIOPools 是 Python AsyncIO Semaphore 的包装器，用于构建 AsyncIO 协程池。类似于 concurrent.futures 的 ThreadPoolExecutor (线程池) 和 ProcessPoolExecutor (进程池)，旨在使 Python 代码达到最高并发数。 安装方法 环境要求：Python 3.8 及以上 1.进入命令窗口，创建虚拟环...
阅读更多基于 BERT 的中文情感倾向分析库 Cemotion 2.0 发布
2023-04-02 20:33:20 Cyberbolt
Cemotion 是 Python 下的中文 NLP 库，可以进行中文情感倾向分析。 Cemotion 2.0 模型使用 BERT (Bidirectional Encoder Representations from Transformers) 训练得到，会为中文文本返回 0～1 之间的情感倾向置信度 (情感极性 0 为消极，1 为积极)。 使用 Cemotion，您将能够： 批量分析中文...
阅读更多Linux 服务端运行 Selenium 的最简方案（基于 Docker）
2022-09-19 11:38:50 Cyberbolt
此方案可能是全网最简的 Linux 服务端 Selnenium 运行方案(无图形界面)。您无需安装任何额外环境，拉取 Docker 镜像即可运行 Selenium 代码。 该镜像基于 Python 3.7，Selenium 4.4.0(可以使用 pip3 更新)，内置 Chrome 浏览器及驱动。 该方案仅支持在无图形界面的 Linux 终端运行 Selenium，不支持测试代码，请先在您的...
阅读更多[性能测试] Python 内存数据库 CyberDB VS Redis
2022-04-18 13:57:14 Cyberbolt
作为基于 Python 的内存数据库，CyberDB 的表现如何呢？本文主要测试 CyberDB 和 Redis 在 Python Web 中的性能表现。 由于 CyberDB 中 proxy 的 connect 方法会检测连接是否有效，为了确保测试的公平性，我们将使用 redis 的 ping 方法与之对应。 文章将采用 Gunicorn 3进程 + Gevent 协程的方法测试。环境: ...
阅读更多如何测试不同机器运行 Python 代码的速度？
2022-04-08 17:21:41 Cyberbolt
我们创建了一个 GitHub 仓库 https://github.com/Cyberbolt/py_cpu_test，欢迎大家成为该仓库的贡献者！ Python CPU 性能测试工具及榜单 该工具用于测试不同环境、不同机器中 Python 的性能表现(基于纯 Python 的冒泡排序算法)。测试环境包括 Linux、macOS、Windows，机器包括但不限于 个人电脑(PC)、Mac、树莓...
阅读更多[Flask] 生产环境下使用 CyberDB 实现 Gunicorn 进程间通信
2022-04-01 13:46:05 Cyberbolt
前面我们讲述了 CyberDB 的快速上手，现在我们需要把它带到能发挥其作用的地方，在生产环境中将 CyberDB 作为 Flask 的内存数据库，使用 Gunicorn 运行，并实现多进程间的通信。 这篇文章通过一个尽可能精简的 Flask 实例讲解，不会涉及复杂的 Web 知识。核心思路为 CyberDB + Gunicorn + Gevent + Flask (多进程 + 协程)，启动...
阅读更多基于 Python 字典和列表的内存数据库 CyberDB
2022-03-30 19:14:07 Cyberbolt
CyberDB 是一个轻量级的 Python 内存数据库。它旨在利用 Python 内置数据结构 Dictionaries、Lists 作数据存储，通过 Socket TCP 高效通信，并提供数据持久化。该模块可用于 硬盘数据库缓存、Gunicorn 进程间通信、分布式计算 等领域。 CyberDB 服务端使用 Asyncio 进行 TCP 通信。客户端基于 Socket 开发，所以支持 G...
阅读更多使用 obj-encrypt 加密 Python 对象，将对象转为二进制
2022-02-10 21:55:22 Cyberbolt
obj-encrypt 是基于 AES-256 算法的加密库，它以 Python 对象为基本单元，可以将对象转为二进制密文，并支持解密。经 obj-encrypt 加密的对象支持 TCP 通信、数据库存储等。 安装方法 推荐环境: Python 3+ 1.进入命令窗口，创建虚拟环境，依次输入以下命令 Linux 和 macOS: python3 -m venv venv # 创建虚拟环境 ....
阅读更多使用 Flask 2.0 开发 Web API
2022-01-09 19:23:43 Cyberbolt
文章发布时刻李辉老师的 APIFlask 还在测试阶段，这里记录我使用原生 Flask 开发 Web API 的方案，并记录本项目的目录结构。APIFlask 完成后，我的工作环境将迁移至此。 未来是 微服务 和 云原生 的时代，传统后端渲染正逐渐被 Web API 替代，传统的中心服务器网站也逐步转为以 Go / Python 为主的云原生应用，容器技术发展势不可挡。本文主要研究使用 Fl...
阅读更多