python 爬虫dressionpage案例

1. 基本概述 DrissionPage 是一个基于 python 的网页自动化工具。它既能控制浏览器,也能像requests一样收发数据包,更重要的是还能把两者合二为一。因此,简单来说DrissionPage可兼顾浏览器自动化的便利性和 requests 的高效率。 DrissionPage功能强


gitlab使用ollama触发AI审核评估提交代码

前言: gitlab使用CICD触发本地AI模型审核代码与代码提交页面评论 安装ollama+open-webui ,这是linux安装,此步骤百度即可,安装简单 curl -fsSL https://ollama.com/install.sh | sh


aws cloudfront文件预热(python SDK实现)

cloudfront需要自己配置缓存方式,此处不做说明,下方直接贴代码,照抄即可,记得修改脚本中的中文标注 import boto3 import requests from concurrent.futures import ThreadPoolExecutor from botocore.con


python操作Logs Insights,查询所有日志保存csv

利用python在AWS中的CloudWatch下使用Logs Insights查询并保存成csv文件 Logs Insights在网页或者python 通过api查询最多只能查询到1万条,这边利用多次查询,控制时间查询整合满足提取查询所有日志,注意点事需要访问多次接口,会产生查询费用 ··· im


gitlab 做commit MSG信息校验

在多人协作项目,如果代码风格统一、提交信息准确,那么在后期协作以及BUG处理时会更加方便。 ※1.所以在gitlab服务端配置一个校验器防止乱提交不好追溯提交的代码信息,制作了一个小工具来校验 # 这边使用的是docker部署的gitlab 所以配置在/etc/gitlab/gitlab.rb,也是