1. 背景随着Web应用的发展，越来越多的功能需要用户登录才能使用。而在接口测试中，往往需要模拟用户的登录状态来进行测试。一种常见的做法是通过Cookie来维持用户的登录状态。然而，由于Cookie的有效期限制以及网站的安全策略，如何在接口测试中有效地管理和维护登录状态成为了一项挑战。2. Pytest框架简介Pytest是一个功能强大、灵活且易于使用的Python测试框架，广泛应用于各种类型的测试，包括单元测试、集成测试和接口测试等...
2
淄博烧烤在这个春天火出了圈，火到社交平台到处都是，火到大学生组团坐高铁到淄博打卡种草，火到你长久不联系的外省同学、朋友都要来山东品尝，火到相关话题一次次登上热搜热榜，连央视主播康辉都深夜点赞，成为现象级IP。 从3月初突然爆火到如今依然热度不减，“淄博烧烤”火出圈的原因首先就是短视频的加持，今年的爆火，则首先来自各平台网友，特别是大学生大量发布的种草视频。自2月下旬开始，淄博火车站旅客流量开始显著上升，...
18
前端有时候会遇到项目临时需要网上收集数据的情况，什么方案是简单易懂、长期可用的呢，当然是用浏览器终端测试单元做爬虫是最方便的啦，将平时工作中的测试程序进行简单的修改，然后配合爬虫代理，就可以马上开始数据采集，是不是很方便呀。刚好之前也分享了一篇关于java爬虫的文章，那今天也是爬虫方面的知识，我们可以继续分享下java爬虫。不知道做学java的对HtmlUnit熟悉不呢？它是是java下的一款无头浏览器方案，通过相应的AP...
95
网络爬虫是现在很热门的一个职业，受到很多的追捧。原本只是一门获取数据的技术，但是当网络爬虫被滥用后，互联网上就出现太多同质的东西，很多原创得不到保护，大量用户信息被泄漏等问题出现。于是很多网站开始反网络爬虫,想方设法保护自己的内容。他们根据ip访问频率，浏览网页速度，账户登录，输入验证码，flash封装，ajax混淆，js加密，图片等五花八门的技术，来反网络爬虫。防的一方不惜工本，迫使抓的一方在考虑成本效益后放...
19
我们都知道在采集数据过程中，尤其是爬取大量数据的时候，很多网站都有反爬虫措施，封ip是很严重的，，让你在采集的时候很心烦。本文就如何解决这个问题总结出一些应对措施，这些措施可以单独使用，也可以同时使用，效果更好。一 、伪造User-Agent在请求头中把User-Agent设置成浏览器中的User-Agent，来伪造浏览器访问。比如：headers = {'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) C...
10
在我们日常爬虫抓取数据的过程中，面对有些网站会用使用到Selenium，Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，就像玩游戏用的按键精灵，可以按指定的命令自动操作。Selenium可以根据的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生等。使用Selenium的优点就是可以帮我们避开一系列复杂的通信流程，假如目标站点有一系列复杂的通信流程，例如的登录时的...
38
最近《梦华录》无疑是当下最火的剧，短短一个周在腾讯视频上播放量破10亿。更是在抖音、B站等视频平台上爆火，相关二创和二改视频也能达到百万的播放量。更让它出圈的事件是，豆瓣网友在一天之内，把《梦华录》的豆瓣评分从8.3分提到了8.8分。一位给《梦华录》打了五星的豆瓣网友留言，“首先它尊重了我的眼睛，其次它尊重了我的智商”，这一条短评被2万网友点赞。那么我们今天就利用python获取豆瓣上关于《梦华录》的剧评，看看大家...
12
做爬虫的都知道现在越来越多的网站也已经应用了逆向技术对其数据接口进行了保护，在做爬虫时如果我们遇到了这种情况，我们可能就不得不硬着头皮来去想方设法找出其中隐含的关键逻辑了，这个过程我们可以称之为爬虫逆向。今天给大伙分享一下关于某 APP 的逆向分析并抓取数据，关于 APP 的反爬会麻烦一些，比如 Android 端的代码写完一般会进行打包并混淆加密加固，所以除了抓包之外，还需要对 APP 进行查壳脱壳反编译等复杂操作。和...
6
在这个时代，数据越来越重要，数据=金钱，已经成为定理。我们在学习掌握使用Python进行数据采集的过程要全面。在掌握知识后运用到实践中我们需要注意很多知识，今天就简单的进行总结下。1、爬取目标网站，不一定得非用python写爬虫，需要根据实际需求进行选择，例如一些需要用浏览器访问的就可以使用selenium。2、爬取网站的速度很重要，爬虫速度快，获取的数据量大，节约的成本也多。需要大量采集数据的话，学会使用框架，比如scr...
12
每当我们在购买股票的时候，就会想到使用历史数据来对当前的股票的走势进行预测，那么这时就需要有数据并进行一定的分析。大家都喜欢比较直观的数据，因此今天我们就使用python来实现股票数据的分析。我们就以东方财富为数据分析来源吧，https://www.eastmoney.com/像这样的网站，获取的数据多了，爬虫程序是会遇到反爬机制的，比如最常见的封ip。这些都很好解决，直接使用代理就好了。关于代理的使用有需要的可以咨询下这里https:...
19
红包分享
钱包管理
