# coding=utf-8
# 覆盖写入
def save_to_file(file_name, content):
with open(file_name, 'w', encoding='utf-8') as f:
f.write(content)
if __name__ == '__main__':
save_to_file('./test.txt', '这是要写入的内容')
# 循环写入
with open('./test.txt', 'a', encoding='utf-8') as f:
for i in range(0,10):
f.write(str
# coding=utf-8
import requests
def post_payload(url, payload):
myheaders = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.164 Safari/537.36'}
response = requests.post(url, headers=myheaders, data=payload)
status_code = response.s
# coding=utf-8
import requests
# 请求网页的函数，参数url为网页的完整链接，函数返回请求回来的HTML代码
def get_html(url):
# 准备好User-Agent到变量myheaders
myheaders = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.164 Safari/537.36'}
response = requests.get(
# coding=utf-8
import requests
html = requests.get('http://www.spiderbuf.cn/list').text
print(html)
# 在Windows环境下，Python爬取网页出现乱码通过是因为Windows环境默认编码是GBK而大部分网页编码是UTF-8
# 此时可以利用requests库的content方法，它会自动根据网页编码进行转换
# requests避免乱码的爬虫代码修改如下：
import requests
html_bytes = requests.get('http://www.spiderbuf.c
1. 这个网站是做什么的？
本网站是专门为学习Python爬虫及反爬知识而开发的实战靶场，在这里你可以自由练习爬虫技术，同时会提供由浅入深的Python爬虫实战环境及相应教程。
2. 哪些人需要练习爬虫技术？
爬虫工程师、数据分析师、安全工程师、自动化测试、自动化运维、RPA工程师等群体都应该熟练掌握Python爬虫技术。
3. 什么是爬虫与反爬虫？
爬虫是指以技术手段批量获取网站信息的技术实现。
反爬虫是指以技术手段阻止别人批量获取网站信息的技术实现。