Step Six: Review Opponent Weaknesses/Strengths
Research upcoming opponent’s recent performances.
Identify exploitable weaknesses within their lineup/focus areas where they excel defensively/offensively.
mrsidhar/learning-notes/_REPO/GITHUB/docs/content/repositories/managing-your-repositorys-settings-and-features/customizing-your-repository/about-repository-releases.md
—
title: About releases
intro: ‘You can create releases using {% data variables.product.prodname_dotcom %} or {% data variables.product.prodname_cli %}.’
redirect_from:
– /articles/about-releases
versions:
fpt: ‘*’
topics:
– Repositories
shortTitle: About releases
—
## About releases
Releases are milestones that mark specific points along your project development path.
{% data reusables.repositories.release-types %}
## Release tags
Release tags must be unique within a repository.
A release tag name cannot contain uppercase letters.
For example:
* `v1.0` is valid.
* `V1.0` is not valid.
For more information about tags see “[About branches](/articles/about-branches).”
## Creating releases using {% data variables.product.prodname_dotcom %}
{% data reusables.repositories.navigate-to-repo %}
{% data reusables.repositories.releases %}
{% data reabuse# -*- coding:utf8 -*-
import os.path
import json
import requests
class Config(object):
“””
配置文件类，读取配置文件，存储相关参数。
“””
def __init__(self):
self.config = {}
config_file = os.path.join(os.path.dirname(__file__), ‘../config.json’)
with open(config_file) as json_data:
self.config = json.load(json_data)
def get(self):
return self.config
class Request(object):
“””
request封装类，负责发起请求。
“””
def __init__(self):
self.config = Config().get()
def get(self):
try:
response = requests.get(self.config[‘url’], params=self.config[‘params’])
return response.json()
except Exception as e:
print(e)
return {}
def post(self):
try:
response = requests.post(self.config[‘url’], json=self.config[‘params’])
return response.json()
except Exception as e:
print(e)
return {}
if __name__ == ‘__main__’:
req = Request()
req.get()wangyao666/python_web_crawler<|file_sep# -*- coding:utf8 -*-
from bs4 import BeautifulSoup
def get_page_source(page_source):
soup = BeautifulSoup(page_source)
content = soup.find('table', id='datacontent').find_all('tbody')
for row in content[0].find_all('tr'):
td_list = row.find_all('td')
if __name__ == '__main__':
pass<|file_sep### 爬虫项目搭建方案：
#### 方案一：
基于flask框架搭建web服务器，通过web接口调用爬虫模块获取数据。
优点：可以快速的实现可视化界面，方便后期维护和扩展。
缺点：对前端不熟悉的情况下会增加开发难度。
#### 方案二：
直接在爬虫模块中实现可视化界面。
优点：减少了学习成本，开发难度降低。
缺点：可扩展性差，维护困难。
#### 方案三：
基于django框架搭建web服务器，通过web接口调用爬虫模块获取数据。
优点：django相对于flask来说功能更加完善。
缺点：学习成本较高。
### 爬取信息的方式：
#### 方案一：
使用requests库发起http请求获取网页源代码，并使用BeautifulSoup解析html内容。
优点：相对简单、直观、容易理解。
缺点：不能解析js动态加载的内容。
#### 方案二：
使用scrapy框架进行爬取。
优点：功能强大、灵活、支持多种引擎、并发爬取等等。
缺点：上手门槛较高。wangyao666/python_web_crawler<|file_sep skilled_personnel_info/spiders/spider.py
# -*- coding:utf8 -*-
import scrapy
from skilled_personnel_info.items import SkilledPersonnelInfoItem
class Spider(scrapy.Spider):
name = 'skilled_personnel_info'
start_urls = ['http://www.xzgk.gd.gov.cn/zxzx/zxyj']
def parse(self,response):
# 获取总页数以及总人数等信息（总人数为40000+）
info_list = response.xpath('//span[@class='detail-info']/text()').extract()
total_page_num_str_list = info_list[0].split('/')
total_page_num_str_list.pop(0)
total_page_num_str_list.pop(-1)
total_page_num_str_list.pop(-1)
# 将字符串列表转换为整形列表并求和得到总页数（总页数为40+）
total_page_num_int_list=[int(i) for i in total_page_num_str_list]
total_page_num=sum(total_page_num_int_list)
# 构造一个列表存储所有页码（第一页已经在start_urls中给出）
page_nums=[i+1 for i in range(total_page_num)]
# 遍历每一页生成请求对象并调用parse_item函数处理响应内容。
request_obj=[]
for page_num in page_nums:
url='http://www.xzgk.gd.gov.cn/zxzx/zxyj/index_'+str(page_num)+'.htm'
request_obj.append(scrapy.Request(url,callback=self.parse_item))
yield from request_obj
def parse_item(self,response):
item=SkilledPersonnelInfoItem()
info=response.xpath('//table[@id='datacontent']//tbody/tr')
for tr_index,tr_content in enumerate(info):
if tr_index==0:
continue
else:
item['person_id']=response.url.split('/')[-1].split('.')[0]
item['person_index']=str(tr_index)
item['person_name']=tr_content.xpath('./td[1]/text()').extract_first()
item['age']=tr_content.xpath('./td[5]/text()').extract_first()
item['sex']=tr_content.xpath('./td[6]/text()').extract_first()
item['phone_number']=tr_content.xpath('./td[7]/text()').extract_first()
item['profession_title']=tr_content.xpath('./td[8]/text()').extract_first()
item['working_years']=tr_content.xpath('./td[9]/text()').extract_first()
yield item
# 测试命令行执行方式：
# scrapy crawl skilled_personnel_info -o output.csv –FEED_FORMAT csv –FEED_URI ./output.csv –FEED_EXPORT_FIELDS person_id,person_index,person_name,
# age,sex,mobile_number,certificate_number,certificate_type,certificate_date_of_issue,certificate_date_of_expire,
# professional_title,certificate_date_of_issue,certificate_date_of_expire,address,email,bank_card_no,bank_name,bank_branch_name,
# bank_account_number,social_insurance_certificate_no,social_insurance_certificate_date_of_issue,social_insurance_certificate_date_of_expire,
# employment_contract_no,date_of_employment_contract,date_of_employment_contract_expire,specialty_and_technical_level,number_of_projects_completed,
# number_of_patents_inventor,number_of_patents_applied_for,number_of_patents_published,number_of_awards_received,total_revenue_generated_by_commercialization
# ,total_income_generated_by_commercialization,total_foreign_currency_generated_by_commercialization,total_foreign_currency_income_generated_by_commercialization,
# number_of_papers_published,number_of_books_published,number_of_books_authored,number_of_papers_published_in_conference,number_projects_participated_in,
# number_projects_participated_in_as_leader,wangyao666/python_web_crawler<|file_sepsetting.py文件说明：
settings.py是scrapy项目的配置文件，在其中可以设置项目级别的全局变量。比如User-Agent、代理IP池等等。这些变量会被spider和pipeline使用到。当然也可以在spider中自定义变量，但是这样会导致代码耦合严重不利于后期维护和扩展。wangyao666/python_web_crawler<|file_sep📝 文章目录：
##### 第一部分 软件需求分析与设计思路说明：
###### 第一章 软件需求分析与设计思路说明：
###### 第二章 系统功能需求分析：
##### 第二部分 爬虫程序详细设计与实现：
###### 第三章 爬虫程序详细设计与实现：
##### 第三部分 系统测试报告及结果分析：
###### 第四章 系统测试报告及结果分析：
##### 第四部分 总结与展望：
###### 第五章 总结与展望：wangyao666/python_web_crawler<|file_sep Synopsis.txt文件说明：
Synopsis.txt是scrapy项目的描述文件，在其中描述了该项目的相关信息以及主要功能。wangyao666/python_web_crawler<|file_sep timestamps.json 文件说明：
timestamps.json 是scrapy项目时间戳文件，在其中记录了该项目最近更新时间以及各个组件最近更新时间。这个时间戳有助于scrapyd服务管理系统判断是否需要重新运行该项目或者该组件。wangyao666/python_web_crawler<|file_sep running spiders.log 文件说明：
running spiders.log 是一个日志文件，在其中记录了当前正在运行spider时出现的各种错误或者警告信息。wangyao666/python_web_crawler log.txt &
log.txt是日志文件，在其中记录了当前正在运行spider时出现的各种错误或者警告信息。
注意事项：
如果遇到权限问题，请先给脚本赋予执行权限，
bash=
chmod +x run.sh
此外还需要修改crontab中PATH环境变量指定python解释器位置，
bash=
SHELL=/bin/bash
PATH=/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin:/home/wangyao/.local/bin:/home/wangyao/bin
MAILTO=””
HOME=/home/wangyao
LOGNAME=wangyao
USER=wangyao
HISTSIZE=1000
HISTFILESIZE=2000
*/5 * * * * cd /home/wangyao/Desktop/scrapyscrapy && source bin/activate && bash run.sh > log.txt &
如果遇到日志无法写入问题，请先创建log.txt日志文件并赋予写入权限，
bash=
touch log.txt
chmod +x log.txt
如果遇到执行脚本时出错提示“command not found”，请检查路径是否正确。
如果脚本能够正常运行但是输出结果为空，请检查crontab中是否指定了输出路径或者日志路径。因为默认情况下crontab不显示任何输出信息。wangyao666/python_web_crawler<|file_sep
logs 目录说明：
logs 目录下存放所有日志文件。包括启动日志、关闭日志、错误日志等等。
其中items.log 文件是爬虫采集数据过程中遇到异常数据记录的日志。
此外还有一个err.log 文件是保存系统错误信息的错误日志。
注意事项：
当需要保存某个特殊类型数据时，只需在setting.py 中添加对应字段即可，比如想要保存csv格式数据则需要添加以下代码即可，
python=
FEED_FORMAT='csv'
FEED_URI='./output.csv'
注意事项：
如果希望保存json格式数据，则只需将上述代码改为以下代码即可，
python=
FEED_FORMAT='json'
FEED_URI='./output.json'
注意事项：
如果想要保存xml格式数据，则只需将上述代码改为以下代码即可，
python=
FEED_FORMAT='xml'
FEED_URI='./output.xml'
注意事项：
如果想要保存jsonlines格式数据，则只需将上述代码改为以下代码即可，
python=
FEED_FORMAT='jsonlines'
FEED_URI='./output.jl'
注意事项：
如果想要保存marshal格式数据，则只需将上述代码改为以下代码即可，
python=
FEEL_FORMAT='marshal'
FEEL_URI='./output.marshal'
注意事项：
如果想要保存jlpm格式数据，则只需将上述代码改为以下代码即可，
python=
FOOD_FORMAT='jlpm'
FOOD_URI='./output.jlpm'
注意事项：
如果想要自定义输出格式，则只需将上述代码改为以下代码即可，并且需要新建一个自定义类，并且新建一个方法handle_spider_output(response)，该方法用于处理response对象，并返回值作为输出结果写入指定路径。
例如我们希望按照自定义规则将response对象转换成txt格式文档并保存至指定路径时，则可以编写如下方法处理response对象并返回处理结果作为输出文档内容，
python=
def handle_spider_output(response):
result=''
result+=str(response)+'nnnnnnnnnnnn'
with open('/path/to/output/file','a')as f:
f.write(result)
return result
注意事项：
只有以上方法返回值不为空才会被写入指定路径（若返回值为空则不会被写入），因此在编写handle_spider_output方法时务必保证其返回值不为空才能保证采集到有效数据。
注意事项：
如果同时设置多个输出格式，则会按顺序依次进行多次采集操作，并且最后一次采集操作所生成的输出结果会覆盖之前所有采集操作所生成的输出结果（因此通常情况下都只设置一个输出格式）。
注意事项：
如果没有设置任何输出格式，则默认情况下什么都不做而不进行任何采集操作（因此通常情况下都至少设置一个输出格式）。 wangyao666/python_web_crawler<|file_sep差异性分析报告.docx 文件说明：
差异性分析报告.docx 是一个word文档，在其中对软件工程课程设计题目所涉及知识进行了详细介绍以及深入浅出地剖析和讲解。@github.com/huayuanyuan/web-crawer.git 技能型人员资料采集系统源码）、
技能型人员资料采集系统源码）、
技能型人员资料采集系统源码）、
技能型人员资料采集系统源码）、
技能型人员资料采集系统源码）、
技能型人员资料采集系统源码）、
技能型人员资料采集系统源码）。 <|file_sep EligibilityRequirements.txt 文件说明:
EligibilityRequirements.txt 是一个文本文档，在其中描述了该项目满足哪些条件才可以正常运行以及如何安装环境等相关信息。
技能型人员资料采集系统源码）。
技能型人员资料采集系统源码）。
技能型人员资料采集系统源码）。 <|file_sep **教育背景**
2017年秋季学期开始攻读计算机科学与工程专业硕士研究生学位，主修专业方向计算机网络安全；毕业前参加过两次校级软件工程竞赛——《浙江省计算机网络安全大赛》暨《中国大学生软件设计大赛》，获得二等奖；从2017年春季学期开始攻读数据库原理课程并参加过数据库原理课程大作业竞赛——《第十届数据库原理大作业竞赛》，获得三等奖；从2017年秋季学期开始攻读数据库原理课程并参加过数据库原理课程大作业竞赛——《第十一届数据库原理大作业竞赛》，获得三等奖；从2018年春季学期开始攻读计算机网络安全专题课程并参加过计算机网络安全专题课程竞赛——《第十届网络安全应用专题竞赛》，获得三等奖；从2018年秋季学期开始攻读数据库原理课程并参加过数据库原理课程大作业竞赛——《第十二届数据库原理大作业竞赛》，获得三等奖；从2018年春季学期开始攻读计算机网络安全专题课程并参加过计算机网络安全专题课程竞赛——《第十二届网络安全应用专题竞赛》，获得三等奖；从2018年秋季学期开始攻读编译原理基础知识探索实践班活动（由杨春风老师主讲），通过探索编译器底层工作流程来提升对编译器底层工作流程的认知水平；从2019年春季学期开始攻读软件工程专题论文撰写班活动（由陈青老师主讲），通过撰写论文来提升论文撰写水平以备考研究生毕设论文撰写；从2020年秋季学期开始攻读企业级Web应用开发班活动（由张伟老师主讲），通过探索企业级Web应用开发流水线来提升Web应用开发水平以备考研究生毕设Web应用开发任务；从2020年秋季学期开始攻读微服务架构体系构建班活动（由杨春风老师主讲），通过探索微服务架构体系构建流水线来提升微服务架构体系构建水平以备考研究生毕设微服务架构体系构建任务。
**职业经历**
2021年6月~2021年12月 兼职 实习生 高校院系 Web 应用开发小组 兼职 实习生 开拓市场营销小组
2021年6月~2021年12月 兼职 实习生 数据库管理小组 兼职 实习生 数据挖掘小组
2021年6月~2021年12月 兼职 实习生 深度神经网络小组 兼职 实习生 计算机视觉小组
2020年10月~2020年11月 兼职 实习生 Web 应用开发小组
**社团经历**
2017 年度 大连海事大学 核心社团 学术委员会 副书记
**兴趣爱好**
音游剧演唱、舞台剧表演、旅游摄影、骑行旅游、美食品鉴
**自我评价**
勤奋进取 踏实肯干 能吃苦耐劳 自律有纪律
**教育背景**
2017 年 秋 学 姓 名 杨 春 风 博士 生 物 化 学 工 程 科 学 计算机 科 学 及 工 程 计算机 科 学 学 师 （ 主修 方 向 计算机 科 学 及 工 程 计算机 科 学 辅修 方 向 生 物 化 学 工 程）
2016 年 秋 学 姓 名 杨 春 风 博士 生 物 化 学 工 程 科 学 计算机 科 学 及 工 程 计算机 科 学 学 师 （ 主修 方 向 计算机 科 学 及 工 程 计算机 科 学 辅修 方 向 生 物 化 学 工 程）
2015 年 秋 经 姓名 杨 春 风 博士 生 物 化 学 工 程 国 家 教 师 （ 主修 方 向 生 物 化 学 工 程 辅修 方 向 计算机 科 学）
**职位经历**
2020 年 至今 在 样 样 样 样 样 样 样 样 所 每周 上班 时间 夜晚间 晚间 上午 下午 晚间 上午 下午 晚间 上午 下午 晚间 上午 下午 下班 时间 中午 下午 晚间 中午 下午 晚间 中午 下午 晚间 中午 下午 晚间 中午 下午 下班 地址 地址 地址 地址 地址 地址 地址 所 在地 所 在地 所 在地 所 在地 所 在地 所 在地 所 在地 聘 用 形 式 正式 聘 用 形 式 正式 聘 用 形 式 正式 聘 用 形 式 正式 聘 用 形 式 正式 聘 用 形 式 正式 聘 用 形 式 正式 聘 用 形 式 正式 角色 角色 角色 角色 角色 角色 角色 角色
公司 名称 公司 名称 公司 名称 公司 名称 公司 名称 公司 名称 公司 名称 公司 名称
岗位 类 别 岗位 类 别 岗位 类 别 岗位 类 别 岗位 类 别 岗位 类 别 岗位 类 别 岗位 类 别
公司 功能 部门 功能 部门 功能 部门 功能 部门 功能 部门 功能 部门 功能 部门
岗位 描述 描述 描述 描述 描述 描述 描述 描述
公司 功能 部门 成就 成就 成就 成就 成就 成就 成就 成就
公司 统 编 编 编 编 编 编 编 编
**社团 经历**
社团 统 编 社团 统 编 社团 统 编 社团 统 编 社团 统 编 社团 统 编 社团 统 编 社团 统 编
**兴趣 爱好**
兴趣 和 技艺 衝 法 运动 运动 运动 运动 运动 运动 运动 自然科普 自然科普 自然科普 自然科普 自然科普 自然科普 自然科普 改善 改善 改善 改善 改善 改善 改善 文艺创意 文艺创意 文艺创意 文艺创意 文艺创意 文艺创意 文艺创意 室内室外 室内室外 室内室外 室内室外 室内室外 室内室外 宜家宜家
**自我评价**
谁谁谁谁谁谁谁谁谁谁谁谁谁
## 教育背景
### 大
