• 头歌答案--数据持久化（非数据库）

    目录

    ​编辑

    数据持久化（非数据库）

    第1关：数据持久化（非数据库）

    任务描述

    多线程、多进程爬虫 

    第1关：多线程、多进程爬虫

    任务描述

    Scrapy爬虫基础

    任务描述

    MySQL数据库编程

    第1关：python数据库编程之创建数据库

    任务描述

    第2关：python数据库编程之创建数据表

    任务描述

    第3关：python数据库编程之插入数据

    任务描述

    第4关：python数据库编程之查询数据

    任务描述

    第5关：python数据库编程之修改数据

    任务描述

    第6关：python数据库编程之删除数据

    任务描述

     

    数据持久化（非数据库）

    第1关：数据持久化（非数据库）

    任务描述

    本关任务：将网页上的图片数据持久化（保存）。

    1. import os
    2. import requests
    3. from bs4 import BeautifulSoup
    4. from lxml import etree
    5. url = 'http://127.0.0.1:8080/imgs/'
    6. headers = {
    7.     'User-Agent': 'Mozilla/5.0 (Linux; Android 8.0.0; Pixel 2 XL Build/OPD1.170816.004) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Mobile Safari/537.36'
    8. }
    9. response = requests.get(url, headers=headers)
    10. #********** Begin **********#
    11. # 解析网页
    12. html = etree.HTML(response.text)
    13. img_srcs = html.xpath("//div[@class='box']/div/a/img/@src")
    14. for img_src in img_srcs:
    15.     name = img_src.split('/')[-1].split('.')[0]
    16. # 请求图片地址
    17.     img_url = "http://127.0.0.1:8080" + img_src
    18.     img = requests.get(img_url)
    19. # 判断保存图片的文件夹是否存在
    20.     dir_path = 'step1/images'
    21.     if not os.path.exists(dir_path):
    22.         os.makedirs(dir_path)
    23.     img_path = dir_path + '/' + name + '.jpg'  # 图片的最终存储路径
    24. # 保存图片
    25.     with open(img_path, 'wb')as file:
    26.         file.write(img.content)
    27.         
    28. #********** End **********#

    多线程、多进程爬虫 

    第1关：多线程、多进程爬虫

    任务描述

    本关任务：使用多线程将网页上的图片数据下载并保存。

    1. import requests
    2. from lxml import etree
    3. import time
    4. from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor
    5. from multiprocessing import Pool
    6. import os
    7. import threading
    8. import psutil
    9. # URL伪装
    10. header = {
    11.     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36",
    12. }
    13. def downimg(img_src):
    14.     start_time = time.time()
    15.     
    16.     name = img_src.split('/')[-1].split('.')[0]
    17.     img_url = "http://127.0.0.1:8080" + img_src
    18.     img = requests.get(img_url)
    19.     dir_path = 'step1/images'
    20.     if not os.path.exists(dir_path):
    21.         os.makedirs(dir_path)
    22.     img_path = dir_path + '/' + name + '.jpg'  # 图片的最终存储路径
    23.     print(img_url, name + '.jpg', '开始下载。。。')
    24.     thread = threading.currentThread()
    25.     process = psutil.Process(os.getpid())
    26.     print("线程ID：%s, 进程ID：%s"
    27.           % (thread.ident, process.pid))
    28.     #********** Begin *********#
    29.     """保存图片"""
    30.     with open(img_path, 'wb')as file:
    31.         file.write(img.content)
    32.     #********** End *********#
    33.     finisTime = time.time() - start_time
    34.     print(name + ".jpg 用时为：" + str(finisTime) + " second")
    35. def parsePage():
    36.     url = "http://127.0.0.1:8080/imgs/"
    37.     response = requests.get(url=url, headers=header)
    38.     html_content = response.text
    39.     #********** Begin *********#
    40.     """解析网页"""
    41.     html = etree.HTML(html_content)
    42.     item_list = html.xpath("//div[@class='box']/div/a/img/@src")
    43.     print(item_list)
    44.     s_time = time.time()
    45.     
    46.     #********** End *********#
    47.     """非线程操作"""
    48.     # for item in item_list:
    49.     #     downimg(item)
    50.     #********** Begin *********#
    51.     """线程操作方式"""
    52.     thread = []
    53.     for item in item_list:
    54.         
    55.         thread.append(threading.Thread(target=downimg, args=(item, )))
    56.     for t in thread:
    57.         t.start()
    58.     for t in thread:
    59.         t.join()
    60.     #********** End *********#
    61.     print('总耗时: %s' % (time.time() - s_time))

    Scrapy爬虫基础

    第1关：Scarpy安装与项目创建

    任务描述

    本关任务：借助Scrapy框架编写一个最基本的爬虫小程序，掌握Scrapy的基础理论和使用。

    1. scrapy startproject HelloWorld
    2. cd HelloWorld
    3. scrapy genspider world www.baidu.com

    MySQL数据库编程

    第1关：python数据库编程之创建数据库

    任务描述

    在现在的软件、web 开发中，越来越离不开数据库的支持，MySQL 是现在最流行的关系型数据库管理系统（RDBMS - Relational Database Management System），在 WEB 开发中，MySQL 是最好的 RDBMS 应用软件之一。在本教程中，会让大家快速掌握 python 使用 MySQL 的相关知识，并轻松使用 MySQL 数据库。

    本关任务：使用 pymysql 创建数据库。

    1. #!/usr/bin/python
    2.  
    3. # -*- coding: UTF-8 -*-
    4.  
    5.  
    6.  
    7. import pymysql
    8.  
    9. import mysql.connector
    10.  
    11.  
    12.  
    13. # 连接mysql，创建连接并返回连接对象
    14.  
    15. def connect():
    16.  
    17.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
    18.  
    19.     # ********* Begin ********* #
    20.  
    21.     conn = mysql.connector.connect(
    22.  
    23.     # mysql服务器主机地址
    24.  
    25.     host='127.0.0.1',
    26.  
    27.     # mysql服务器连接端口
    28.  
    29.     port=3306,
    30.  
    31.     # 用户名
    32.  
    33.     user='root',
    34.  
    35.     # 数据库名（若不选此参数则不指定具体数据库连接，我们可以使用use database来选择其它数据库）
    36.  
    37.     # db='db_name',
    38.  
    39.     # 用户密码
    40.  
    41.     passwd='123123',
    42.  
    43.     # 编码格式
    44.  
    45.     # charset='utf8'
    46.  
    47.     )
    48.  
    49.     # 使用cursor()函数创建一个游标对象
    50.  
    51.     # cursor = conn.cursor()
    52.  
    53.     return conn
    54.  
    55.  
    56.  
    57.     # *********  End  ********* #
    58.  
    59.  
    60.  
    61.  
    62. def test():
    63.  
    64.     # 创建连接，并且返回连接对象
    65.  
    66.     conn = connect()
    67.  
    68.     # 创建游标对象
    69.  
    70.     cursor = conn.cursor()
    71.  
    72.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
    73.  
    74.     # ********* Begin ********* #
    75.  
    76.     cursor.execute("CREATE DATABASE  my_db")
    77.  
    78.     # *********  End  ********* #
    79.  
    80.     # 关闭游标
    81.  
    82.     cursor.close()
    83.  
    84.     # 关闭连接
    85.  
    86.     conn.close()

    第2关：python数据库编程之创建数据表

    任务描述

    在现在的软件、web 开发中，越来越离不开数据库的支持，MySQL 是现在最流行的关系型数据库管理系统（RDBMS - Relational Database Management System），在 WEB 开发中，MySQL 是最好的 RDBMS 应用软件之一。在本教程中，会让大家快速掌握 python 使用 MySQL 的相关知识，并轻松使用 MySQL 数据库。

    本关任务：使用 pymysql 创建数据表。

    1. #!/usr/bin/python
    2.  
    3. # -*- coding: UTF-8 -*-
    4.  
    5.  
    6.  
    7. import pymysql
    8.  
    9.  
    10.  
    11.  
    12. # 连接mysql，连接数据库my_db，创建连接并返回连接对象
    13.  
    14. def connect():
    15.  
    16.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
    17.  
    18.     # ********* Begin ********* #
    19.  
    20.     # 创建数据库连接
    21.  
    22.     conn = pymysql.connect(
    23.  
    24.         # mysql服务器主机地址
    25.  
    26.         host='127.0.0.1',
    27.  
    28.         # mysql服务器连接端口
    29.  
    30.         port=3306,
    31.  
    32.         # 用户名
    33.  
    34.         user='root',
    35.  
    36.         # 数据库名
    37.  
    38.         db='my_db',
    39.  
    40.         # 用户密码
    41.  
    42.         passwd='123123',
    43.  
    44.         # 编码格式
    45.  
    46.         charset='utf8'
    47.  
    48.     )
    49.  
    50.     return conn
    51.  
    52.  
    53.  
    54.     # *********  End  ********* #
    55.  
    56.  
    57.  
    58.  
    59. def test():
    60.  
    61.     # 创建连接，并且返回连接对象
    62.  
    63.     conn = connect()
    64.  
    65.     # 创建游标对象
    66.  
    67.     cursor = conn.cursor()
    68.  
    69.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
    70.  
    71.     # ********* Begin ********* #
    72.  
    73.     cursor.execute('''CREATE TABLE user
    75.     (id   INT(16) AUTO_INCREMENT PRIMARY KEY,
    77.     username VARCHAR(32) NOT NULL,
    79.     password varchar(32))
    81.     ENGINE = MyISAM''')
    82.  
    83.  
    84.  
    85.     # *********  End  ********* #
    86.  
    87.     # 关闭游标
    88.  
    89.     cursor.close()
    90.  
    91.     # 关闭连接
    92.  
    93.     conn.close()

    第3关：python数据库编程之插入数据

    任务描述

    在现在的软件、web 开发中，越来越离不开数据库的支持，MySQL 是现在最流行的关系型数据库管理系统（RDBMS - Relational Database Management System），在 WEB 开发中，MySQL 是最好的 RDBMS 应用软件之一。在本教程中，会让大家快速掌握 python 使用 MySQL 的相关知识，并轻松使用 MySQL 数据库。

    本关任务：使用 pymysql 插入数据。

    1. #!/usr/bin/python
    2.  
    3. # -*- coding: UTF-8 -*-
    4.  
    5.  
    6.  
    7. import pymysql
    8.  
    9.  
    10.  
    11.  
    12. # 连接mysql，连接数据库my_db，创建连接并返回连接对象
    13.  
    14. def connect():
    15.  
    16.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
    17.  
    18.     # ********* Begin ********* #
    19.  
    20.     # 创建数据库连接
    21.  
    22.     conn = pymysql.connect(
    23.  
    24.         # mysql服务器主机地址
    25.  
    26.         host='127.0.0.1',
    27.  
    28.         # mysql服务器连接端口
    29.  
    30.         port=3306,
    31.  
    32.         # 用户名
    33.  
    34.         user='root',
    35.  
    36.         # 数据库名
    37.  
    38.         db='my_db',
    39.  
    40.         # 用户密码
    41.  
    42.         passwd='123123',
    43.  
    44.         # 编码格式
    45.  
    46.         charset='utf8'
    47.  
    48.     )
    49.  
    50.     return conn
    51.  
    52.     # *********  End  ********* #
    53.  
    54.  
    55.  
    56.  
    57. def test():
    58.  
    59.     # 创建连接，并且返回连接对象
    60.  
    61.     conn = connect()
    62.  
    63.     # 创建游标对象
    64.  
    65.     cursor = conn.cursor()
    66.  
    67.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
    68.  
    69.     # ********* Begin ********* #
    70.  
    71.     cursor.execute("insert into user (username, password) values('teble', 'teble')")
    72.  
    73.     # *********  End  ********* #
    74.  
    75.     # 关闭游标
    76.  
    77.     cursor.close()
    78.  
    79.     # 关闭连接
    80.  
    81.     conn.close()

    第4关：python数据库编程之查询数据

    任务描述

    在现在的软件、web 开发中，越来越离不开数据库的支持，MySQL 是现在最流行的关系型数据库管理系统（RDBMS - Relational Database Management System），在 WEB 开发中，MySQL 是最好的 RDBMS 应用软件之一。在本教程中，会让大家快速掌握 python 使用 MySQL 的相关知识，并轻松使用 MySQL 数据库。

    本关任务：使用 pymysql 从数据库中查询数据。

    1. #!/usr/bin/python
    2.  
    3. # -*- coding: UTF-8 -*-
    4.  
    5.  
    6.  
    7. import pymysql
    8.  
    9.  
    10.  
    11.  
    12. # 连接mysql，连接数据库my_db，创建连接并返回连接对象
    13.  
    14. def connect():
    15.  
    16.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
    17.  
    18.     # ********* Begin ********* #
    19.  
    20.     # 创建数据库连接
    21.  
    22.     conn = pymysql.connect(
    23.  
    24.         # mysql服务器主机地址
    25.  
    26.         host='127.0.0.1',
    27.  
    28.         # mysql服务器连接端口
    29.  
    30.         port=3306,
    31.  
    32.         # 用户名
    33.  
    34.         user='root',
    35.  
    36.         # 数据库名
    37.  
    38.         db='my_db',
    39.  
    40.         # 用户密码
    41.  
    42.         passwd='123123',
    43.  
    44.         # 编码格式
    45.  
    46.         charset='utf8'
    47.  
    48.     )
    49.  
    50.     return conn
    51.  
    52.  
    53.  
    54.     # *********  End  ********* #
    55.  
    56.  
    57.  
    58.  
    59. def test():
    60.  
    61.     # 创建连接，并且返回连接对象
    62.  
    63.     conn = connect()
    64.  
    65.     # 创建游标对象
    66.  
    67.     cursor = conn.cursor()
    68.  
    69.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
    70.  
    71.     # ********* Begin ********* #
    72.  
    73.     cursor.execute("select id, username, password from user ORDER BY id DESC")
    74.  
    75.     for data in cursor.fetchall():
    76.  
    77.         print(data)
    78.  
    79.     # *********  End  ********* #
    80.  
    81.     # 关闭游标
    82.  
    83.     cursor.close()
    84.  
    85.     # 关闭连接
    86.  
    87.     conn.close()

    第5关：python数据库编程之修改数据

    任务描述

    在现在的软件、web 开发中，越来越离不开数据库的支持，MySQL 是现在最流行的关系型数据库管理系统（RDBMS - Relational Database Management System），在 WEB 开发中，MySQL 是最好的 RDBMS 应用软件之一。在本教程中，会让大家快速掌握 python 使用 MySQL 的相关知识，并轻松使用 MySQL 数据库。

    本关任务：使用 pymysql 从数据库中修改数据。

    1. #!/usr/bin/python
    2.  
    3. # -*- coding: UTF-8 -*-
    4.  
    5.  
    6.  
    7. import pymysql
    8.  
    9.  
    10.  
    11.  
    12. # 连接mysql，连接数据库my_db，创建连接并返回连接对象
    13.  
    14. def connect():
    15.  
    16.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
    17.  
    18.     # ********* Begin ********* #
    19.  
    20.     # 创建数据库连接
    21.  
    22.     conn = pymysql.connect(
    23.  
    24.         # mysql服务器主机地址
    25.  
    26.         host='127.0.0.1',
    27.  
    28.         # mysql服务器连接端口
    29.  
    30.         port=3306,
    31.  
    32.         # 用户名
    33.  
    34.         user='root',
    35.  
    36.         # 数据库名
    37.  
    38.         db='my_db',
    39.  
    40.         # 用户密码
    41.  
    42.         passwd='123123',
    43.  
    44.         # 编码格式
    45.  
    46.         charset='utf8'
    47.  
    48.     )
    49.  
    50.     return conn
    51.  
    52.     # *********  End  ********* #
    53.  
    54.  
    55.  
    56.  
    57. def test():
    58.  
    59.     # 创建连接，并且返回连接对象
    60.  
    61.     conn = connect()
    62.  
    63.     # 创建游标对象
    64.  
    65.     cursor = conn.cursor()
    66.  
    67.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
    68.  
    69.     # ********* Begin ********* #
    70.  
    71.     cursor.execute("update user set username = 'root',password='root' where id = '1'")
    72.  
    73.     # *********  End  ********* #
    74.  
    75.     # 关闭游标
    76.  
    77.     cursor.close()
    78.  
    79.     # 关闭连接
    80.  
    81.     conn.close()

    第6关：python数据库编程之删除数据

    任务描述

    在现在的软件、web 开发中，越来越离不开数据库的支持，MySQL 是现在最流行的关系型数据库管理系统（RDBMS - Relational Database Management System），在 WEB 开发中，MySQL 是最好的 RDBMS 应用软件之一。在本教程中，会让大家快速掌握 python 使用 MySQL 的相关知识，并轻松使用 MySQL 数据库。

    本关任务：使用 pymysql 从数据库中删除数据。

    1. #!/usr/bin/python
    2.  
    3. # -*- coding: UTF-8 -*-
    4.  
    5.  
    6.  
    7. import pymysql
    8.  
    9.  
    10.  
    11.  
    12. # 连接mysql，连接数据库my_db，创建连接并返回连接对象
    13.  
    14. def connect():
    15.  
    16.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
    17.  
    18.     # ********* Begin ********* #
    19.  
    20.     # 创建数据库连接
    21.  
    22.     conn = pymysql.connect(
    23.  
    24.         # mysql服务器主机地址
    25.  
    26.         host='127.0.0.1',
    27.  
    28.         # mysql服务器连接端口
    29.  
    30.         port=3306,
    31.  
    32.         # 用户名
    33.  
    34.         user='root',
    35.  
    36.         # 数据库名
    37.  
    38.         db='my_db',
    39.  
    40.         # 用户密码
    41.  
    42.         passwd='123123',
    43.  
    44.         # 编码格式
    45.  
    46.         charset='utf8'
    47.  
    48.     )
    49.  
    50.     return conn
    51.  
    52.     # *********  End  ********* #
    53.  
    54.  
    55.  
    56.  
    57. def test():
    58.  
    59.     # 创建连接，并且返回连接对象
    60.  
    61.     conn = connect()
    62.  
    63.     # 创建游标对象
    64.  
    65.     cursor = conn.cursor()
    66.  
    67.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
    68.  
    69.     # ********* Begin ********* #
    70.  
    71.     cursor.execute("delete from user where id = '2'")
    72.  
    73.     # *********  End  ********* #
    74.  
    75.     # 关闭游标
    76.  
    77.     cursor.close()
    78.  
    79.     # 关闭连接
    80.  
    81.     conn.close()

  • 相关阅读:
    .NET开源、跨平台的本地日记APP - SwashbucklerDiary
    Python tkinter用iconphoto方法修改窗口标题的图片
    opencv 空域变换
    开启 Kerberos 安全的大数据环境中，Yarn Container 启动失败导致作业失败
    豆包MarsCode Agent 登顶 SWE-bench Lite 评测集
    智乃酱的cube（线段树维护）
    trie树（二）进阶
    Gitlab服务器配置LDAP指导
    编程内功心法「底层原理系列」 回归与本质，让本文带你认识什么是计算机软件系统
    R语言—数据输入
  • 原文地址：https://blog.csdn.net/m0_62476845/article/details/134358495