基金爬虫例程

不念不忘少年蓝@ 2021-09-22 03:10 392阅读 0赞

参考：[爬虫 -- 天天基金网数据简单爬取][--]

代码如下：（python3编译）

import requests
    import time
    import pandas as pd
    
    if __name__ == '__main__':
        for j in range(1, 49):
            url = f'http://fund.eastmoney.com/Data/Fund_JJJZ_Data.aspx?t=1&lx=1&letter=&gsid=&text=&sort=zdf,desc&page={j},200&dt=1597126258333&atfc=&onlySale=0'
            headers = {
                'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER'
            }
            resp = requests.get(url, headers=headers).text
            str_ = resp[102:]
            list1 = eval(str_.split(",count")[0])
            print(f'正在爬取第{j}页')
            print(f'本页爬取{len(list1)}条数据')
    		
            num = []
            name = []
            today_price = []
            yesterday_price = []
            day_value = []
            day_value_rate = []
            subscription_status = []
            redemption_status = []
            service_charge = []
    
            for i in range(len(list1)):
            	# 1、基金代码号
                num.append(list1[i][0])
                # 2、股票名称
                name.append(list1[i][1])
    			# 3、今日基金净额
                today_price.append(list1[i][3])
                # 4、昨日基金净额
                yesterday_price.append(list1[i][5])
                # 5、日增长值
                day_value.append(list1[i][7])
                # 6、日增长率
                day_value_rate.append(list1[i][8])
                # 7、申购状态
                subscription_status.append(list1[i][9])
                # 8、赎回状态
                redemption_status.append(list1[i][10])
                # 9、手续费
                service_charge.append(list1[i][17])
    
            df = pd.DataFrame()
            df['基金代码'] = num
            df['基金名称'] = name
            df['2020-08-12\n单位净值'] = today_price
            df['2020-08-11\n单位净值'] = yesterday_price
            df['日增长值'] = day_value
            df['日增长率\n%'] = day_value_rate
            df['申购状态'] = subscription_status
            df['赎回状态'] = redemption_status
            df['手续费'] = service_charge
    
            try:
                df.to_excel(f'基金{j}.xlsx', '基金信息', index=None, encoding='utf-8')
    
            except Exception as e:
                print(e)
    
        time.sleep(1)

# 问题: ModuleNotFoundError: No module named 'requests' #

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAemh1b2h1aTMwNzMxNzY4NA_size_12_color_FFFFFF_t_70_g_se_x_16][]

原因：没有导入requests库

** 解决方法：**

开始菜单选择运行，输入cmd运行，然后cd命令进入到python安装目录下的Scripts文件中，  
然后输入pip install requests，就好了。  
或者 打开Python文件的安装目录，进入Scripts文件中，按住Shift键+鼠标右击，如下图：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAemh1b2h1aTMwNzMxNzY4NA_size_16_color_FFFFFF_t_70_g_se_x_16][]

如果上面的还是不能解决你的问题，试试下面的办法吧，  
 pip install requests  -i  http://pypi.douban.com/simple --trusted-host=pypi.douban.com

# 问题: ModuleNotFoundError: No module named 'pandas' #

解决方法同上：

pip install pandas -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

# 问题: No module named 'openpyxl' #

![20210914201416811.png][]

解决方法：

pip  install openpyxl

成功运行结果如下：(生成了很多的表格文件。)

![20210914201845990.png][]

[--]: https://blog.csdn.net/qq_45301401/article/details/108717079?utm_medium=distribute.pc_relevant.none-task-blog-2~default~essearch~vector-6.no_search_link&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~essearch~vector-6.no_search_link
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAemh1b2h1aTMwNzMxNzY4NA_size_12_color_FFFFFF_t_70_g_se_x_16]: /images/20210920/0e9534616efe4d9d945ea22212f1a291.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAemh1b2h1aTMwNzMxNzY4NA_size_16_color_FFFFFF_t_70_g_se_x_16]: /images/20210920/d0cd6e070315472488a7b756084f015b.png
[20210914201416811.png]: /images/20210920/efdc80311f874669a1296e31ac6d6ca6.png
[20210914201845990.png]: /images/20210920/92a010106b134bb789fb65fd7838688f.png