当前位置：首页 » 软件代码 » 利用scrapy框架爬取所有的股票代码
扩展阅读
理财只有股票基金吗 2025-07-17 15:09:25
深圳平安银行 2025-07-17 14:48:28
同仁堂历史股票行情图 2025-07-17 14:26:31

利用scrapy框架爬取所有的股票代码

发布时间: 2021-09-20 22:05:28

1. 如何在scrapy框架下用python爬取json文件

import json
str = str[(str.find('(')+1):str.rfind(')')] #去掉首尾的圆括号前后部分
dict = json.loads(str)
comments = dict['comments']
#然后for一下就行了

2. python scrapy 怎么将爬取的内容写出

首先，安装Python，坑太多了，一个个爬。由于我是windows环境，没钱买mac, 在安装的时候遇到各种各样的问题，确实各种各样的依赖。安装教程不再赘述。如果在安装的过程中遇到 ERROR：需要windows c/c++问题，一般是由于缺少windows开发编译环境，晚上大多数教程是安装一个VisualStudio，太不靠谱了，事实上只要安装一个WindowsSDK就可以了。下面贴上我的爬虫代码：

爬虫主程序：

[python]view plain

  • #-*-coding:utf-8-*-

  • importscrapy

  • fromscrapy.httpimportRequest

  • fromzjf.FsmzItemsimportFsmzItem

  • fromscrapy.selectorimportSelector

  • #圈圈：情感生活

  • classMySpider(scrapy.Spider):

  • #爬虫名

  • name="MySpider"

  • #设定域名

  • allowed_domains=["nvsheng.com"]

  • #爬取地址

  • start_urls=[]

  • #flag

  • x=0

  • #爬取方法

  • defparse(self,response):

  • item=FsmzItem()

  • sel=Selector(response)

  • item['title']=sel.xpath('//h1/text()').extract()

  • item['text']=sel.xpath('//*[@class="content"]/p/text()').extract()

  • item['imags']=sel.xpath('//div[@id="content"]/p/a/img/@src|//div[@id="content"]/p/img/@src').extract()

  • ifMySpider.x==0:

  • page_list=MySpider.getUrl(self,response)

  • forpage_singleinpage_list:

  • yieldRequest(page_single)

  • MySpider.x+=1

  • yielditem

  • #init:动态传入参数

  • #命令行传参写法：scrapycrawlMySpider-astart_url="e_url"

  • def__init__(self,*args,**kwargs):

  • super(MySpider,self).__init__(*args,**kwargs)

  • self.start_urls=[kwargs.get('start_url')]

  • defgetUrl(self,response):

  • url_list=[]

  • select=Selector(response)

  • page_list_tmp=select.xpath('//div[@class="viewnewpages"]/a[not(@class="next")]/@href').extract()

  • forpage_tmpinpage_list_tmp:

  • ifpage_tmpnotinurl_list:

  • url_list.append("px/"+page_tmp)

  • returnurl_list


  • PipeLines类

    • [python]view plain

  • #-*-coding:utf-8-*-

  • #Defineyouritempipelineshere

  • #

  • #Don'_PIPELINESsetting

  • fromzjfimportsettings

  • importjson,os,re,random

  • importurllib.request

  • importrequests,json

  • fromrequests_toolbelt.multipart.encoderimportMultipartEncoder

  • classMyPipeline(object):

  • flag=1

  • post_title=''

  • post_text=[]

  • post_text_imageUrl_list=[]

  • cs=[]

  • user_id=''

  • def__init__(self):

  • MyPipeline.user_id=MyPipeline.getRandomUser('37619,18441390,18441391')

  • #processthedata

  • defprocess_item(self,item,spider):

  • #获取随机user_id，模拟发帖

  • user_id=MyPipeline.user_id

  • #获取正文text_str_tmp

  • text=item['text']

  • text_str_tmp=""

  • forstrintext:

  • text_str_tmp=text_str_tmp+str

  • #print(text_str_tmp)

  • #获取标题

  • ifMyPipeline.flag==1:

  • title=item['title']

  • MyPipeline.post_title=MyPipeline.post_title+title[0]

  • #保存并上传图片

  • text_insert_pic=''

  • text_insert_pic_w=''

  • text_insert_pic_h=''

  • forimag_urlinitem['imags']:

  • img_name=imag_url.replace('/','').replace('.','').replace('|','').replace(':','')

  • pic_dir=settings.IMAGES_STORE+'%s.jpg'%(img_name)

  • urllib.request.urlretrieve(imag_url,pic_dir)

  • #图片上传，返回json

  • upload_img_result=MyPipeline.uploadImage(pic_dir,'image/jpeg')

  • #获取json中保存图片路径

  • text_insert_pic=upload_img_result['result']['image_url']

  • text_insert_pic_w=upload_img_result['result']['w']

  • text_insert_pic_h=upload_img_result['result']['h']

  • #拼接json

  • ifMyPipeline.flag==1:

  • cs_json={"c":text_str_tmp,"i":"","w":text_insert_pic_w,"h":text_insert_pic_h}

  • else:

  • cs_json={"c":text_str_tmp,"i":text_insert_pic,"w":text_insert_pic_w,"h":text_insert_pic_h}

  • MyPipeline.cs.append(cs_json)

  • MyPipeline.flag+=1

  • returnitem

  • #spider开启时被调用

  • defopen_spider(self,spider):

  • pass

  • #sipder关闭时被调用

  • defclose_spider(self,spider):

  • strcs=json.mps(MyPipeline.cs)

  • jsonData={"apisign":"","user_id":MyPipeline.user_id,"gid":30,"t":MyPipeline.post_title,"cs":strcs}

  • MyPipeline.uploadPost(jsonData)

  • #上传图片

  • defuploadImage(img_path,content_type):

  • "uploadImagefunctions"

  • #UPLOAD_IMG_URL="dpostimage"

  • UPLOAD_IMG_URL="oadpostimage"

  • #传图片

  • #imgPath='D:picshttp___img_nvsheng_com_uploads_allimg_170119_18-1f1191g440_jpg.jpg'

  • m=MultipartEncoder(

  • #fields={'user_id':'192323',

  • #'images':('filename',open(imgPath,'rb'),'image/JPEG')}

  • fields={'user_id':MyPipeline.user_id,

  • 'apisign':'',

  • 'image':('filename',open(img_path,'rb'),'image/jpeg')}

  • )

  • r=requests.post(UPLOAD_IMG_URL,data=m,headers={'Content-Type':m.content_type})

  • returnr.json()

  • defuploadPost(jsonData):

  • CREATE_POST_URL="hmagespost"

    • [python]view plain

  • reqPost=requests.post(CREATE_POST_URL,data=jsonData)

    • [python]view plain

  • defgetRandomUser(userStr):

  • user_list=[]

  • user_chooesd=''

  • foruser_idinstr(userStr).split(','):

  • user_list.append(user_id)

  • userId_idx=random.randint(1,len(user_list))

  • user_chooesd=user_list[userId_idx-1]

  • returnuser_chooesd


  • 字段保存Items类

    • [python]view plain

  • #-*-coding:utf-8-*-

  • #

  • #

  • #Seedocumentationin:

  • importscrapy

  • classFsmzItem(scrapy.Item):

  • #:

  • #name=scrapy.Field()

  • title=scrapy.Field()

  • #tutor=scrapy.Field()

  • #strongText=scrapy.Field()

  • text=scrapy.Field()

  • imags=scrapy.Field()


  • 在命令行里键入
  • scrapy crawl MySpider -a start_url="www.aaa.com"

    • 这样就可以爬取aaa.com下的内容了

3. 用scrapy进行数据爬取，为什么我相同的代码，运行结构却不同

Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。
Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。

4. scrapy 爬虫怎么能够只写一个通用spider，然后利用参数去顺序爬取很多个站点

说实话这个很难，因为不同站点的html相差很大，基本上是不可能说用一个通用spider去爬取的，除非你爬取的目标本来就是整个网页页面，但这样子就成了搜索引擎那样的爬虫了

5. 基于python的scrapy爬虫，关于增量爬取是怎么处理的



new to scrapy， 仅提供几个思路，详细解决方案，自己解决后后续跟进。

  • 如果只是一次性的抓取某个网站的全部内容， 中途需要暂停并且恢复，只需要

    scrapy crawl somespider -s JOBDIR=crawls/somespider-1

    参考：Jobs: pausing and resuming crawls

  • 如果需求是过滤某些url，但是网站的主入口不被过滤掉，比如典型的论坛类网站，你只想过滤掉帖子，但是却不想过滤掉板块，你可以定制一下requestSeen

    • scrapy/pefilter.py at 0.24 · scrapy/scrapy · GitHub
    python - how to filter plicate requests based on url in scrapy

  • 如果使所有网站的动态过滤，比如是不是多了一个新回复，在url上的变化并不能体现出来，搜索引擎采用的是一系列的算法，判断某一个页面的更新时机。个人应用一般不会使用到（其实是自己也不懂，写出来提供一下思路，也许你会呢）。大部分的网页在进入下一级页面的时候都会有一个类似于最后更新时间，最后活动时间等等，可以根据这个来进行判断。

6. 如何通过软件抓取新浪财经里单只股票数据

如果你是准备抓历史数据，那还不如直接使用免费的wdz程序，沪深1990年至今的全部日线历史；2000年至今十几年的5分钟数据都可以直接输出，而且可转化为各种格式。根本不用去新浪中抓取。

7. 如何用python 爬虫抓取金融数据

获取数据是数据分析中必不可少的一部分，而网络爬虫是是获取数据的一个重要渠道之一。鉴于此，我拾起了Python这把利器，开启了网络爬虫之路。

本篇使用的版本为python3.5，意在抓取证券之星上当天所有A股数据。程序主要分为三个部分：网页源码的获取、所需内容的提取、所得结果的整理。

一、网页源码的获取

很多人喜欢用python爬虫的原因之一就是它容易上手。只需以下几行代码既可抓取大部分网页的源码。

为了减少干扰，我先用正则表达式从整个页面源码中匹配出以上的主体部分，然后从主体部分中匹配出每只股票的信息。代码如下。

pattern=re.compile('<tbody[sS]*</tbody>')
body=re.findall(pattern,str(content)) #匹配<tbody和</tbody>之间的所有代码pattern=re.compile('>(.*?)<')
stock_page=re.findall(pattern,body[0]) #匹配>和<之间的所有信息

其中compile方法为编译匹配模式，findall方法用此匹配模式去匹配出所需信息，并以列表的方式返回。正则表达式的语法还挺多的，下面我只罗列所用到符号的含义。

语法 说明

. 匹配任意除换行符“ ”外的字符

* 匹配前一个字符0次或无限次

？ 匹配前一个字符0次或一次

s 空白字符：[<空格> fv]

S 非空白字符：[^s]

[...] 字符集，对应的位置可以是字符集中任意字符

(...) 被括起来的表达式将作为分组，里面一般为我们所需提取的内容

正则表达式的语法挺多的，也许有大牛只要一句正则表达式就可提取我想提取的内容。在提取股票主体部分代码时发现有人用xpath表达式提取显得更简洁一些，看来页面解析也有很长的一段路要走。

三、所得结果的整理

通过非贪婪模式(.*?)匹配>和<之间的所有数据，会匹配出一些空白字符出来，所以我们采用如下代码把空白字符移除。

stock_last=stock_total[:] #stock_total：匹配出的股票数据for data in stock_total: #stock_last：整理后的股票数据
if data=='':
stock_last.remove('')

最后，我们可以打印几列数据看下效果，代码如下

print('代码',' ','简称',' ',' ','最新价',' ','涨跌幅',' ','涨跌额',' ','5分钟涨幅')for i in range(0,len(stock_last),13): #网页总共有13列数据
print(stock_last[i],' ',stock_last[i+1],' ',' ',stock_last[i+2],' ',' ',stock_last[i+3],' ',' ',stock_last[i+4],' ',' ',stock_last[i+5])

8. 怎么抓取股票数据

那么中国股市的数据有没有呢？答案是肯定的，不过要按照下面的参数做些调整，下面提供全球证券交易所的资料。
上证股票是股票代码后面加上.ss，深证股票是股票代码后面加上.sz
例如：000001 = 000001.sz
深市数据链接：http://table.finance.yahoo.com/table.csv?s=000001.sz
上市数据链接：http://table.finance.yahoo.com/table.csv?s=600000.ss
上证综指代码：000001.ss，深证成指代码：399001.SZ，沪深300代码：000300.ss
下面就是世界股票交易所的网址和缩写，要查找哪个股票交易所的数据，就按照上面的格式以此类推。
上海交易所=cn.finance.yahoo.com,.SS,Chinese,sl1d1t1c1ohgv
深圳交易所=cn.finance.yahoo.com,.SZ,Chinese,sl1d1t1c1ohgv
美国交易所=finance.yahoo.com,,United States,sl1d1t1c1ohgv
加拿大=ca.finance.yahoo.com,.TO,Toronto,sl1d1t1c1ohgv
新西兰=au.finance.yahoo.com,.NZ,sl1d1t1c1ohgv
新加坡=sg.finance.yahoo.com,.SI,Singapore,sl1d1t1c1ohgv
香港=hk.finance.yahoo.com,.HK,Hong Kong,sl1d1t1c1ohgv
台湾=tw.finance.yahoo.com,.TW,Taiwan,sl1d1t1c1ohgv
印度=in.finance.yahoo.com,.BO,Bombay,sl1d1t1c1ohgv
伦敦=uk.finance.yahoo.com,.L,London,sl1d1t1c1ohgv
澳洲=au.finance.yahoo.com,.AX,Sydney,sl1d1t1c1ohgv
巴西=br.finance.yahoo.com,.SA,Sao Paulo,sl1d1t1c1ohgv
瑞典=se.finance.yahoo.com,.ST,Stockholm,sl1d1t1c1ohgv
以上方法只能提供历史数据，实时数据不能抓取，此方法由ArthurXF提供

9. 如何用python抓取股票数据

在 Python的QSTK中，是通过 s_datapath 变量，定义相应股票数据所在的文件夹。一般可以通过 QSDATA 这个环境变量来设置对应的数据文件夹。
具体的股票数据来源，例如沪深、港股等市场，你可以使用免费的WDZ程序输出相应日线、5分钟数据到 s_datapath 变量所指定的文件夹中。然后可使用 Python的QSTK中，qstkutil.DataAccess进行数据访问。

10. 如何用爬虫抓取股市数据并生成分析报表

1. 关于数据采集
股票数据是一种标准化的结构数据，是可以通过API接口访问的（不过一般要通过渠道，开放的API有一定的局限性）。也可以通过爬虫软件进行采集，但是爬虫软件采集数据不能保证实时性，根据数据量和采集周期，可能要延迟几十秒到几分钟不等。我们总结了一套专业的爬虫技术解决方案(Ruby + Sidekiq)。能够很快实现这个采集，也可以后台可视化调度任务。

2. 关于展现
网络股票数据的展现，网页端直接通过HTML5技术就已经足够，如果对界面要求高一点，可以采用集成前端框架，如Bootstrap；如果针对移动端开发， 可以使用Ionic框架。

3. 关于触发事件
如果是采用Ruby on Rails的开发框架的话，倒是很方便了，有如sidekiq, whenever这样子的Gem直接实现任务管理和事件触发。

阅读全文

与利用scrapy框架爬取所有的股票代码相关的内容

友情链接

本站内容整理源于互联网，如有问题请联系解决。
沪ICP备16029729号
Copyright design: www.gtjafl.com since 2016