㈠ JAVA爬虫爬取天猫某一个手机所有数据（包括品牌型号价格评论参数都要有）
HttpClient client = new HttpClient();
HttpMethod method = new PostMethod(indexUrl);
client.executeMethod(method);
method = new PostMethod("http://要抓取的地址");
client.executeMethod(method);
// 返回的信息
// 程序运行到这里时，就读取了索引页的源代码，然后去除空白的换行
String letterContent = method.getResponseBodyAsString().replaceAll("\r\n", "");
// 这个方法是去解析这一页内容的
// 这里是默认执行的第一页.
handleFirstIndex(client, method, letterContent,indexUrl);
// 释放连接
method.releaseConnection();
㈡ java写的web网页,能植入phython爬虫进行数据挖掘么还是只能使用同环境的java爬虫
可以，爬虫和目标网页没关系。
㈢ java爬虫怎么抓取登陆后的网页数据
一般爬虫都不会抓登录以后的页面，
如果你只是临时抓某个站，可以模拟登录，然后拿到登录以后的Cookies，再去请求相关的页面。
㈣ java爬虫实时获取页面数据并存入数据库
response push的html标签你能拿到，就能按规律全部遍历出来，代码网上很多
㈤ java爬虫爬取.net页面传值viewstate怎么处理为什么爬取的一直是首页数据，不能翻页
你要注意翻页时候的url如果翻页上面的页码是不是会改变 那你只请求第一页当然返回的只是第一页的数据你要变动url地址再次查询得到数据啊
㈥ 给推荐几个github上优秀的java爬虫项目
1.nutch
地址：apache/nutch · GitHub
apache下的开源爬虫程序，功能丰富，文档完整。有数据抓取解析以及存储的模块。
2.Heritrix
地址：internetarchive/heritrix3 · GitHub
很早就有了，经历过很多次更新，使用的人比较多，功能齐全，文档完整，网上的资料也多。有自己的web管理控制台，包含了一个HTTP 服务器。操作者可以通过选择Crawler命令来操作控制台。
3.crawler4j
地址：yasserg/crawler4j · GitHub
因为只拥有爬虫的核心功能，所以上手极为简单，几分钟就可以写一个多线程爬虫程序。
当然，上面说的nutch有的功能比如数据存储不代表Heritrix没有，反之亦然。具体使用哪个合适还需要仔细阅读文档并配合实验才能下结论啊~
还有比如JSpider，WebEater，Java Web Crawler，WebLech，Ex-Crawler，JoBo等等，这些没用过，不知道。。。
㈦ 请大家帮帮忙. 使用java爬虫得到网页以后怎么提取里面自己需要的内容呢如果会代码请您写一下.谢谢您
你自己写个方法 取自己需要的内容
㈧ 请问怎样用Java获取股票行情历史数据新浪、搜狐、百度财经都可以......
publicclassStockConnection{
publicstaticvoidmain(String[]args){
URLur=null;
try{
//搜狐股票行情历史接口
// ur=newURL("http://q.stock.sohu.com/hisHq?code=cn_300228&start=20130930&end=20131231&stat=1&order=D&period=d&callback=historySearchHandler&rt=jsonp");
//新浪股票行情历史接口
ur=newURL("http://biz.finance.sina.com.cn/stock/flash_hq/kline_data.php?&rand=random(10000)&symbol=sh600000&end_date=20150809&begin_date=20000101&type=plain");
HttpURLConnectionuc=(HttpURLConnection)ur.openConnection();
BufferedReaderreader=newBufferedReader(newInputStreamReader(ur.openStream(),"GBK"));
Stringline;
while((line=reader.readLine())!=null){
System.out.println(line);
}
}catch(Exceptione){
//TODOAuto-generatedcatchblock
e.printStackTrace();
}
}
}
㈨ java 如何实现 获取实时股票数据
一般有三种方式：
网页爬虫。采用爬虫去爬取目标网页的股票数据，去GitHub或技术论坛（如CSDN、51CTO）上找一下别人写的爬虫集成到项目中。
请求第三方API。会有专门的公司（例如网络API市场）提供股票数据，你只需要去购买他们的服务，使用他们提供的SDK，仿照demo开发实现即可。如下图所示：
㈩ 如何用java读取股票数据
股票实时行情，可以通过两个方法来进行查看： 第一种，在网络搜索页面直接输入股票代码，如：000717，网络输入后，即可在搜索结果中看到，其中分时，就是该股票在当天的实时走向。 第二种，通过炒股软件，如东财，同花顺等，在开启后，直接输入