Java编写爬虫抓取今日头条内容（java抓取今日头条数据）

最新写了一个爬虫，Java编写抓取今日头条的文章，包含以下功能：

1.可配置使用服务器的多个ip进行抓取，自动切换ip

2.可配置使用代理ip进行抓取，防止封ip

3.可将文章中文简体转换成繁体入库

4.可配置是否下载图片，修改图片链接地址前缀

那么如何抓取今日头条的内容呢，首先分析头条网站内容的获取方式，使用浏览器调试查看

发现头条获取内容是通过接口获取，接口的参数为上图所示的参数：

category为分类,utm_source固定为toutiao,widen为1，max_behot_time为获取文章的时间戳，每次访问接口返回下次访问的max_behot_time,as和cp为根据时间戳加密的字符串，个人感觉应该是鉴权使用。

接口返回json,格式为：

其中has_more表示接口是否返回数据；

data为返回的内容信息

next-->max_behot_time为下一次访问接口是的max_behot_time参数的值。

具体的爬虫信息可以搜索微儿博客查看，目前源码已放出，在我的博客文章中会找到。

有什么不足的地方忘大家多多指正。