学习分享-Java爬虫伪代码（java怎么写爬虫软件）

之前一直有个同事想让我教教他怎么把csdn上的数据爬下来的，我在这里就简单的说一下～～话说做爬虫我也不是专业的～～业余的～～有什么问题帮我指正就好～～{{233333:0}}

为什么是伪代码呢？就是给大家把原理讲讲～～真实代码我就不在这里写了～～大家自己琢磨去吧～～

需要如下几个工具

1、缓存：我采用的是redis～～经常做后台习惯用了～～{{23333:0}}

2、dom解析工具

3、网络链接工具

话说后面两个我直接就用jsoup了

我个人的话是先做了一个缓存url方法

类的样子大概是这样的

又做了一个下载数据的

这是个最简单的小栗子

但是呢～～你如果真用这个去写个爬虫的话～～

额～～为什么呢～～如果这么递归下去～～肯定栈溢出了～～

所以还有好多工作要做～～{{2333333:0}}

学习Java的同学注意了！！！

学习过程中遇到什么问题或者想获取学习资源的话，欢迎加入Java学习交流，裙号码：253772578【长按复制】 我们一起学Java！