Java爬虫框架-WebMagic挖坑补坑指南

以前总是用的Python下的Scrapy和crawley和PHP的小众爬虫框架,最近突然想到了何不用下Java下的框架试试?查了下Java下的爬虫框架自然也不在少数,Nutch,WebMagic,WebCollector,这三个绝对是够用了,爬一般的网站不在话下,至于遇到那些爬取频次限制,前端JS渲染(AngularJS),各种识别码之类的这都都是爬虫的老问题了,作为成熟的爬虫框架,解决办法应该也

- 阅读全文 -

我去天边走了一趟-国道318全记录

我觉得我能够利用半个月的时间从重庆到拉萨,再从格尔木,兰州返回,甚是有意,我以前觉得是没有想过的,我想那也是不可能实现的,我曾经也因为“根本不可能去”而始终没有过类似的想法,是这次旅行让我真正理解一些以前无法接受的思想,并接受这一切。

- 阅读全文 -

摩托罗拉GP88S 写频脱坑并退坑小记

今年的早些时候,我在闲鱼上面入手了一个摩托罗拉GP88s,完全是为了充值信仰。我买的那台对讲机是一台垃圾成色的机器,并且不是众所周知的马来西亚生产的,是一台纯正的中国生产的机器。之所以买,原因就很多了,除了上面提到的为了信仰,我去年的时候买了一台八重洲的VX-6R,但是作为这么贵的HAM机器,居然会出现滤波发霉的通病,简直有点想不通。那个时候就有朋友给我推荐说可以考虑下摩托罗拉的机器,质量更加可靠

- 阅读全文 -

使用Docker在CentOS中搭建qiandao签到站

最近正好有一台腾讯云的服务器闲置中,平时我也是将这个服务器作为备用服务器,很多时候不是在测试,就是闲着在挂机,再加之以前在qiandao.today上的签到由于大规模的签到IP都是同一IP,容易发生签到失败的问题。Docker对于我来说仅仅是减少了应用的环境配置时间,对我来说要对项目进行转换花费的时间是很多的。闲着也是闲着,倒不如拿来折腾,于是乎就有了本篇文章的搭建签到站,至于使用Docker也是

- 阅读全文 -

清华同方电源改造记

先说说改造这个电源的起因,算是自己没事找事做。偶得一套清华同方的品牌机,性能虽然说不是怎么特别好,但是平时使用,或者用于写代码还是挺不错的,原机是英特尔I5 6400的处理器,以前有一块I5 6500的处理器,使用良好。6400频率只低了0.5,所以使用上应该没有什么大的问题。 硬盘砸沱茶,配图与本文无关。显卡的话自带的是一块索泰的被动式散热的GT730 1G版内存条是三星原厂4G DDR4 21

- 阅读全文 -

Keepass+NextCloud全开源密码管理方案

最近几年网络安全问题层出不穷,各种网站服务器的数据库泄露频发,在前几年,可能我们的网上账户的数量并不多,但是现在随着我们的网络服务越来越多,我们的账户也越来越多,并且现在的国内网站都要求对于网站的注册使用需要进行实名认证,网站账户的价值已经不能等同于以前小号满天飞的时代了。

- 阅读全文 -

Visual Studio2013-15-17使用InstallShield Limited Edition打包安装程序

最开始觉得这个问题不足为奇,以至于应该不能成文的,因为步骤也不难,但是碍于某些XX居然不会,还乱开车,我还是抽空写写,就当是备忘了。是这样的,从Visual Studio 2012开始,以前都是用Visual Studio Installer进行安装程序打包,我也多年从事Web开发,没有进行桌面应用程序的打包了,我记得最近一次正儿八经的打包还是2008年,时隔多年,变了,仅此而已(事实上就算是需要

- 阅读全文 -

最新文章

分类

标签

归档

其它