前言
- 在之前的文章中说到了soul的http长轮询数据同步策略,这次说一下另一个跟http有点关系的同步策略websocket,websocket策略与长轮询相反,它是admin主动向网关push数据,在官网的文章中,也介绍了websocket的同步原理,结合官网的文章看一下websocket的整体同步流程。
soul网关,为了实现其高性能,轻量级的目标,网关核心部分使用本地缓存存储数据,基于Spring webflux框架,做到了实时响应;所有的组件以插件形式与网关集成,易扩展且具备热插拔效果,数据同步支持http长轮训, websocket, nacos, zookeeper,选择灵活度高,且默认使用http长轮训进行数据同步,使得即便其他同步方式失效的情况下,也不影响数据同步的工作;提供控制台,在线动态修改网关配置,熔断,限流,鉴权等功能。
首先从GitHub上star+fork项目到自己的github仓库中,1
2soul项目地址:https://github.com/dromara/soul
如果github慢,可以使用gitee代替:https://gitee.com/shuaiqiyu/soul
在公司做项目的时候,根据数据库一个排序字段进行排序,在对该字段进行修改的时候,需要保证修改后顺序依然是连续正确的,做的时候我查询了两次,通过ID查询得到要修改的数据修改之前的值,然后再通过序号查询到修改后哪些值的序号需要调整。
用Java写爬虫我选了webmagic,原因没别的,比起其他爬虫框架这个知道的早一些。看着文档跟百度鼓捣一天,基本功能是搞定了,写一篇文章记录下使用webmagic的过程和对其的理解,方便日后查阅。