连续快速下滑，第二次滑动后会直接回弹回去

### Reproduction link

[![Edit remark-codesandbox demo](https://codesandbox.io/static/img/play-codesandbox.svg)](https://codesandbox.io/s/winter-rgb-bepf4?file=/src/App.js)

### Screenshots

![screenshots](https://user-images.githubusercontent.com/47069259/108653626-ea39b680-7501-11eb-9da9-053b02a84823.gif)


当更新 `refreshing` 状态小于1s时，就会出现此种状况。