Cabana
5.01D

新人写博客,前天刚把删除功能做出来,今天一看被 google 爬虫全删掉了

  Cabana · Jan 22, 2017 · 33727 views
  •   The specified image does not exist
    This topic created in 3505 days ago, the information mentioned may be changed or developed.
    还以为是谁发现我的地址了,恶作剧给删了呢,一看 nginx 日志才发现
    ![]( )
    应为正在搭也没人知道,就暂时没有做登陆权限什么的,结果被 Google 坑了一把,还好大多都是测试数据只有几篇自己写的。
    202 replies    2017-09-14 10:29:35 +08:00
    1  2  3  
    haozibi
        101
    haozibi  
       Jan 22, 2017 via Android
    翻页,
    haozibi
        102
    haozibi  
       Jan 22, 2017 via Android
    翻页喽
    solu
        103
    solu  
       Jan 22, 2017
    本来埋头苦干了一天很郁闷,感谢楼主发帖
    Magician
        104
    Magician  
       Jan 22, 2017 via iPhone
    谷歌 怪我咯……
    techmoe
        105
    techmoe  
       Jan 22, 2017 via Android
    笑哭了
    Twinkle
        106
    Twinkle  
       Jan 22, 2017
    nodin
        107
    nodin  
       Jan 22, 2017 via iPhone   ❤️ 1
    这就是阅后即焚?
    mritd
        108
    mritd  
       Jan 22, 2017 via iPhone
    笑喷了 哈哈哈
    Cabana
        109
    Cabana  
    OP
       Jan 22, 2017 via Android
    @v2exhehehehe 嗯嗯,的确半路出家😅
    learnshare
        110
    learnshare  
       Jan 22, 2017
    GET 应该做幂等操作,删除就用 DELETE 方法,而且无论如何也要做权限限制的
    Cabana
        111
    Cabana  
    OP
       Jan 22, 2017 via Android
    @lzsadam 大都是生成的无用数据,自己写的几篇也大都是测试而已…
    lazypu
        112
    lazypu  
       Jan 22, 2017
    SEO 做得不错啊
    xiaolanglang
        113
    xiaolanglang  
       Jan 22, 2017   ❤️ 1
    用 GET 请求处理删除操作,就算做了鉴权,爬虫是不能操作成功了,但是浏览器的预读功能依然可以啊~
    int64ago
        114
    int64ago  
       Jan 22, 2017
    笑得流汗 233
    nikoo
        115
    nikoo  
       Jan 22, 2017
    建议楼主起诉 google !

    这叫什么不做恶?!
    TKKONE
        116
    TKKONE  
    PRO
       Jan 22, 2017
    哈???你的 delete 为什么没有进行权限设置?任何人都可以删的话,那就不能怪谷歌了
    awolfly9
        117
    awolfly9  
       Jan 22, 2017
    谷歌开发人员开始怀疑人生了
    ik
        118
    ik  
       Jan 22, 2017 via iPhone
    哈哈哈 我终于动了 get post 的区别了
    why1
        119
    why1  
       Jan 22, 2017
    要求立即停止自动驾驶汽车研发
    hljjhb
        120
    hljjhb  
       Jan 22, 2017
    真的笑,笑出声
    gongjianwei
        121
    gongjianwei  
       Jan 22, 2017 via Android
    其实我觉得你太可爱了 XD
    ELLIA
        122
    ELLIA  
       Jan 22, 2017
    @bao3 你这么说好像没毛病, 23333
    Ellison
        123
    Ellison  
       Jan 22, 2017
    哈哈哈哈,年前就靠楼主的笑话了
    illuz
        124
    illuz  
       Jan 22, 2017   ❤️ 1
    为何一句「爬虫也是一脸懵逼,爬完后之前的 404 了。。。」能获得这么多感谢,这话很对你们来说很有帮助吗?
    某乎既视感。
    Vicia
        125
    Vicia  
       Jan 22, 2017 via iPhone   ❤️ 2
    @illuz 看完这句话开心大笑,一扫一天的疲惫和不愉快,不算是一种帮助么?
    SPACELAN
        126
    SPACELAN  
       Jan 22, 2017
    @dong3580 哈哈哈 我 outlook 也是,一直以为是验证服务器的问题
    MrWii
        127
    MrWii  
       Jan 22, 2017
    哈哈,指着这个段子过年了
    caomu
        128
    caomu  
       Jan 22, 2017 via Android   ❤️ 7
    爬虫:我可能爬的是假的网站
    leotso
        129
    leotso  
       Jan 22, 2017
    Google: 怪我咯? hhhhh
    pljhonglu
        130
    pljhonglu  
       Jan 22, 2017
    哈哈哈,妥妥的年度最佳~
    cai314494687
        131
    cai314494687  
       Jan 22, 2017
    直接 GET 就能删除?你写的程序也是牛逼。

    你先搞清楚什么情况下用 GET 什么情况下该用 POST 吧
    lanjz
        132
    lanjz  
       Jan 22, 2017
    ......笑 cry..
    chilaoqi
        133
    chilaoqi  
       Jan 22, 2017
    论 HTTP method 的重要性, Get 大法好啊
    ayang23
        134
    ayang23  
       Jan 22, 2017
    我是来看回复的
    RobertYang
        135
    RobertYang  
       Jan 22, 2017 via Android
    谷歌 bot:怪我咯,我说怎么怕完了就是 404 了
    itfanr
        136
    itfanr  
       Jan 22, 2017 via Android   ❤️ 3
    我想起之前同事写的代码 make clean 。把代码也 clean 了…
    elvba
        137
    elvba  
       Jan 22, 2017
    今日最佳,留名
    seashell
        138
    seashell  
       Jan 22, 2017
    @dong3580 联通的这个鉴权逻辑有点诡异啊,只是打开邮件,又没有点击链接。
    smallpath
        139
    smallpath  
       Jan 22, 2017
    哈哈哈哈哈哈哈
    xiongbiao
        140
    xiongbiao  
       Jan 22, 2017
    这个厉害了 哈哈
    CrispElite
        141
    CrispElite  
       Jan 22, 2017
    哈哈野路子
    mN71eOOprFyMsnPx
        142
    mN71eOOprFyMsnPx  
       Jan 22, 2017
    笑得听不下来。
    楼主,摸摸头
    muteZephyr
        143
    muteZephyr  
       Jan 22, 2017
    厉害了 word 哥
    lc4t
        144
    lc4t  
       Jan 22, 2017
    不行了先去笑一会。

    楼主记得这种东西要设好权限啊 233333
    xjp
        145
    xjp  
       Jan 23, 2017 via iPhone
    哈哈哈哈哈 最佳最佳
    fangxing204
        146
    fangxing204  
       Jan 23, 2017 via Android
    哈哈
    Immortal
        147
    Immortal  
       Jan 23, 2017
    善意的笑了
    jarlyyn
        148
    jarlyyn  
       Jan 23, 2017   ❤️ 1
    1.如果你在用 Google 浏览器,你的测试链接也会上传到 google 爬虫。所以我的测试服务器有专门设置。

    2.如果权限系统没做好,可以先用 basic auth 。如果程序中不知道怎么用前台的 nginx/apache 也可以设置。

    3.某种角度来说,这类似于 crsf 攻击。就算权限系统做好了,这样依然会有问题。
    Zohar
        149
    Zohar  
       Jan 23, 2017 via Android
    @kn007 大半夜笑出声😂
    Tyanboot
        150
    Tyanboot  
    PRO
       Jan 23, 2017 via Android
    @itfanr 这个就厉害了。
    seeker
        151
    seeker  
       Jan 23, 2017
    谢谢分享。
    谁都有萌新的时候。
    steveshi
        152
    steveshi  
       Jan 23, 2017 via iPhone
    居然笑醒了
    dong3580
        153
    dong3580  
       Jan 23, 2017 via Android
    @SPACELAN
    @seashell
    你说这开发的有多🐷,邮件服务器肯定会扫描你的邮件的, outlook 是不是应该扫了它链接呗。
    Cbdy
        154
    Cbdy  
       Jan 23, 2017 via Android
    起码加个 HTTP BASIC 。。。
    xiaodongus
        155
    xiaodongus  
       Jan 23, 2017 via iPhone
    哈哈哈哈哈哈哈哈,爬虫也是一脸懵逼
    jy02201949
        156
    jy02201949  
       Jan 23, 2017
    总是有人想着怎么防爬虫,楼主另类的思路带领我们开辟了一条新的道路
    skylancer
        157
    skylancer  
       Jan 23, 2017 via Android
    一大早看到这么欢乐的事... 哈哈哈
    imnpc
        158
    imnpc  
       Jan 23, 2017
    花式反 bot
    ytmsdy
        159
    ytmsdy  
       Jan 23, 2017
    哈哈哈哈,让我先笑一会。。
    cougar
        160
    cougar  
       Jan 23, 2017
    有才
    rashawn
        161
    rashawn  
       Jan 23, 2017 via iPhone
    厉害了……
    cat9life
        162
    cat9life  
       Jan 23, 2017
    哇咔咔 LZ 太有趣了...
    simo
        163
    simo  
       Jan 23, 2017
    事故是最好的老师,长点心吧
    polun
        164
    polun  
       Jan 23, 2017
    谢谢(*^_^*)
    ybh37
        165
    ybh37  
       Jan 23, 2017
    大过年的,出来讲笑话的吧?
    simonjinyuliu
        166
    simonjinyuliu  
       Jan 23, 2017
    GET /delete ... 一股莫名的喜感
    wbt
        167
    wbt  
       Jan 23, 2017
    😁 😁 😁
    hjxx
        168
    hjxx  
       Jan 23, 2017
    想起以前跑数据库迁移脚本 get 请求某个地址 执行歉意的相关代码 结果每次都发现被执行了 2-3 次 后面才发现是万恶的 chrome 预加载 默默的换了 curl / wget
    erenno1
        169
    erenno1  
       Jan 23, 2017
    哈哈哈
    yivanus
        170
    yivanus  
       Jan 23, 2017
    年终奖没有中奖,全靠这个乐一下了。谢谢楼主。
    pwcong
        171
    pwcong  
       Jan 23, 2017
    真感谢你们把生活过成了段子,笑死我
    code4life
        172
    code4life  
       Jan 23, 2017
    @1OF7G

    感谢指路!
    wintercoder
        173
    wintercoder  
       Jan 23, 2017
    火钳刘明
    zhouyg
        174
    zhouyg  
       Jan 23, 2017
    已加入 GET vs POST 大全
    cst4you
        175
    cst4you  
       Jan 23, 2017
    今日最佳
    panlilu
        176
    panlilu  
       Jan 23, 2017
    有点厉害,最近有点郁闷这笑话把我乐醒了
    styang
        177
    styang  
       Jan 23, 2017
    今日最佳
    shyrock
        178
    shyrock  
       Jan 23, 2017
    只有聪明的谷歌 GET 到了你的 idea 。。。
    jadecoder
        179
    jadecoder  
       Jan 23, 2017
    笑 2333 ,下次讲 RESTful 又有例子了
    mlhorizon
        180
    mlhorizon  
       Jan 23, 2017
    自毁式反爬虫策略,赞一个,再摸摸头。
    argsno
        181
    argsno  
       Jan 23, 2017
    我的锅咯~~~~~~~~~
    wly19960911
        182
    wly19960911  
       Jan 23, 2017
    其实可以当爬虫经过的时候把某个页面给隐藏掉直接返回 404 ,使用类似于 lz 这样拿一个瞄链接等爬虫爬,然后过一段时间再恢复应该可以吧。
    MXA
        183
    MXA  
       Jan 23, 2017
    @mritd hi , nice too meet U
    Jackeriss
        184
    Jackeriss  
       Jan 23, 2017
    19 杀!全场最佳: Google
    DualWield
        185
    DualWield  
       Jan 23, 2017
    22333333 今日最佳
    cherrypi
        186
    cherrypi  
       Jan 23, 2017 via iPhone
    身经百战的爬虫也是懵逼了!
    loddit
        187
    loddit  
       Jan 23, 2017
    @jarlyyn 「 1. 如果你在用 Google 浏览器,你的测试链接也会上传到 google 爬虫」这个有确定的证据吗?
    jarlyyn
        188
    jarlyyn  
       Jan 23, 2017
    @loddit

    经验和网上的链接

    比如


    https://news.ycombinator.com/item?id=3034288



    另外, baidu 统计也会提交到百度的搜索引擎。
    l2003529
        189
    l2003529  
       Jan 23, 2017 via iPad
    笑出声哈哈😂
    run2
        190
    run2  
       Jan 23, 2017
    耿直 boy
    Google Bot 说给我钱,然后他就给了 0 , 0
    tianice
        191
    tianice  
       Jan 23, 2017
    今日最佳
    codeyung
        192
    codeyung  
       Jan 23, 2017
    偷笑 - -
    daysv
        193
    daysv  
       Jan 24, 2017
    笑死我了...... 还能这样做的
    ZhLTE
        194
    ZhLTE  
       Jan 24, 2017
    @xmumiffy 哈哈哈哈哈哈哈
    overlords
        195
    overlords  
       Jan 24, 2017 via iPhone
    第一次知道被蜘蛛删了
    r00tt
        196
    r00tt  
       Jan 25, 2017
    楼主好萌,看笑了
    Vicer
        197
    Vicer  
       Jan 29, 2017 via Android
    有故事,才会成长
    pacino
        198
    pacino  
       Feb 12, 2017
    厉害了
    xiaorun
        199
    xiaorun  
       Feb 14, 2017
    robots.txt
    henneko
        200
    henneko  
       Feb 16, 2017 via Android
    我感觉 LZ 发明了新的开车技巧
    1  2  3  
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2786 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 239ms · UTC 13:13 · PVG 21:13 · LAX 06:13 · JFK 09:13
    ♥ Do have faith in what you're doing.