查看: 7150|回复: 62
打印 上一主题 下一主题

[经验] 各个搜索引擎实时监测蜘蛛爬行脚本(定位原创)

? [复制链接]

230

主题

16

听众

436

积分

管理员

Rank: 9Rank: 9Rank: 9

  • TA的每日心情
    无聊
    昨天?12:39
  • 签到天数: 200 天

    [LV.7]常住居民III

    以下是360蜘蛛实时监测脚本,其他搜索引擎的以此类推,如果实在不会写,我分享到网盘里面。

    监测蜘蛛爬行脚本

    #!/bin/bash

    cd /home/wwwlogs

    SpiderNum=`cat bbs.cnblackhat.com.log | grep 360Spider | wc -l`

    spider() {

    SpiderIp="`cat bbs.cnblackhat.com.log | grep 360Spider | awk -F ' '??'{print $1}' | sed -n $i'p'`"

    SpiderTime="`cat bbs.cnblackhat.com.log | grep 360Spider | awk -F ' ' '{print $4}' | sed -n $i'p'`"

    SpiderTarget="`cat bbs.cnblackhat.com.log | grep 360Spider | awk -F ' ' '{print $7}' | sed -n $i'p'`"

    SpiderStatus="`cat bbs.cnblackhat.com.log | grep 360Spider | awk -F ' ' '{print $9}' | sed -n $i'p'`"

    SpiderType="`cat bbs.cnblackhat.com.log | grep 360Spider | awk -F ' ' '{print $20}' | sed -n $i'p'`"


    echo "$SpiderIp : $SpiderTime : $SpiderTarget : $SpiderStatus : $SpiderType"
    }

    for ((i=1; i<=$SpiderNum; i++))
    do
    spider
    done


    其它搜索引擎脚本下载地址:

    购买主题 已有 21 人购买? 本主题需向作者支付 4 黑币 才能浏览
    帖子永久地址:?

    亚游集团平台|开户联盟 - 论坛版权1、本主题所有言论和图片纯属会员个人意见,与本论坛立场无关
    2、本站所有主题由该帖子作者发表,该帖子作者与亚游集团平台|开户联盟享有帖子相关版权
    3、其他单位或个人使用、转载或引用本文时必须同时征得该帖子作者和亚游集团平台|开户联盟的同意
    4、帖子作者须承担一切因本文发表而直接或间接导致的民事或刑事法律责任
    5、本帖部分内容转载自其它媒体,但并不代表本站赞同其观点和对其真实性负责
    6、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意
    7、亚游集团平台|开户联盟管理员和版主有权不事先通知发贴者而删除本文

    Rank: 2

  • TA的每日心情
    擦汗
    2017-10-11 12:07
  • 签到天数: 125 天

    [LV.7]常住居民III

    怎么用啊!直接丢到根目录吗?

    点评

    四维空间 ?放到根目录后,怎么查看结果呢?? 详情 回复 发表于 2017-3-13 16:41
    admin ?随便哪个目录都行,给予它可执行权限,执行./文件 就可以了,之后你就能看到了? 详情 回复 发表于 2016-10-28 16:43

    230

    主题

    16

    听众

    436

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

  • TA的每日心情
    无聊
    昨天?12:39
  • 签到天数: 200 天

    [LV.7]常住居民III

    愤怒的肥皂 发表于 2016-10-28 16:39
    怎么用啊!直接丢到根目录吗?

    随便哪个目录都行,给予它可执行权限,执行./文件??就可以了,之后你就能看到了

    Rank: 2

  • TA的每日心情
    开心
    2019-4-7 15:07
  • 签到天数: 62 天

    [LV.6]常住居民II

    谢谢分享

    Rank: 2

  • TA的每日心情

    2019-3-21 19:51
  • 签到天数: 75 天

    [LV.6]常住居民II

    谢谢分享,这个很赞!

    Rank: 1

  • TA的每日心情
    奋斗
    2018-7-5 17:37
  • 签到天数: 60 天

    [LV.6]常住居民II

    谢谢分享

    Rank: 2

  • TA的每日心情

    2019-8-28 22:10
  • 签到天数: 74 天

    [LV.6]常住居民II

    支持原创谢谢分享
    来自安卓客户端来自安卓客户端

    Rank: 1

  • TA的每日心情
    开心
    2019-1-29 16:03
  • 签到天数: 25 天

    [LV.4]偶尔看看III

    [经验] 各个搜索引擎实时监测蜘蛛爬行脚本(定位原创)
    本文摘自: 亚游集团平台|开户联盟(http://bbs.cnblackhat.com/) 详细出处请参考:http://bbs.cnblackhat.com/thread-234-1-1.html
    已有 1 人评分黑币 收起 理由
    admin -8

    总评分:?黑币 -8? ?查看全部评分

    Rank: 3Rank: 3

  • TA的每日心情
    郁闷
    2019-5-8 02:08
  • 签到天数: 265 天

    [LV.8]以坛为家I

    按我理解把spider给替换成其他的引擎即可……
    来自安卓客户端来自安卓客户端

    0

    主题

    0

    听众

    4

    积分

    亚游集团平台|开户菜鸟

    Rank: 1

  • TA的每日心情
    擦汗
    2016-12-9 21:22
  • 签到天数: 1 天

    [LV.1]初来乍到

    看看哦

    Rank: 1

  • TA的每日心情
    奋斗
    2017-3-28 11:51
  • 签到天数: 16 天

    [LV.4]偶尔看看III

    那应该如何查看访问的结果呢?

    点评

    定位 ?什么意思?? 详情 回复 发表于 2017-2-21 17:13

    699

    主题

    32

    听众

    2181

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

  • TA的每日心情
    慵懒
    4?天前
  • 签到天数: 945 天

    [LV.10]以坛为家III

    四维空间 发表于 2017-2-21 17:06
    那应该如何查看访问的结果呢?

    什么意思?

    点评

    四维空间 ?就是把代码放到根目录后,我怎么查看各个搜索引擎的访问结果呢?是以什么形式展示出来,是log,还是啥别的形式?? 详情 回复 发表于 2017-3-13 16:45
    勿忘初心,方得始终!

    Rank: 2

  • TA的每日心情
    开心
    2017-11-7 09:39
  • 签到天数: 31 天

    [LV.5]常住居民I

    感谢老大分享

    Rank: 2

  • TA的每日心情
    擦汗
    2019-2-12 23:02
  • 签到天数: 76 天

    [LV.6]常住居民II

    谢谢行为分享,厉害

    Rank: 1

  • TA的每日心情
    奋斗
    2017-3-28 11:51
  • 签到天数: 16 天

    [LV.4]偶尔看看III

    愤怒的肥皂 发表于 2016-10-28 16:39
    怎么用啊!直接丢到根目录吗?

    放到根目录后,怎么查看结果呢?

    Rank: 1

  • TA的每日心情
    奋斗
    2017-3-28 11:51
  • 签到天数: 16 天

    [LV.4]偶尔看看III

    定位 发表于 2017-2-21 17:13
    什么意思?

    就是把代码放到根目录后,我怎么查看各个搜索引擎的访问结果呢?是以什么形式展示出来,是log,还是啥别的形式?

    点评

    yun ?不是,直接执行其脚本,可以实时在线观察蜘蛛动态,抓取那个目录,抓取状态都可以看到? 详情 回复 发表于 2017-3-13 20:09

    920

    主题

    34

    听众

    1361

    积分

    超级版主

    Rank: 8Rank: 8

  • TA的每日心情
    奋斗
    6?天前
  • 签到天数: 678 天

    [LV.9]以坛为家II

    四维空间 发表于 2017-3-13 16:45
    就是把代码放到根目录后,我怎么查看各个搜索引擎的访问结果呢?是以什么形式展示出来,是log,还是啥别的 ...

    不是,直接执行其脚本,可以实时在线观察蜘蛛动态,抓取那个目录,抓取状态都可以看到

    点评

    zte123 ?他的意思是问,把这个放到服务器上以后,用什么工具去查看或者在域名后面输入什么能查看蜘蛛的实时动态。? 详情 回复 发表于 2017-5-24 10:31

    Rank: 2

  • TA的每日心情

    2017-5-29 00:09
  • 签到天数: 54 天

    [LV.5]常住居民I

    谢谢分享

    Rank: 1

  • TA的每日心情
    开心
    2017-3-30 09:35
  • 签到天数: 6 天

    [LV.2]偶尔看看I

    看看看

    Rank: 1

  • TA的每日心情
    慵懒
    2017-4-11 09:24
  • 签到天数: 1 天

    [LV.1]初来乍到

    1111111111
    您需要登录后才可以回帖 登录 | 会员注册

    站长推荐上一条 /1 下一条

    发帖 导读