站长课堂--78模板网分享cms建站教程，提供网站模板、网站插件、办公模板等模板教程免费学习,找模板教程就上78模板网!

屏蔽MJ12bot 蜘蛛爬虫屏蔽垃圾SEO蜘蛛

MJ12bot 蜘蛛爬虫屏蔽垃圾SEO蜘蛛Majestic是英国的专业搜索引擎，成百上千的企业使用13种语言和60多个国家/地区来绘制互联网地图，这些地图独立于基于消费者的搜索引擎。Majestic还支持其他合法技术，这些技术有助于了解不断变化的Web结构。网站所有者可以在majestuc上查看有关其自己网站的数据。爬取 User-AgentMozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/)robots.txt 拦截Use...

谷歌浏览器如何禁止http转化为https

谷歌浏览器如何禁止http转化为https方法/步骤1.首先在浏览器输入“chrome://net-internals/#hsts：“2.点击Domain Security Policy在Query HSTS下输入域名先查询自动转换的域名，点击Query查到说明此域名http转化为https3.在"Delete Domain security policies"下输入禁止自动转换https的域名，点击Delete4.点击浏览器右上角三点下拉列表的清除浏览数据5.弹出清除数据窗...

PHP页面设置独立访问密码(页面加密)

PHP网页如果需要查看信息必须输入密码，验证后才可显示出内容的代码如何实现？对某些php页面设置单独的访问密码,如果密码不正确则无法查看内容,相当于对页面进行了一个加密。代码如下：<?php header('Content-type:text/html;charset=utf-8');$password = "1234"; // 这里是正确密码 $p = ""; if...

jsjiami.com.v6 解密 sojson v5加密(JS 加密) 还原方法

jsjiami.com.v6 解密 sojson v5加密(JS 加密) 还原方法留作记录,有空了慢慢学习开始加密：(function(w, d) { w.update = "2019年09月12日15:24:29更新"; d.info = "这个是一个本站对JavaScript 脚本的一个最牛加密，兼容性适中，解密难度极大"; d.feedback = "有问题请联系QQ xxx...

windows下安装php v8js 扩展

windows下安装php v8js 扩展今天采集一个网站，做了防采集，应该是有大数据，把机房的IP都加进去了，我本地采集了几天都没问题，一到机房就输出js加密的数据所以考虑用v8js 获取cookIE 再进行采集。首先检查您的php是线程安全性的还是非安全性的，因为我们需要知道要下载正确的模块。你可以在windows中运行一个简单的命令来检查这个。代码如下：BashPHP -i | findstr "Thread"如果结果输出是Thread Safety => ena...

windows安装php扩展v8js使php内部运行js

php内部运行js,windows安装php扩展v8js直入主题，要在php中运行js,需要安装v8js扩展。linux下安装：下这个不用说了直接用源码安装，先安装谷歌的js v8引擎，安装这个引擎需要用谷歌推荐的管理工具来安装，安装完成用pecl来编译v8js扩展， http://pecl.php.net/package/v8js linux就说到这儿。windows下：windows下有编译好的https://www.apachelounge.com/viewtop...

Nginx Rewrite 规则入门伪静态规则

Nginx Rewrite 规则入门伪静态规则文件及目录匹配:-f 和 !-f 用来判断是否存在文件-d 和 !-d 用来判断是否存在目录-e 和 !-e 用来判断是否存在文件或目录-x 和 !-x 用来判断文件是否可执行正则表达式匹配：* ~ 为区分大小写匹配 * ~* 为不区分大小写匹配 * !~和!~*分别为区分大小写不匹配及不区分大小写不匹配 flag标记有：last 相当于Apache里的[L]标记，表示完成 rewritebreak 终止匹配, 不再匹...

Linux下查看JDK安装路径

Linux下查看JDK安装路径在安装好Git、JDK和jenkins之后，就需要在jenkins中进行对应的设置，比如在全局工具配置模块，需要写入JDK的安装路径。这篇博客，介绍几种常见的在Linux中查看JDK路径的方法。1、which java首先输入命令行，查看结果： [root@localhost ~]# which java /usr/bin/java PS：which Java是无法定位到Java的安装路径的，只能定位到执行路径；whereis Java...

防采集和阻止恶意反向代理php源码

php防采集和阻止恶意反向代理<?php $server=getenv("HTTP_HOST");$num=strpos($server,'aiyiliu.com');if($num<11&&$num== false){exit;}//获取UA信息$ua=$_SERVER['HTTP_USER_AGENT'];//将恶意USER_AGENT存入数组$now_ua= array('FeedDemon ...

服务器反爬虫攻略：Apache/Nginx/PHP禁止某些User Agent抓取网站

服务器反爬虫攻略：Apache/Nginx/PHP禁止某些User Agent抓取网站我们都知道网络上的爬虫非常多，有对网站收录有益的，比如百度蜘蛛（Baiduspider），也有不但不遵守robots规则对服务器造成压力，还不能为网站带来流量的无用爬虫，比如宜搜蜘蛛（YisouSpider）（最新补充：宜搜蜘蛛已被UC神马搜索收购！所以本文已去掉宜搜蜘蛛的禁封！==>相关文章)。最近张戈发现nginx日志中出现了好多宜搜等垃圾的抓取记录，于是整理收集了网络上各种禁止垃圾蜘蛛爬站的方法，在...

限定某个目录禁止解析php、限制user_agent、PHP相关配置

限定某个目录禁止解析php、限制user_agent、PHP相关配置一、限定某个目录禁止解析php某个目录下禁止解析 php，这个很有用，我们做网站安全的时候，这个用的很多，比如某些目录可以上传文件，为了避免上传的文件有木马，所以我们禁止这个目录下面的访问解析 php.1. 测试目标：禁止PHP解析111.com下upload目录内的文件编辑虚拟主机配置文件vim /usr/local/httpd2.4/conf/extra/httpd-vhosts.conf&n...

Nginx反爬虫：禁止某些User Agent抓取网站

Nginx反爬虫：禁止某些User Agent抓取网站一、概述网站反爬虫的原因不遵守规范的爬虫会影响网站的正常使用网站上的数据是公司的重要资产爬虫对网站的爬取会造成网站统计数据的污染常见反爬虫手段1. 根据 IP 访问频率封禁 IP2. 设置账号登陆时长，账号访问过多封禁设置账号的登录限制，只有登录才能展现内容设置账号登录的时长，时间一到则自动退出3. 弹出数字验证码和图片确认验证码爬虫访问次数过多，弹出验证码要求输入4. 对 API 接口的限制每天限制一个登录账户后端 api 接...

宝塔面板中使用user_agent方法，屏蔽垃圾蜘蛛和网站扫描工具

互联网上有一种说法，网上大约50%的流量都是爬虫的贡献，包括所说善意的爬虫如各大搜索引擎，（其实有些搜索引擎光爬不怎么收录也让人烦），还有些恶性爬虫不会带来流量，还因为大量的抓取请求，造成主机的CPU和带宽资源浪费，所以需要对其屏蔽。宝塔面板屏蔽不受欢迎爬虫的方法：一、在/www/server/nginx/conf目录下新建空白PHP文件kill_bot.conf，放入以下代码：#禁止不受欢迎的搜索蜘蛛抓取if ($http_user_agent ~* "CheckMarkNetwor...

SemrushBot是什么蜘蛛?要不要屏蔽?

SemrushBot是什么蜘蛛?要不要屏蔽?发现一个不常见的蜘蛛SemrushBot，访问不正常的页面URL，我就觉得神奇了，怎么老是访问评论数据处理文件和一些错误处理文件，根本不是正常的蜘蛛。那么要不要屏蔽+SemrushBot/1.2~bl呢，查看了网上的消息，也有其它人发现它的踪迹。SemrushBot是SEMrush的蜘蛛爬虫。以下是官方简介：SEMRush是一个专门从事搜索引擎优化和搜索引擎营销服务网站。SEMRush通常会收集一些谷歌SERP相关的信息，包括: AdVords广告副本...

linux通过dd命令实现文件压缩炸弹

以前只知道直接禁了垃圾bot今天看caddy发现有个http.nobotsnobots保护你的网站免受网络爬虫和机器人。可以直接给特定UA返回一个炸弹。还可以用到其他防爬虫的地方，直接给它返回大文件，啥404/403不香了1G炸弹压缩一次就剩1M，他请求就会解压成1G压两次就3k理解错了，是不会炸开的，请求还是1M，但是数据量是1G，大概专门对付蜘蛛，蜘蛛爬完要去读就会读到1G=1000000000数据的意思吧，应该很容易就被过滤了吧我做了一下大概这样，生成了一个网页a.html（25M的）fo...

Nginx通过判断User-Agent禁止爬虫采集并返回炸弹

Nginx通过判断User-Agent禁止爬虫采集并返回炸弹caddy 有个http.nobotsnobots保护你的网站免受网络爬虫和机器人，可以给采集的恶意程序返回特定的数据。比如实际1G压缩成1M大小的gzip文件(炸弹)，对于服务器的话就是发送了1M的文件，恶意程序请求后会自动解包为1G的数据，可以对恶意程序造成很大的压力。类如php返回炸弹<?phpheader('Content-Encoding: gzip');echo file_get_contents(&#...

Nginx通过判断User-Agent禁止爬虫采集并返回炸弹

Nginx通过判断User-Agent禁止爬虫采集并返回炸弹caddy 有个http.nobotsnobots保护你的网站免受网络爬虫和机器人，可以给采集的恶意程序返回特定的数据。比如实际1G压缩成1M大小的gzip文件(炸弹)，对于服务器的话就是发送了1M的文件，恶意程序请求后会自动解包为1G的数据，可以对恶意程序造成很大的压力。类如php返回炸弹<?phpheader('Content-Encoding: gzip');echo file_get_contents(&#...

百度网盘官方 “免费不限速” 方法！非第三方客户端

百度网盘官方 “免费不限速” 方法！非第三方客户端百度网盘限速的问题一直为广大网友诟病，因此也催生出无数的加速工具，从之前的PanDownload、BND、速盘、Proxyee-down到后来被各种原因嗯嗯掉，一直觉得百度网盘一家独大之后嗯嗯了，可能是反映太多官方也做了一些速度方面的优化，然后看开启方法吧。PS：该功能只有热门资源能得到加速。先看个对比:怎么开启(需最新版百度网盘客户端)：如果是老版本需要更新下，新版本直接点击设置->传输->下载提速->去开始即可同样的我使用...

文件含有违规内容被系统屏蔽无法下载,应版权方要求，文件无法下载, 解决办法来了

文件含有违规内容被系统屏蔽无法下载,应版权方要求，文件无法下载，解决办法来了废话不多说，直接按照下面做:PS: 大部分在迅雷只是提示「版权问题」的资源，换到百度云都能离线下载解决办法；换用其他渠道换下载的资源（换种子、换磁链）方法1：用迅雷老版本或者开心版来下载请参考：http://www.torrent.org.cn/s/22.html方法2：用其它BT下载器（热门资源）qBittorrent 4.1.4绿色单文件版（打开会提示更新，取消即可）uTorrent uTorrent ...

阿里云盘-免费领128G永久容量

【阿里云盘免费领128G永久容量】今天才出的限时任务！打开阿里云盘APP->点左上角头像->福利社->下面+128GB 发起一次分享->不能点分享按钮关掉APP重新进下->随便分享下->完成后再次进入福利社任务->兑换即可->另外做其它任务也能领容量！...

linux 拓展编译测试的命令集合

D:phpstudy_proExtensionsphpphp5.6.9ntsphp.exe -f "D:phpstudy_proWWWphpinfo.php" php.exe -c php.ini phpdc.phpr en_private7.4.php equal ZEND_JMP 1php -dvld.active=1 -dvld.execute=0 vidtest.phpphp -c php.ini phpdc.phpr en_private7...

php的op_array与execute_data的关系

php的op_array与execute_data的关系先打印一下php调用过程：在增加一张异常调用的流程图：今天稍微对php做下总结，首先介绍最重要的两个数据结构，以及两个结构间的数据传递struct _zend_op_array {/* Common elements */zend_uchar type;const char *function_name;zend_class_entry *scope;zend_uint fn_flags;union _zend_function *prot...

execute php,php扩展实践zend_execute_ex层获取实参

execute php,php扩展实践zend_execute_ex层获取实参其实在实现的 php 函数里面是很容易获取到的，参考 php 的 builtin 函数 func_get_args() 就可以知道了。void **p;int arg_count;int i;zend_execute_data *ex = EG(current_execute_data);if (!ex || !ex->function_state.arguments) {RETURN_FALSE;}p = ex...

宝塔bt安装php7.4拓展vld教程

宝塔拓展地址cd /www/server/php/74/lib/php/extensions/1、下载扩展源码(有些扩展版本需要与PHP版本对应)：最新版本wget http://pecl.php.net/get/vld-0.17.1.tgz2、解压(zip格式的请使用unzip命令解压)：tar zxvf vld-0.17.1.tgz3、进入文件目录：cd vld-0.17.1当前目录地址：/www/server/php/74/lib/php/extensions/vl...

教你如何手机端修改某网盘下载限速教程

教你如何手机端修改某网盘下载限速教程首先这是在手机上操作的，实现非网盘svip会员，下载可以达到svip会员速率。相信大家肯定在网盘上下载个大文件，要等很久吧，今天教大家破限速下载。首先说一下，需要的软件①Firefox Nightly②idm+③（Tampermonkey）油猴④软件小妹的脚本《百度网盘简易下载助手》ps：软件自行百度。。。教程开始：①把下载好的Firefox Nightly，打开设置，然后打开找到自定义附加组件收藏集输入上端16106889下端zidianADD，点击确定。然...