刮板的内容(aka网站抓取,网站收集,网站数据挖掘等。)是从网站复制数据的过程。 “刮板”(雨刷)内容是复制数据的人员或软件。 Web抓取并不是一件坏事。

实际上,所有网络浏览器基本上都是内容搜寻器。 进行内容抓取有许多合法目的,例如,对搜索引擎进行Web索引编制。

请参阅我们的文章 如何阻止Google将您的WordPress博客编入索引

真正的问题是您网站上的内容刮取是否有害。 竞争对手可能想窃取您的内容 并发布为属于他们。 如果您可以告诉合法用户免受恶意攻击,那么您就有更大的机会保护自己。 本文介绍了网络抓取的基本知识,以及摆脱它的一些方法(或至少降低其重要性).

但是之前,如果您从未安装过WordPress发现 如何安装一个 WordPress博客 分7步 et 如何找到,安装和你的博客激活WordPress主题 

然后回到为什么我们在这里。

内容刮削器的类型

内容搜寻器有许多种下载数据的方法。 重要的是要知道它们使用的不同方法和技术。 方法范围从低技术(一个人手动复制和粘贴内容)到复杂的机器人(能够在浏览器中模拟人类活动的自动化软件)。 这是您可能需要做的摘要:

  • 蜘蛛:Web爬网是内容搜寻器工作方式的重要组成部分。 像蜘蛛 Googlebot的 首先选择一个网页,然后从链接转到链接以下载网页。
  • shell脚本:您可以使用Linux Shell使用GNU Wget之类的脚本来创建内容抓取工具,以下载内容。
  • HTML刮板:它们类似于shell脚本。 这种刮刀很常见。 它通过获取网站的HTML结构来查找数据来工作。
  • 屏幕画面: 屏幕擦除器是一种程序,它通过模仿使用计算机浏览Internet的人类用户的行为来捕获网站中的数据。
  • 人副本:这是一个人手动从您的网站复制内容的地方。 如果您曾经在网上发布过文章,则可能已经注意到抄袭猖is。 在最初的flat媚消退之后,有人从您的工作中获利了。

有几种方法可以做到这一点。 上面列出的刮刀类别并不是详尽的清单。 此外,类别之间有很多重叠。

另请阅读我们的文章 如何以及为什么你的内容的定性审计

如何保护您的博客

保护博客免受内容抓取

1.速率限制和阻塞

您可以通过先发现问题来抵御很多机器人。 自动化机器人通常会 向您的服务器发送垃圾邮件 请求数量异常多。 顾名思义,速率限制通过设置规则来限制来自单个客户端的服务器请求。

您可以执行诸如测量请求之间的毫秒数之类的操作。 如果与您的网站的互动速度太快,那么您就知道它是机器人。 此后 封锁这个IP位址。 您可以基于多种条件(包括其来源国)来阻止IP地址。

2.注册和连接

注册和登录 是使内容远离窥视的一种流行方法。 您可能会阻碍机器人的进度。 您需要做的只是根据连接条件访问内容。 连接安全性的基础在这里适用。 请记住,需要注册和登录的页面不会被搜索引擎索引。

3.蜜罐和虚假数据

在计算机科学中,“蜜罐”是虚拟的operations操作。 通过使用蜜罐设置陷阱来捕获潜在的攻击者,以检测来自内容抓取工具的流量。 有无数种方法可以做到这一点。

例如,您可以在网页上添加不可见的链接。 接下来,创建一种算法,该算法将阻止单击链接的客户端的IP地址。 更复杂的蜜罐可能难以设置和维护。 好消息是,那里有很多开源的Honeypot项目。 看看这个很棒 github上很棒的蜜罐列表.

4.使用验证码

验证码的意思是“ 完全自动化的公共图灵测试告诉计算机和人类的 基本上,这是一种区分人类和机器人的测试。 验证码可能很无聊,但它们也很有用。 您可以使用 a 来阻止您认为机器人可能想要定位的区域,例如您的电子邮件按钮 联系表. WordPress 上有许多不错的验证码插件,包括“ 验证码 从Jetpack。

还发现一些高级WordPress插件  

您可以使用其他 WordPress插件 赋予现代外观并优化您的博客或网站的处理。

我们在这里为您提供了一些高级WordPress插件,它们将帮助您实现这一目标。

1。 Arforms条纹

ARForms有一个新的扩展,可以通过Stripe付款网关接受付款。 它称为“ ARForms条带”。 后者将表单输入和付款集成到单个过程中。

条纹条纹

你可以 向客户收费 提交ARForms表单后立即获得动态金额。

另请阅读我们的文章 如何使用条纹在WooCommerce和容易的数字下载

您只需要使用ARForms创建一个表单,使用Stripe配置它,一切就完成了! 您可以立即通过Stripe设置付款。

下载 | 演示 | 虚拟主机

2. AX社交流

如果你想 在您的网站上显示多个社交媒体供稿,然后是插件 WordPress社交板 通过为您提供六种查看帐户活动的方式,您可以做到这一点。 您还将受益于对17个社交网络和几种可自定义布局的支持。

斧头社交流WordPress插件

其功能包括:6种不同的供稿显示模式,对大多数社交网络的支持,完全响应的布局, 支持广告横幅, 多语言支持,主题管理器,详细文档等...

下载 | 演示 | 虚拟主机

3。 互动世界地图

交互式世界地图可帮助您创建所需的任意地理位置,大洲,国家或地区等地理位置地图,并带有交互式和彩色标记。

互动世界地图

它与WordPress的最新版本兼容,非常适合 Visual Composer插件.

发现我们的 8 WordPress插件可自定义您网站的外观

借助交互式世界地图,您可以显示多种类型的区域,例如:整个世界的地图,大陆或次大陆,国家/地区等等。

下载 演示 | 虚拟主机

其他推荐资源

我们还邀请您参考以下资源,以进一步掌握和控制网站和博客。

结论

有! 这就是本教程的全部内容,希望它可以帮助您建立一个实用的待办事项列表,以有效保护您的 WordPress博客不要犹豫 与社交网络上的朋友分享提示.

但是,您也可以咨询我们的 RESSOURCES,如果您需要更多的元素来执行创建Internet网站的项目,请参考我们关于 WordPress博客创建。

但是,与此同时,请告诉我们您的 评论 和专用部分中的建议。

...