xfplay最新资源网在线播放|国产一级高清野战A片|精品久久久久久久精品观看免费|AAA级久久久精品无码片久|

  • 服務(wù)熱線:400-103-0299
  • 在線客服
  • 手機(jī)端
    公眾號(hào)二維碼

不讓搜索引擎收錄的方法


發(fā)布日期:2014-11-12

 

 

很多朋友都會(huì)問沈陽網(wǎng)站建設(shè)如何被搜索引擎收錄?我的網(wǎng)站為什么還沒有被收錄?等等這樣的話題,我們也寫過很多關(guān)于這樣的文章,其實(shí)還有很多朋友他們還有這樣的困擾,比如我的有些東西不想被搜索引擎收錄我該怎么辦呢?今天我們就來和大家聊聊不讓搜索引擎收錄的方法。

搜索引擎使用spider程序自動(dòng)訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。spider在訪問一個(gè)網(wǎng)站時(shí),會(huì)首先會(huì)檢查該網(wǎng)站的根域下是否有一個(gè)叫做 robots.txt的純文本文件,這個(gè)文件用于指定spider在您網(wǎng)站上的抓取范圍。您可以在您的網(wǎng)站中創(chuàng)建一個(gè)robots.txt,在文件中聲明 該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。                
 
在這里沈陽網(wǎng)站建設(shè)提醒您請注意,僅當(dāng)您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時(shí),才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容,請勿建立robots.txt文件。            

那么問題來了robots.txt文件因該放在哪里呢? robots.txt文件應(yīng)該放置在網(wǎng)站根目錄下。舉例來說,當(dāng)spider訪問一個(gè)網(wǎng)站(比如 http://m.sxzysb.com)時(shí),首先會(huì)檢查該網(wǎng)站中是否存在http://m.sxzysb.com/robots.txt這個(gè)文件,如果 Spider找到這個(gè)文件,它就會(huì)根據(jù)這個(gè)文件的內(nèi)容,來確定它訪問權(quán)限的范圍。

如您還有網(wǎng)站方面的疑問歡迎您來訪我們沈陽網(wǎng)站建設(shè)。

凭祥市| 城口县| 华坪县| 墨玉县| 兴海县| 阳高县| 郎溪县| 沙雅县| 扶绥县| 泸西县| 曲松县| 满洲里市| 邛崃市| 陈巴尔虎旗| 宜君县| 东辽县| 乳山市| 宁乡县| 南充市| 汤阴县| 婺源县| 大冶市| 资中县| 肇州县| 文水县| 东源县| 分宜县| 和硕县| 蕲春县| 博客| 法库县| 苗栗市| 东莞市| 临湘市| 吉安市| 普兰县| 井陉县| 辽阳市| 集安市| 阿拉善右旗| 蒙阴县|