http://blog.sina.com.cn/s/blog_5b5790f10100vala.html

建好後什麽結構與內容都沒有確定好之前，我怎麽去屏蔽搜索引擎蜘蛛不來訪問我的網站，不收錄我的網站，這樣才不會給我的網站造成損失，其實這樣的問題再百度也有很多種回答，可能是由於答案太多太亂的緣故，有很多的人都找不到比較權威的回答，前面我們在文章裏講到一些新手SEO推廣建站需註意的問題裏面沒有講到關於屏蔽蜘蛛的這一項，現在為大家介紹一下，總體的給大家歸納一下吧！在這裏給大家介紹兩種方法，如下：一、創建robots.txt文件，並將文件放置在網站根目錄。 文件的內容如下： 1、禁止所有搜索引擎訪問網站的任何部分 User-agent: * Disallow: / 大家知道為什麽要創建一個robots.txt的文件嗎，也許有很多的都知道建立這個文件就可以屏蔽蜘蛛的訪問，不讓搜索引擎抓取到自己的網站。在這裏我想告訴你的是，不管任何的搜索引擎他來到了你的網站。首先訪問的就是你的robots.txt日誌文件，當你在robots.txt裏設置權限不讓搜索引擎訪問，那麽蜘蛛也會遵守互聯網的協議進行返回，這就是為什麽我們要建立robots.txt文析的原因。 二、在模版的header.php的文件時添加一段代碼，因為蜘蛛來到你的網站是由上到下訪問的，所以剛開始訪問到的肯定是從header<頂部>開始抓取。所以如果我們在頂部裏設置好屏蔽蜘蛛的訪問代碼後，蜘蛛也會跟第一條一樣遵守協議返回。屏蔽蜘蛛訪問代碼如下：<meta name=”Robots” content=”noindex,nofollow”> 通過以上兩種方法的話，我們基本上可以屏蔽搜索引擎蜘蛛訪問到我們的網站，這樣我們就可以去安心的做好網站的結構與內容之後再開放蜘蛛的訪問

蜘蛛禁止訪問文件