網(wǎng)站要想排名好，首先的一個前提就是你的網(wǎng)站的所有內(nèi)容必須能夠讓百度所收錄，其實這不是件容易的事情，尤其是到達一定了規(guī)模之后網(wǎng)站的收錄問題就是一個頗令人頭疼的問題了，當然這只是針對于那些大型行業(yè)站來說。但是對于我們做些中小型的企業(yè)站論壇網(wǎng)站我們同樣要糾結(jié)于這個問題，有的網(wǎng)站頁面多達幾千幾萬，無論網(wǎng)站怎么構(gòu)架怎么優(yōu)化外鏈，要想達到百分百的收錄根本就是不可能的事情，所以只能盡量提高收錄量。想要被搜索引擎收錄是一個問題，同樣好多網(wǎng)站的信息不想被搜索引擎收錄也是一個問題，比如需要阻止收錄的情況如保密信息、復制內(nèi)容、廣告鏈接等。過去過去常用的阻止收錄方法包括密碼保護、把內(nèi)容放在表格后面、使用JS/Ajax、使用Flash等。今天看到Google網(wǎng)管博客一篇文章，這些方法都不保險。下面上海企業(yè)網(wǎng)站建設把這篇文章里關(guān)于網(wǎng)站不被收錄所采取的措施漏洞給大家說一說。
　  使用Flash
　　Google幾年前就開始嘗試抓取Flash內(nèi)容了，簡單文字性內(nèi)容已經(jīng)能抓取。Flash里面的鏈接也能被跟蹤。
　　表格
　　Google蜘蛛也能填表，也能抓取POST請求頁面。這個早就能從日志中看到。
　　JS/Ajax
　　使用JS鏈接一直以來被當作不搜索引擎友好的方法，因此可以阻止蜘蛛爬行，但兩三年前我就看到JS鏈接不能阻止Google蜘蛛抓取，不僅JS中出現(xiàn)的URL會被爬，簡單的JS還能被執(zhí)行找到更多URL。
　　前幾天有人發(fā)現(xiàn)很多網(wǎng)站使用的Facebook評論插件里的評論被爬、被收錄，插件本身是個AJAX。這是個好消息。我的一個上海企業(yè)網(wǎng)站建設網(wǎng)站產(chǎn)品 評論功能就因為這個費了不少心思，用Facebook comments插件好處大大的，具體什么好處以后有時間再說，唯一的問題就是評論是AJAX實現(xiàn)的，不能被抓取，而產(chǎn)品評論被收錄是目的之一(產(chǎn)生原創(chuàng)內(nèi)容)。我當時想了半天也沒有解決方法，只好先傻傻地既放上Facebook comments插件又打開購物車本身的評論功能。現(xiàn)在好了，Facebook comments里的評論能被收錄，就不用兩套評論功能了。
　　Robots文件
　　目前唯一確保內(nèi)容不被收錄的方法是robots文件禁止。但也有個壞處，會流失權(quán)重，雖然內(nèi)容是不能收錄了，但頁面成了只接受鏈接權(quán)重、不流出權(quán)重的無底洞。
　　Nofollow
　　Nofollow并不能保證不被收錄。就算自己網(wǎng)站所有指向頁面的鏈接都加了NF，也不能保證別人網(wǎng)站不給這個頁面弄個鏈接，搜索引擎還是能發(fā)現(xiàn)這個頁面。
　　怎樣使頁面不被收錄是個值得思考的問題，沒意識到嚴重性的做上海seo童鞋可以想想自己網(wǎng)站上有多少復制內(nèi)容、低質(zhì)量內(nèi)容、各種無搜索價值(但用戶覺得方便、有用所以又不能拿掉)的分類、過濾URL。