一個標準完整的網站上，基本都會配備上站點地圖、robots文件之類的，它們的功能都是為了更好的讓搜索引擎抓取網站內容，提升網站的抓取速度，那么，站點地圖以及robots文件到底是什么呢？

一、站點地圖是什么？

    站點地圖是一種可以為百度蜘蛛爬行網站時指示出信息資源方位并具有導航功能的一個工具，將網站中的關鍵信息以可視化展現(xiàn)在搜索引擎面前，一般關鍵信息分為信息獲取、信息檢索、信息表示以及信息關聯(lián)這四個方面，就是將這些內容以一種類似于地圖的形式，將網站的信息羅列出來并附帶上對應的鏈接，為用戶與百度抓取蜘蛛提供網站的主體信息以及準確信息入口的工具，所以被通俗稱之為站點地圖。

站點地圖的特點：

1.可視化

    網站地圖的可視化是它非常突出的一個特點，雖然我們常見的網站地圖內容都是以文字表達的，但是它是以一個地圖的展現(xiàn)形式出現(xiàn)的，可以清晰明了的表達出各個頁面之前的關系。

2.持續(xù)

    當用戶點擊開站點地圖之后，可以使用戶對網站的信息一目了然，并且在站點地圖中所有對應的文字都會配上對應的鏈接，使用戶可以點擊鏈接從而進入自己想要進的欄目，使用戶更加精準的找到自己想要的信息。

3.同步實時更新

    站點地圖有這么一個功能，就是會跟隨網站上的內容信息，實時進行一個地圖更新，它隨著網站變動而變動，與網站上整體內容保持一致，使用戶在站點地圖中隨時獲得最新網站信息。

二、robots是什么？

    Robots協(xié)議也可以稱呼它為爬蟲協(xié)議或者機器人協(xié)議，這里要注意的是，robots協(xié)議可不是一個指令，而是一個txt文本，robots.txt是百度搜索蜘蛛來到網站時第一個需要查看的文件,蜘蛛將根據(jù)robots.txt文件來判斷網站上哪些內容可以抓取，哪些內容是不允許被抓取的。

robots.txt的作用：

    在對網站進行優(yōu)化的時候，我們都會使用robots.txt文件來把網站上哪些想要被搜索引擎抓取或者不想被搜索引擎抓取，通過robots文件來表達給百度蜘蛛，百度蜘蛛也會根據(jù)robots文件來進行爬行抓取網站。