robots-text
robots.txt คือไฟล์ข้อความธรรมดา โดยสามารถสร้างจากโปรแกรม notepad ก็ได้ หรือโปรแกรม text editor อื่นๆ ทั่วไป แต่สำคัญคือ ต้องตั้งชื่อไฟล์ว่า robots.txt เท่านั้น
นำไฟล์นี้ไปวางไว้ที่ root ของเว็บไซต์ เช่น www.mywebsite.com/robots.txt เป็นต้น
โดยไฟล์นี้ทำหน้าที่บอกความหมายให้ Bot Google ทราบว่า จะให้ทำ index เว็บไซต์ของเราที่ลิ้งค์ไหนบ้าง เพราะหากไม่ใส่ Google ก็จะเก็บทุกหน้าที่เข้าถึงได้อยู่แล้ว แต่ปัญหาจะเกิดที่ตรงนี้ บางทีระหว่างพัฒนาเว็บไซต์อาจจะปิดไม่ให้ Google เข้ามาเก็บหน้าเว็บ แต่พอเปิดใช้งานจริงดันลืมแก้ไข ทำให้ Google ไม่สามารถเข้ามาเก็บหน้าเว็บได้ และก็มีผลต่อ SEO แน่นอน