SEO
Thainextstep.com สอนทำเว็บไซต์ด้วย Dreamweaver Photoshop  PHP & MySql และ การทำ SEO
Un title page
Thainextstep.com สอน HTML บทความ Dreamweaver สอน Photoshop บทความ PHP & MySql Web Tips SEO Guide
Un title page
SEO Guide
  What is SEO
  Search Engine
  Meta Data
  จัดการเว็บให้ถูกหลัก SEO
  Head and Bold Text
  Keyword กุญแจสำคัญ
  สร้างไฟล์ sitemap.xml
  Add Google Sitemap
  PR / Backlinks / Alexa
  การเช็คค่า Google PR
  Social Bookmark คืออะไร
  DoFollow, NoFollow ?
 


  Hello Bots ทักทายต้อนรับบอท ด้วย robots.txt
 

การสร้างไฟล์ robots.txt ไว้ในเว็บไซต์ของเรานั้น นอกจากเพื่อเป็นการบอกบอทให้ทราบถึงสิทธิ์การเข้าถึงข้อมูลบนเว็บไซต์ของเราแล้ว การมีอยู่ของไฟล์ robots.txt นั้นยังมีผลต่อการทำ SEO ของเราด้วย ซึ่งหลาย ๆ คนอาจจะไม่ได้นึกถึงข้อนี้ด้วยซ้ำ

     
 

เจ้าของเว็บไซต์หรือ Webmaster หลาย ๆ ท่านเมินที่จะเขียนไฟล์ robots.txt โดยให้เหตุผลกับตัวเองว่า เว็บไซต์ของเราไม่มีไฟล์หรือข้อมูลอะไรที่จะต้องหวงห้าม เลยไม่เขียนไฟล์ robots.txt เสียเลย

ซึ่งความคิดข้างต้นก็ไม่ผิดอะไรค่ะ แต่เป็นการมองข้ามการทำ SEO ไปอย่างน่าเสียดาย เพราะการมีไฟล์ robots.txt นั้น ช่วยสร้างความน่าเชื่อให้กับเว็บไซต์ของเราได้ เพราะจากการที่เคยได้ทดลองมา กับเว็บไซต์ ๆ หนึ่ง ซึ่งตอนแรก ๆ ก็คิดตามด้านบนคือไม่มีไฟล์หวงห้ามอะไร ก็เลยไม่ได้สร้างไฟล์ robots.txt ซึ่งหลังจากดูแลเว็บไซต์นี้ไป ผลปรากฏว่าทำอันดับช้ามาก ๆ คือทั้ง ๆ ที่อัพเดตเว็บแทบจะทุกวัน แต่อันดับเว็บก็ไม่ขยับซักที แถมจะขยับทีนานมาก ๆ (เปลี่ยนแคชที ก็ขยับที) เป็นครึ่งเดือนถึงจะเปลี่ยนอันดับที

 
   
 

ซึ่งตอนนั้น ก็ได้ศึกษาเรื่องของไฟล์ robots.txt และดูจาก Webmaster Tool ก็จะเห็นว่าบอทมันเข้าไปเก็บข้อมูลที่เว็บเราทุกวัน และมีการฟ้องว่าหาไฟล์ robots.txt ไม่เจอ เลยคิดว่ามันน่าจะมีความหมายอะไรอยู่ เลยลองเพิ่มไฟล์ robots.txt เข้าไป โดยตอนแรกสร้างไฟล์ robots.txt ดังนี้

User-agent: *
Allow: /


 
   
 

ปรากฏว่าเว็บทำอันดับได้ดีขึ้น ทำอันดัีบได้ง่ายขึ้น การเปลี่ยนแคชของ Google มีความถี่มากขึ้น ใช้เวลาน้อยลง ไม่ดองเค็มเว็บไซต์ของเรา จากเดิมที่เกินครึ่งเดือนถึงจะเปลี่ยนแคชที เปลี่ยนอันดับที (ทั้ง ๆ ที่ก็อัพเดตเว็บทุกวัน) ก็กลายเป็นใช้เวลาน้อยลงเรื่อย ๆ

 
   
 

และจากการลองโน่นนี่ ก็ทำให้ได้รู้ว่า ไฟล์ robots.txt นั้นมีประโยชน์จริง ๆ ไม่ใช่มีประโยชน์แค่เอาไว้กำหนดสิทธิ์การเข้าถึงไฟล์แค่เพียงอย่างเดียวอย่างที่เราคิดในตอนแรก เพราะงั้นจึงลองหาข้อมูลเพิ่มเติมเกี่ยวกับ robots.txt จนได้ทราบว่าเราสามารถระบุไฟล์ sitemap.xml ของเราลงใน robots.txt ได้ด้วย ซึ่งจะเขียนไฟล์ robots.txt ได้ดังนี้

User-agent: *
Allow: /
Sitemap: http://www.thainextstep.com/sitemap.xml


 
   
 

และแล้วหลังจากทำไปไม่นาน ปรากฏว่าได้ผลดีเกินคาด ทำอันดับได้ดีขึ้น และเปลี่ยนแคช และอันดับได้เร็วขึ้น ทำให้ใช้เวลาในการไต่อันดับน้อยลง เช่น เราอัพเดตเว็บไซต์เราวันนี้ อย่างช้าพรุ่งนี้ แคชก็จะเปลี่ยน และมีผลกับอันดับเราด้วย จนเดียวนี้อัพเดตเว็บทุกวันแคชเปลี่ยนทุกวัน (เว็บที่อัพเดตทุก ๆ วัน จะเห็นผลอย่างชัดเจน)

ตอนหลังเลยสรุปได้ว่า robots.txt นั้นก็เหมือนการทักทายบอทนั่นเอง เป็นการบอกกับบอทว่าไซต์นี้ยินดีต้อนรับบอทนะ (คงเหมือนเราไปเที่ยวที่ ๆ หนึ่ง แล้วมีคนออกมาต้อนรับ บอกแนะนำสถานที่ให้เรา ว่าเราต้องไปทางไหน ตรงไหนมีอะไร และเมื่อเราไปเจออะไรใหม่ ๆ ถูกใจ ก็เก็บข้อมูลกลับ ซึ่งเราคงจะประทับใจ มากกว่าการไปเที่ยวที่บางที่ ที่ไปถึงแล้วก็ไม่มีใครมาต้อนรับ ซึ่งเราก็ไม่รู้ว่าจะไปที่ไหน มีอะไรบ้าง ทำได้แค่มาแล้วก็เดินเคว้งไปเคว้งมา จนเบื่อ ๆ แล้วก็กลับ ไม่ได้ข้อมูลอะไรไปเลย) เพราะงั้นระหว่างเว็บไซต์ที่มี robots.txt กับเว็บไซที่ไม่มี robots.txt บอทก็ต้องให้เครดิตเว็บไซต์แรกดีกว่า (ในเรื่องบางเรื่อง) อยู่แล้ว ... ว่าแล้วใครที่ยังไม่ได้สร้าง ก็ลองไปสร้าง robots.txt กันเลยค่ะ

 
   
   
วันที่บทความ : 15 ส.ค. 2553              ที่มา : thainextstep.com

สอนทำเว็บไซต์   |   สอนภาษา HTML   |   สอน Dreamweaver   |   สอน Photoshop   |   สอนภาษา PHP & MySql   |   รวมทิป เทคนิคการทำเว็บไซต์   |   สอนการทำ SEO
:: Copyright © 2005 by Chatta design. All rights reserved. Do not duplicate or redistribute in any form.::