Tư vấn SEO từ Google: nên sử dụng robot.txt hay không?

Hỏi: trong ba trường hợp sau thì cách nào là tốt nhất? (1) không sử dụng file robot.txt (2) sử dụng file robot.txt không có nội dung gì (3) sử dụng file robot.txt với nội dung cho phép crawl toàn bộ website theo cấu trúc

User-agent: * Disallow:

http://youtu.be/uQANh7ERu4w  


Matt Cutts đã trả lời như sau: Ba cách trên gần như tương đương nhau, tuy nhiên cách thứ nhất có thể có một tỉ lệ rất nhỏ (1%) rủi ro vì đôi khi bots không được hướng dẫn chính xác nên làm gì trên web của bạn nên có thể bỏ qua một số nội dung (hoặc trong một số trường hợp hiểu là một số folder không được phép truy nhập). Chính vì thế tốt nhất là nói rõ ràng cho bots thông qua đoạn code ngắn trong file robot.txt để không gặp phải những rủi ro không đáng có này.

Chuyên cung cấp dịch vụ seo, tư vấn seo uy tín: Tuvanseoonline.com