File Robots.txt và META Robots trong SEO

Bạn có thể điều khiển Robots truy cập vào các trang web bằng cách sử dụng file Robots.txt - giống như nội quy của website hoặc sử dụng thẻ Meta Robots để điều khiển robot đọc từng trang web.

File robots.txt đặt ở thư mục gốc của website (ví dụ: http://www.izdesigner.com/robots.txt) dùng để cấm robots truy cập vào một số tài nguyên bên trong website. Ngay khi vào website, trước khi đọc bất cứ nội dung nào trên website, robot sẽ tìm đến file này đầu tiên.

User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /Tất cả loại robots

Cấm đọc thư mục /admin/
Cấm đọc thư mục /private/
Cho phép đọc các phần còn lại
Thẻ Meta Robots được đặt trong trang web để điều khiển robots đọc nội dung của từng trang.

Mã:

<meta name="robots" content="xxx" />

Bạn thay xxx bằng một hoặc kết hợp những giá trị dưới đây:

• INDEX: cho phép robots index (lưu trữ + xếp hạng) trang web
• FOLLOW: cho phép robots đi theo các link trong trang đến các trang khác.
• ALL hoặc INDEX, FOLLOW: cho phép index và cho phép follow.
• NOINDEX: robots không được index trang này --> không tìm thấy trên Google.
• NOFOLLOW: robots không đi theo các link trong trang này để đến các trang khác.
• NONE hoặc NOINDEX, NOFOLLOW: robots không được index, không được đi theo các link trong trang web.
• NOODP: Không sử dụng mô tả trong Open Directory Project (DMoz.org) để hiển thị trong kết quả tìm kiếm.
• NODIR: Không sử dụng tiêu đề và mô tả trong Yahoo Directory để hiển thị trong kết quả tìm kiếm.

Nếu không tìm thấy trang web trên Google, bạn hãy kiểm tra xem file robots.txt có chặn robots hay không, hoặc thẻ META ROBOTS có đặt giá trị là NONE hoặc NOINDEX ? Nếu có hãy gỡ bỏ và submit lại trang web với Google.