Ở tài liệu về file robots.txt, TIEN ZIVEN đã giới thiệu đến bạn cách kiểm soát tốt quá trình thu thập dữ liệu ở quy mô toàn website. Trong bài viết này, chúng tôi sẽ giới thiệu một cách khác để kiểm soát và tiết kiệm ngân sách cào. Cùng TIEN ZIVEN tìm hiểu thẻ meta robots là gì? Vài trò và cách tối ưu quá trình crawling với robots meta tag nhé!
Tìm hiểu về Robots Meta Tags để tối ưu quá trình thu thập dữ liệu của Google Robots meta tag (thẻ meta robots) là dòng lệnh kiểm soát cách công cụ tìm kiếm thu thập, lập chỉ mục và phân phát kết quả tìm kiếm cho từng trang web. Vị trí của thẻ meta robots là phần <head> của trang. Cú pháp mẫu: <meta name=”robots” content=”noindex” />
Trong khi: File robots.txt đưa ra các tiêu chuẩn loại trừ robot cho toàn website. Thẻ meta robots và x-robots-tag (gọi chung là chỉ thị meta robots) khai báo các chế độ cài đặt cấp trang để kiểm soát cách Google trình bày nội dung trong SERPs.
Vai trò của thẻ meta robots trong yếu tố Technical SEO khá giống với file robots.txt. Tuy nhiên, có thêm một vài đặc điểm khác để bạn sử dụng phối hợp cả 2 phương pháp. Xem cách triển khai file robots chi tiết tại robots.txt là gì?
2.1. Tối ưu ngân sách cào
Robots meta tag kiểm soát cả 3 quá trình crawling, indexing và ranking. Do đó, khi sử dụng hợp lý, bạn có thể phân phát lượt thu thập dữ liệu trong website hiệu quả. Điều này giúp tối ưu crawl budget và những trang quan trọng có nội dung cập nhật sẽ được thu thập tốt hơn.
> Đọc thêm bài viết chi tiết Tất tần tật về SEO!
2.2. Tối ưu chất lượng và thẩm quyền website
Thẻ meta robots giúp nâng cao chất lượng nội dung website kịp thời một cách hiệu quả. Đi cùng với chất lượng thì thẩm quyền website trong mắt Google cũng tăng lên.
Đó là vì robots meta tag giúp bạn chặn thu thập dữ liệu và lập chỉ mục những trang:
- Thin content (nội dung mỏng), hay trang không cung cấp giá trị cho người dùng.
- Trang bảo mật, không công khai
- Tìm kiếm nội bộ
- Trang không nằm trong mục đích SEO như quảng cáo – paid search, trang tin tức, sự kiện
- Nội dung trùng lặp
Với tỉ lệ số trang chất lượng được tăng lên thì thẩm quyền của website được cải thiện Do đó, thẻ meta robots được sử dụng phối hợp với x-robots-tag, robots.txt và sitemap để triển khai audit content hiệu quả. Đọc thêm Sitemap là gì?
2.3. Kiểm soát dòng chảy sức mạnh (link juice)
Nếu bạn đã tìm hiểu đến các yếu tố SEO nâng sẽ biết đến khái niệm dòng chảy sức mạnh (link juice). Hiểu đơn giản thì mỗi trang sẽ có một mức độ thẩm quyền khác nhau đối với công cụ tìm kiếm. Khi vận dụng kỹ thuật internal link và backlink thì thẩm quyền sẽ chia sẻ giữa nhiều trang.
Do đó, công dụng kiểm soát phương thức thu thập dữ liệu giúp thẻ meta robots góp phần quản lý dòng chảy sức mạnh.
> Tham khảo cách để google index nhanh
Vị trí của các tham số là nội dung của thuộc tính content của thẻ meta robots. Những lệnh thường dùng để lập chỉ mục và phân phát trang hiệu quả bao gồm:
- index: khai báo công cụ tìm kiếm có thể lập chỉ mục trang web này. Tuy nhiên, trang có nội dung tốt google mặc định dòng lệnh index. Do đó, bạn không cần thiết nhập nó.
- noindex: thông báo không lập chỉ mục trang.
- follow: Cho phép crawler truy cập vào trang đích các liên kết trong trang để thu thập dữ liệu. Tương tự index, follow cũng là lệnh mặc định.
- nofollow: Không cho phép trình thu thập web truy cập theo liên kết
- all: câu lệnh gộp có giá trị tương đương cả 2 lệnh index và follow
- none: tương đương noindex cùng với nofollow
- noimageindex: không lập chỉ mục các hình ảnh trong trang
- noarchive: thông báo không hiển thị liên kết lưu trong bộ nhớ đệm
- nosnippet: thông báo không hiển thị đoạn mô tả trên kết quả tìm kiếm
- notranslate: khai báo rằng công cụ tìm kiếm không hiển thị bản dịch
- unavailable_after: Chỉ định thời gian chính xác để công cụ tìm kiếm dừng thu thập và lập chỉ mục trang.
Những tham số này có thể sử dụng phối hợp với nhau, khai báo bằng dấu phẩy (,). Ví dụ: <meta name=”robots” content=”nofollow, noindex” />
Và tất nhiên, những tham số này sử dụng được cho cả x-robots-tag.
> Hướng dẫn tối ưu Meta Description
Thật sự hiện nay có rất nhiều extension hiển thị câu lệnh robots meta tag một cách trực quan. Tuy nhiên để kiểm tra trạng thái thẻ meta robots không cần phải rườm rà đến vậy. Bạn có thể xem bằng cách:
- Mở mã nguồn HTML của trang: Bấm chuột phải > View Source code. Hoặc Ctrl + U (đối với window) hay Command + Option + U (đối với OS)
- Sử dụng công cụ search nội dung: Ctrl + F
- Nhập name=”robots” và xem nội dung trong thuộc tính content
> Đọc ngay bài viết hướng dẫn tối ưu chi tiết Thẻ tiêu đề
Khi muốn thiết lập lệnh với thẻ meta robots, bạn chỉ cần lưu ý vị trí là ở vùng <head>. Đối với Website code tay bạn sẽ cần kỹ thuật viên thiết lập vùng chỉnh sửa nội dung robots meta tag. Còn đối với website WordPress có 2 trường hợp:
Website sử dụng Yoast SEO
Yoast SEO là pluggin hỗ trợ triển khai SEO hiệu quả mà TIEN ZIVEN hay dùng. Bạn có thể thiết lập câu lệnh cho thẻ meta robot ở cuối mỗi trang, bài viết trong phần YoastSEO nâng cao.
- Cho phép công cụ tìm kiếm hiển thị trong kết quả tìm kiếm (index/ noindex)
- Cho phép công cụ tìm kiếm theo các liên kết (follow/ nofollow)
- Robots meta nâng cao giúp bạn đặt các câu lệnh khác
Website sử dụng Rank Math
Đối với Rank Math, bạn hãy thực hiện lần lượt:
Bước 1: Truy cập trang chỉnh sửa nội dung
Bước 2: Chọn Advance
Bước 3: Chọn những lệnh phù hợp
Kết luận
Tất cả những lưu ý về robots meta tag TIEN ZIVEN đã cung cấp cho bạn. Mong rằng chúng tôi đã giải đáp được câu hỏi thẻ meta robots là gì? Vài trò và cách thiết lập các câu lệnh chính xác. Tiếp tục theo dõi các tài liệu SEO và ủng hộ TIEN ZIVEN nhiều hơn bạn nhé! Cảm ơn bạn!
Nguồn tham khảo:
Xem ngay khoá học SEO nâng cao được cung cấp bởi TIEN ZIVEN!
