File robot.txt cho Blogspot thân thiện với Google

  Robots.txt là một tệp văn bản điều khiển rô bốt thu thập dữ liệu web (còn được gọi là rô bốt công cụ tìm kiếm) và cho chúng biết trang nào...

 Robots.txt là một tệp văn bản điều khiển rô bốt thu thập dữ liệu web (còn được gọi là rô bốt công cụ tìm kiếm) và cho chúng biết trang nào chúng nên thu thập dữ liệu và trang nào không nên thu thập dữ liệu, thư mục web nào chúng nên thu thập dữ liệu và không nên thu thập thông tin nào cũng như liên kết nào chúng nên bò và cái nào chúng không nên bò.

Tại sao Robots.txt lại quan trọng đến vậy?​

Câu trả lời đơn giản là khi nói đến trang web, SEO là điều phải làm. Để làm SEO thì việc thêm đúng robots.txt là điều cần thiết. Vì vậy, hãy hiểu rõ hơn về nó.

Một tệp robots.txt mẫu

Mã số 1:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: ?updated-max
Allow: /
Sitemap:
https://www.example.com/atom.xml

• Ở đây, dòng tệp (Tác nhân người dùng) đang khai báo loại rô-bốt là Mediapartners-Google và nó được đặt thành không. Điều đó có nghĩa là quảng cáo AdSense có thể xuất hiện
• Tác nhân người dùng tiếp theo được đặt thành * và Không cho phép là /search & ?updated-max và Cho phép là / . Ở đây Tác nhân người dùng:* có nghĩa là tất cả các bot của công cụ tìm kiếm không được phép vào các trang /search & ?updated-max và cho phép tất cả các trang ngoại trừ các trang không được phép.
• Việc tiếp theo là Sitemap chứa sơ đồ trang web của blog. Đây là phần phức tạp hơn. Như bạn có thể thấy mặc định được đặt thành
  https://www.example.com/sitemap.xml
  . Trong Blogger, nó sẽ chỉ cho phép thu thập dữ liệu 25 bài đăng đầu tiên. Nếu bạn muốn thu thập dữ liệu nhiều bài đăng hơn thì hãy sử dụng các mã Mẫu khác được cung cấp bên dưới.

Mẫu 1 - chỉ gửi 25 bài đăng đầu tiên​

Mã số 2:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Disallow: ?updated-max
Allow: /

Sitemap:
https://www.example.com/atom.xml

Mẫu 2 - để gửi 25 bài đăng đầu tiên và cả các trang

Mã số:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: ?updated-max
Allow: /
Sitemap:
https://www.example.com/atom.xml
Sitemap: https://www.example.com/sitemap-pages.xml

Nếu bạn cần thu thập thông tin nhiều trang hơn thì hãy sử dụng mẫu bên dưới.

Mẫu 3 - để gửi 500 bài đăng đầu tiên và cả các trang​

Mã số:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: ?updated-max
Allow: /
Sitemap:
https://www.example.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: https://www.example.com/sitemap-pages.xml

Lưu ý: Đừng quên thay đổi example.com bằng URL của riêng bạn.

Riêng https://www.example.com/atom.xml các bạn có thể thay bằng https://www.example.com/p/sitemap.html nếu bạn đã lạp 1 sitemap tốt

Chỉ cần sử dụng bất kỳ mẫu nào phù hợp với bạn nhất. Chúng tôi khuyên bạn nên sử dụng Mẫu 3 vì đây là cách tốt nhất cho các trang web lớn hoạt động trên cả bài đăng và trang.

Đó là nó cho thời gian này. Nếu bạn có bất kỳ câu hỏi nào liên quan đến điều này thì hãy bình luận bên dưới. Chúng tôi sẽ sẵn lòng giúp bạn.

Lược dịch, chỉnh lí và sưu tầm bởi MRPIGTV