10 Cách để Google lập chỉ mục trang web của bạn

Nếu Google không lập chỉ mục trang web của bạn, thì bạn sẽ vô hình. Bạn sẽ không hiển thị cho bất kỳ truy vấn tìm kiếm nào và bạn sẽ không nhận được bất kỳ lưu lượng truy cập tự nhiên nào.

Bài viết này sẽ hướng dẫn bạn cách khắc phục bất kỳ vấn đề nào trong ba vấn đề sau:

1. Toàn bộ trang web của bạn không được lập chỉ mục.
2. Một số trang của bạn được lập chỉ mục, nhưng những trang khác thì không.
3. Các trang web mới được xuất bản của bạn không được lập chỉ mục đủ nhanh.

Nhưng trước tiên, hãy chắc chắn rằng chúng ta đang ở trên  cùng một trang.

Thu thập thông tin và lập chỉ mục là gì?

Google phát hiện ra các trang web mới bằng cách thu thập dữ liệu  trên web và sau đó họ thêm các trang đó vào chỉ mục của mình . Họ làm điều này bằng cách sử dụng một con nhện web có  tên Googlebot .

Hãy xác định một vài thuật ngữ chính.

• Thu thập dữ liệu: Quá trình theo dõi các siêu liên kết trên web để khám phá nội dung mới.
• Lập chỉ mục: Quá trình lưu trữ mọi trang web trong cơ sở dữ liệu.
• Web spider: Một phần mềm được thiết kế để thực hiện quá trình thu thập thông tin ở quy mô.
• Googlebot: Mạng nhện của Google.

Khi bạn tìm một cái gì đó từ Google, bạn đang yêu cầu Google trả lại tất cả các trang có liên quan từ chỉ mục của họ. Do có hàng triệu trang phù hợp với thuật toán xếp hạng của Google để sắp xếp để bạn thấy kết quả tốt nhất và phù hợp nhất trước tiên.

Điểm quan trọng tôi đang thực hiện ở đây là lập chỉ mục và xếp hạng là hai điều khác nhau.

Lập chỉ mục đang hiển thị cho cuộc đua, xếp hạng là chiến thắng.

Bạn không thể chiến thắng mà không xuất hiện trong cuộc đua ban đầu.

Cách kiểm tra xem bạn có được lập chỉ mục trên Google

Truy cập Google, sau đó tìm kiếm: site:yourwebsite.com

Con số này cho thấy có bao nhiêu trang của bạn được Google lập chỉ mục.

Nếu bạn muốn kiểm tra trạng thái chỉ mục của một URL cụ thể, hãy sử dụng site:yourwebsite.com/web-page-slug

Nếu bạn là người dùng Google Search Console, bạn có thể sử dụng Coverage để có cái nhìn chính xác hơn về trạng thái chỉ mục trang web của bạn.

Google Search Console> Index> Coverage

Nhìn vào số trang hợp lệ ( có và không có cảnh báo).

Nếu hai ô này không có gì, thì bạn có ít nhất một trang được Google lập chỉ mục. Nếu không, thì bạn có một vấn đề quan trọng vì không có trang web nào của bạn được lập chỉ mục.

Bạn cũng có thể sử dụng Search Console để kiểm tra xem một trang cụ thể có được lập chỉ mục hay không.

Nếu trang đó được lập chỉ mục, nó sẽ báo URL nằm trên Google.

Nếu trang không được lập chỉ mục, nó sẽ báo URL không nằm trên Google.

Làm sao để được Google lập chỉ mục?

Tìm các trang web không được lập chỉ mục của bạn và yêu cầu Google lập chỉ mục bằng cách:

1.  Chuyển đến Google Search Console.
2. Nhấn vào Kiểm tra URL.
3. Dán URL bạn muốn Google lập chỉ mục vào thanh tìm kiếm.
4.  Đợi Google kiểm tra URL.
5.  Nhấp vào nút Yêu cầu lập chỉ mục.

Quá trình này thực hiện tốt khi bạn xuất bản một bài viết hay một trang mới, nó giúp bạn nói với Google rằng bạn đã thêm một cái gì đó mới vào trang web của bạn và họ nên xem nó.

Tuy nhiên, yêu cầu lập chỉ mục không thể giải quyết các vấn đề tiềm ẩn ngăn Google lập chỉ mục các trang cũ. Nếu bạn gặp trường hợp đó, hãy làm theo các cách dưới đây để chuẩn đoán và khắc phục vấn đề.

1. Xóa các khối thu thập dữ liệu trong tiệp robot.txt của bạn

Google không lập chỉ mục toàn bộ trang web của bạn, nó có thể là do một khối thu thập thông tin trong tiệp robot.txt.

Để kiểm tra vấn đề này, hãy truy cập yourdomain.com/robots.txt

Tìm một trong hai đoạn mã sau:

User-agent: Googlebot

Disallow: /

Hoặc:

User-agent: *

Disallow: /

Cả hai mã này đều nói với google rằng họ không được phép thu thập bất cứ trang nào trên trang web của bạn. Để khắc phục vấn đề này, bạn cần loại bỏ chúng khỏi trang web của bạn.

Đoạn mã này cũng có thể là thủ phạm nếu Google không lập chỉ mục cho web của bạn. Để kiểm tra xem đây có phải là trường hợp không, hãy dán URL vào công cụ kiểm tra URL trong Google Search Console. Nhấp vào yêu cầu lập chỉ mục, sau đó nhấn Xem kết quả kiểm tra phiên bản hoạt động để xem có bị chặn bởi lỗi robot.txt.

Điều này chỉ ra rằng trang bị chặn trong tiệp robot.txt.

Nếu đúng như vậy, hãy kiểm tra lại tiệp robot.txt để biết có đoạn mã nào không cho phép có đoạn mã nào chặn Google thu thập dữ liệu trang web của bạn và loại bỏ chúng khi cần thiết.

2. Xóa các thẻ noindex giả mạo

Google sẽ không lập chỉ mục nếu bạn bảo họ không làm, điều này rất hữu ích để giữ một số trang web riêng tư. Có hai cách để làm điều đó:

Phương pháp 1: Thẻ meta

Các trang có một trong các thẻ meta này sẽ không được Google lập chỉ mục:

<meta name=“robots” content=“noindex”>

Hoặc:

<meta name=“googlebot” content=“noindex”>

Đây là thẻ meta robot nó cho các công cụ tìm kiếm biết họ có thể hoặc không thể lập chỉ mục trang.

Để tìm tất cả các trang có thẻ meta noindex trên trang web của bạn, hãy chạy thu thập thông tin với Kiểm tra trang web của Ahrefs . Chuyển đến  báo cáo internal page . Hãy tìm những trang cảnh báo Noindex.

Phương pháp 2: X – Robot tag

Trình thu thập thông tin tiêu đề phản hồi HTTP – Robot Tag. Bạn có thể thực hiện điều này trong tiệp .htaccess của bạn bằng cách thay đổi cấu hình máy chủ của bạn.

Công cụ kiểm tra URL trong Search Console cho bạn biết liệu Google có bị chặn thu thập dữ liệu trang hay không vì tiêu đề này.

Nếu bạn muốn kiểm tra vấn đề này trên trang web của mình, hãy chạy thu thập thông tin bằng công cụ kiểm tra trang web của Ahrefs, sau đó sử dụng thông tin robots trong bộ lọc tiêu đề http trong data explorer.

3. Bao gồm các trang trong sơ đồ trang web của bạn

Sơ đồ trang web cho Google biết trang nào trên trang web của bạn quan trọng và trang nào không, nhưng vẫn nên bao gồm chúng.

Để kiểm tra xem một trang có trong sơ đồ web của bạn không, hãy sử dụng công cụ kiểm tra URL trong Search Console, nếu bạn thấy URL không có lỗi và không có sitemap thì trang đó không có trong sitemap.

Nếu bạn không muốn sử dụng Search Console, truy cập yourdomain.com/sitemap.xml và tìm kiếm trang bạn muốn kiểm tra.

Hoặc, nếu bạn muốn tìm tất cả các trang có thể thu thập thông tin và có thể lập chỉ mục không có trong sơ đồ trang web của bạn,  hãy chạy thu thập thông tin trong Ahrefs’ Site Audit. Truy cập Data Explorer và áp dụng các bộ lọc sau:

Các trang này phải có trong sơ đồ trang web của bạn, vì vậy hãy thêm chúng. Sau khi hoàn tất, hãy cho Google biết rằng bạn đã cập nhật sơ đồ trang web của mình bằng cách ping URL này :

http://www.google.com/ping?sitemap=http://yourwebsite.com/sitemap_url.xml

Thay thế phần cuối cùng bằng URL sơ đồ trang web của bạn . Sau đó bạn sẽ thấy một cái gì đó như thế này:

Điều này sẽ tăng tốc độ lập chỉ mục của trang Google.

4. Xóa các thẻ canonical giả mạo

Thẻ chuẩn cho Google biết phiên bản ưa thích của trang. Nó trông giống như thế này:

<link rel=”canonical” href=”/page.html/”>

Hầu hết các trang đều không có thẻ canonical hoặc cái được gọi là thẻ chính tự tham chiếu. Điều đó cho Google biết bản thân trang này là phiên bản ưa thích và có lẽ là phiên bản duy nhất. Nói cách khác, bạn muốn trang này được lập chỉ mục.

Nhưng nếu trang của bạn có thẻ canonical giả mạo, thì có thể thông báo cho Google về phiên bản ưa thích của trang này không tồn tại. Trong trường hợp đó, trang của bạn sẽ không được lập chỉ mục.

Để kiểm tra thẻ canonical, hãy sử dụng công cụ kiểm tra URL của Google . Bạn sẽ thấy một trang thay thế của cảnh báo với thẻ cảnh báo thẻ chính quy nếu cảnh báo chính quy đến một trang khác.

Nếu bạn muốn một cách nhanh chóng để tìm các thẻ canonical giả mạo trên toàn bộ trang web của mình, hãy chạy thu thập thông tin trong công cụ kiểm tra trang web của Ahrefs. Chuyển đến Data Explorer. Sử dụng các cài đặt sau:

Điều này tìm kiếm các trang trong sơ đồ trang web của bạn với các thẻ canonical không tham chiếu. Vì bạn gần như chắc chắn muốn lập chỉ mục các trang trong sơ đồ trang web của mình, bạn nên điều tra thêm nếu bộ lọc này trả về bất kỳ kết quả nào.

Rất có khả năng các trang này có một lịch sử không tốt hoặc không nên có trong sơ đồ trang web của bạn ở nơi đầu tiên.

5. Kiểm tra xem trang không mồ côi

Các trang mồ côi là những trang không có liên kết nội bộ trỏ đến chúng.

Vì Google phát hiện ra nội dung mới bằng cách thu thập dữ liệu trên web, nên họ không thể khám phá các trang mồ côi thông qua quy trình đó. Khách truy cập trang web sẽ không thể tìm thấy chúng.

Để kiểm tra các trang mồ côi, hãy thu thập dữ liệu trang web của bạn bằng Kiểm tra trang web của Ahrefs. Tiếp theo, hãy kiểm tra  báo cáo Incoming links cho trang Orphan (không có liên kết nội bộ đến).

Điều này cho thấy tất cả các trang có thể lập chỉ mục và hiện diện trong sơ đồ trang web của bạn, nhưng không có liên kết nội bộ nào trỏ đến chúng.

Nếu bạn không tự tin rằng tất cả các trang bạn muốn được lập chỉ mục đều nằm trong sơ đồ trang web của bạn? Thử đi:

1.  Tải xuống danh sách đầy đủ các trang trên trang web của bạn (thông qua CMS của bạn )

2.  Thu thập dữ liệu trang web của bạn (sử dụng một công cụ như Kiểm tra trang web của Ahrefs)

3. Tham khảo chéo hai danh sách URL

Bất kỳ URL nào không được tìm thấy trong khi thu thập dữ liệu là các trang mồ côi.

Bạn có thể sửa các trang mồ côi theo một trong hai cách:

1. Nếu trang không quan trọng: Hãy xóa nó và xóa khỏi sơ đồ trang web của bạn.

2. Nếu trang quan trọng: Hãy kết hợp nó vào cấu trúc liên kết nội bộ của trang web của bạn.

6. Sửa các liên kết nội bộ của nofollow

Các liên kết Nofollow là các liên kết với thẻ rel = “nofollow”. Chúng ngăn việc chuyển PageRank sang URL đích . Google cũng không thu thập thông tin liên kết nofollow.

Đây là những gì Google nói  về vấn đề này:

“Về cơ bản, việc sử dụng nofollow khiến chúng tôi bỏ các liên kết mục tiêu khỏi biểu đồ tổng thể của trang web.  Tuy nhiên, các trang mục tiêu vẫn có thể xuất hiện trong chỉ mục của chúng tôi nếu các trang web khác liên kết với chúng mà không sử dụng nofollow hoặc nếu các URL được gửi tới Google trong Sơ đồ trang web.”

Nói tóm lại, bạn nên đảm bảo rằng tất cả các liên kết nội bộ đến các trang có thể lập chỉ mục đều được theo dõi.

Để thực hiện việc này, hãy sử dụng công cụ kiểm tra trang web của Ahrefs để thu thập dữ liệu trang web của bạn. Kiểm tra báo cáo Incoming links cho các trang có thể lập chỉ mục với trang có nofollow liên kết nội bộ đến chỉ có lỗi:

Xóa thẻ nofollow khỏi các liên kết nội bộ này, giả sử rằng bạn muốn Google lập chỉ mục trang. Nếu không, hãy xóa trang hoặc noindex nó.

7. Thêm các liên kết nội bộ mạnh mẽ

Google phát hiện ra nội dung mới bằng cách thu thập dữ liệu trang web của bạn. Nếu bạn bỏ qua liên kết nội bộ đến trang được đề cập thì họ có thể không thể tìm thấy nó.

Một giải pháp dễ dàng cho vấn đề này là thêm một số liên kết nội bộ vào trang. Bạn có thể làm điều đó từ bất kỳ trang web nào khác mà Google có thể thu thập dữ liệu và lập chỉ mục. Tuy nhiên, nếu bạn muốn Google lập chỉ mục trang càng nhanh càng tốt, thì nên làm điều đó từ một trong những trang mạnh mẽ hơn của bạn.

Tại sao? Bởi vì Google có khả năng thu thập lại các trang như vậy nhanh hơn các trang ít quan trọng hơn.

Để thực hiện việc này, hãy truy cập Site Explorer của Ahrefs , nhập tên miền của bạn, sau đó truy cập báo cáo Best by links.

Điều này hiển thị tất cả các trang trên trang web của bạn được sắp xếp theo Xếp hạng URL ( UR ). Nói cách khác, nó hiển thị các trang mạnh nhất đầu tiên.

Đọc lướt danh sách này và tìm các trang có liên quan để thêm các liên kết nội bộ vào trang đang đề cập.

8. Đảm bảo trang có giá trị và độc đáo

Google không có khả năng lập chỉ mục các trang chất lượng thấp vì chúng không có giá trị cho người dùng. Dưới đây là những gì John Mueller nói về lập việc chỉ mục của Google vào năm 2018:

Anh ta ngụ ý rằng nếu bạn muốn Google lập chỉ mục trang web của mình, thì nó cần phải thật tuyệt vời và truyền cảm hứng.

Nếu bạn đã loại trừ các vấn đề kỹ thuật cho việc thiếu lập chỉ mục, thì việc thiếu giá trị có thể là thủ phạm. Vì lý do đó, đáng để xem lại trang bằng đôi mắt mới và tự hỏi: Trang này có thực sự có giá trị không? Người dùng sẽ tìm thấy giá trị trong trang này nếu họ nhấp vào nó từ kết quả tìm kiếm?

Nếu câu trả lời là không cho một trong những câu hỏi đó, thì bạn cần cải thiện nội dung của mình.

Bạn có thể tìm thêm trang chất lượng thấp mà không được lập chỉ mục, sử dụng Site Audit tool  và URL Profiler. Để làm điều đó, hãy truy cập Data Explorer trong Site Audit của Ahrefs và sử dụng các cài đặt sau:

Điều này sẽ trả về các trang có thể lập chỉ mục và hiện không có lưu lượng truy cập không phải trả tiền. Nói cách khác, có một cơ hội tốt mà họ không được lập chỉ mục.

Xuất báo cáo, sau đó dán tất cả các URL vào URL Profiler và chạy kiểm tra Google Indexation.

Kiểm tra bất kỳ trang nào không được lập chỉ mục cho các vấn đề chất lượng. Cải thiện khi cần thiết, sau đó yêu cầu reindexing trong Google Search Console.

Bạn cũng nên cố gắng khắc phục các sự cố với nội dung trùng lặp. Google không có khả năng lập chỉ mục trùng lặp hoặc trang trùng lặp. Sử dụng  báo cáo Content quality trong kiểm toán trang web để kiểm tra các vấn đề này.

9. Xóa các trang có chất lượng thấp

Có quá nhiều trang chất lượng thấp trên trang web của bạn chỉ để lãng phí ngân sách thu thập dữ liệu.

Đây là những gì Google nói  về vấn đề này:

“Việc lãng phí tài nguyên máy chủ trên (giá trị thấp ‐ thêm trang) sẽ rút hoạt động thu thập dữ liệu khỏi các trang thực sự có giá trị, điều này có thể gây ra sự chậm trễ đáng kể trong việc khám phá nội dung tuyệt vời trên trang web.”

Hãy nghĩ về nó giống như một bài tiểu luận chấm điểm của giáo viên, một trong số đó là của bạn. Nếu họ có mười bài luận để chấm điểm, họ sẽ xem bài của bạn khá nhanh. Nếu họ có một trăm, họ sẽ mất nhiều thời gian hơn. Nếu họ có hàng ngàn, khối lượng công việc của họ quá cao, và họ có thể không bao giờ đi xung quanh để chấm điểm bài luận của bạn.

Google tuyên bố rằng ngân sách thu thập dữ liệu không phải là điều mà hầu hết các nhà xuất bản phải lo lắng, đó là điều mà nếu một trang web có ít hơn vài nghìn URL, hầu hết thời gian nó sẽ được thu thập thông tin một cách hiệu quả.

Tuy nhiên, loại bỏ các trang chất lượng thấp khỏi trang web của bạn không bao giờ là một điều xấu. Nó chỉ có thể có tác động tích cực đến thu thập ngân sách.

10. Xây dựng backlink chất lượng cao

Google nói rằng, Backlink của một trang web là quan trọng. Nếu ai đó đang liên kết với nó, thì nó phải giữ một số giá trị. Đây là những trang mà Google muốn lập chỉ mục.

Để chứng minh điều này, Google không chỉ lập chỉ mục các trang web có liên kết ngược. Có rất nhiều (hàng tỷ) trang được lập chỉ mục không có liên kết ngược. Tuy nhiên, vì Google thấy các trang có liên kết chất lượng cao quan trọng hơn, nên chúng có khả năng thu thập dữ liệu và sử dụng lại các trang như vậy nhanh hơn các trang không có. Điều đó dẫn đến việc lập chỉ mục nhanh hơn.

Chúng tôi có nhiều nguồn lực để xây dựng các liên kết ngược chất lượng cao trên blog. Hãy xem một vài hướng dẫn dưới đây.

Lập chỉ mục khác xếp hạng

WebSite của bạn được lập chỉ mục trên Google không có nghĩa tăng traffic và rankings.

Chúng là hai thứ khác nhau.

Lập chỉ mục có nghĩa là Google biết về trang web của bạn. Điều đó không có nghĩa là họ sẽ xếp hạng nó cho bất kỳ truy vấn có liên quan và đáng giá nào.

Đó là nơi SEO xuất hiện trong các nghệ thuật tối ưu hóa các trang web của bạn để xếp hạng cho các truy vấn cụ thể.

Nói tóm lại, SEO liên quan đến:

·        Tìm kiếm những gì khách hàng của bạn đang tìm kiếm;

·        Tạo nội dung xung quanh các chủ đề đó;

·        Tối ưu hóa các trang đó cho các từ khóa mục tiêu của bạn;

·        Xây dựng backlinks;

·        Thường xuyên tái xuất bản nội dung để giữ cho nó luôn mới.

Kết luận:

Chỉ có hai lý do có thể khiến Google không lập chỉ mục trang web hoặc trang web của bạn:

1.   Các vấn đề kỹ thuật đang cản trở họ lập chỉ mục.

2.   Họ thấy trang web hoặc trang của bạn có chất lượng thấp và không có giá trị đối với người dùng của họ.

Hoàn toàn có thể là cả hai vấn đề đó tồn tại. Tuy nhiên, tôi sẽ nói rằng các vấn đề kỹ thuật là phổ biến hơn nhiều. Các vấn đề kỹ thuật cũng có thể dẫn đến việc tự động tạo ra nội dung chất lượng thấp có thể lập chỉ mục.

Chỉ cần nhớ rằng lập chỉ mục khác xếp hạng. SEO vẫn rất quan trọng nếu bạn muốn xếp hạng cho bất kỳ truy vấn tìm kiếm đáng giá nào và thu hút một luồng lưu lượng truy cập không đổi.

Xem thêm: Cách tăng thứ hạng tìm kiếm cho website năm 2019