Sử dụng Screaming Frog hoặc Deep Crawl kiểm tra các link bị loại bỏ bởi Penguin potx

Sử dụng Screaming Frog hoặc
Deep Crawl kiểm tra các link bị
loại bỏ bởi Penguin

Kỹ sư Matt Cutts của Google đã thông báo rằng Penguin 2.0
đã đã chính thức được đưa vào sử dụng vào ngày 22 tháng 5
và các webmaster hãy chuẩn bị tinh thần cho những điều thay
đổi sắp tới. Với việc phát hành bản update thuật toán khiến
nhiều SEO-er đang tự hỏi rằng Google còn muốn gây ra
những cản trở gì cho SEO.



Tôi đã làm rất nhiều phân tích với Google Penguin kể từ
ngày 24 tháng 4 năm 2012 khi Penguin 1.0 lần đầu được tiên
tung ra, vì vậy tôi luôn chuẩn bị sẵn sàng để bắt đầu phân tích
những update mới nhất của Penguin. Tương tự như các
phương pháp tôi sử dụng để phân tích Penguin 1.0, tôi bắt
đầu phân tích rất nhiều những site mà bị Penguin 2.0 tấn
công để tìm hiểu sâu hơn về bản cập nhật thuật toán mới này.

Khi Penguin 2.0 được chính thức đưa vào sử dụng, Cutts giải
thích rằng Penguin 1.0 chỉ phân tích homepage của một
website. Và dựa trên phân tích của với 15 site bị tấn công bới
Penguin 1.0, tôi đã hiểu rõ về điều này.

Khi phân tích cấu hình của các liên kết trong các trang web bị
ảnh hưởng bởi Penguin 2.0, bạn có thể thấy rất nhiều liên kết
không tự nhiên trỏ đến một trang trong web, không chỉ trang

chủ. Hầu hết những trang tôi phân tích thì đều như thế

Nhiều liên kết không tự nhiên = nhiều liên kết bị loại bỏ

Nếu site của bạn từng bị tấn công bởi Penguin 2.0 (hoặc 1.0),
bạn phải phân tích tất cả các cấu hình liên kết, xác định
những liên kết không tự nhiên đã loại bỏ. Đối với một số
trang web, đây là một điều hết sức khó khăn. Có một số trang
web tôi đã phân tích, thì có hàng trăm hàng ngàn liên kết để
loại bỏ (thậm chí còn nhiều hơn). Và càng nhiều liên kết bạn
cần phải loại bỏ, thì bạn càng gặp khó khăn để tạo nên một
site chất lượng.


Nhưng ngay cả khi bạn phân tích, download, và sắp xếp các
liên kết này, thì làm thế nào để bạn biết những link mà đã bị
loại bỏ? Chắc chắn, bạn có thể kiểm tra chúng một cách thủ
công, nhưng bạn có thể không thực hiện được điều này cho
đến năm 2023.

Sẽ không còn gì tuyệt với hơn nếu có một số cách tự động để
kiểm tra các link inbound spam mà bạn đang cố gắng loại
bỏ? Và ngay bây giờ, tôi sẽ tiết lộ cho cách bạn các cách đấy.
Trên thực tế, có hai công cụ SEO rất hữu ích và tiết kiệm thời
gian khi thực hiện điều này.

Công cụ Screaming Frog

Một trong những công cụ SEO ưa dùng của tôi là Screaming
Frog. Tôi thường sử dụng nó cho một số nhiệm vụ quan

trọng liên quan đến web về các vẫn đề thu thập dữ liệu, kiểm
tra sitemap XML, đánh dấu lỗi thu nhập dữ liệu, kiểm tra sự
tối ưu hóa on-page với số lượng lớn, vv. Hầu như không
ngày nào là tôi không sử dụng Screaming Forg cho các công
việc liên quan đến SEO của mình. .

Và kể từ khi Penguin 1.0 ra mắt, tôi đã sử dụng Frog
Screaming cho một nhiệm vụ quan trọng - kiểm tra xem liệu
các liên kết spam inbound có còn hoạt động hay không. Sử
dụng Screaming Frog, bạn có thể sử dụng một bộ lọc tùy
chỉnh để kiểm tra mã html cụ thể trên website mà bạn đang
thu thập dư liệu. Và sau khi thu thập dữ liệu, bạn có thể xem
các trang nào vẫn dùng code đó (hoặc không dùng code đó).
Điều này có thể giúp bạn tiết kiệm rất nhiều thời gian.


Ngoài ra, phân tích các trang web ảnh bị hưởng bởi Penguin
1.0 và 2.0 cho tôi thấy rằng có nhiều trang web ảnh hưởng
bởi phần mềm độc hại, bị đánh dấu là các trang web tấn
công, vv. Khi kiểm tra các liên kết inbound spam, bạn chắc
chắn sẽ giảm thiểu được nguy cơ bị ảnh hưởng bới các phần
mềm độc hại đó.

Sử dụng Screaming Frog có thể giúp bạn tránh truy cập vào
các trang spam. Nó là một lợi ích của việc sử dụng công cụ
này.

Lưu ý: Tuần trước, Cyrus Shepard đã có một bài viết rất hay
về các công cụ từ chối backlink và khẳng định rằng bạn có
thể sử dụng Frog Screaming để kiểm tra việc loại bỏ các

trang (nếu trang web chứa các liên kết spam dẫn đến lỗi 404).
Bạn chắc chắn có thể làm điều đó, nhưng có những lúc các
trang vẫn tồn tại và chỉ có các link được loại bỏ.

Các phương pháp tôi đang cung cấp ở đây là về việc những
link đã được gỡ bỏ từ các trang mà vẫn tồn tại trên web. Nói
cách khác, webmaster đang loại bỏ các liên kết nhưng vẫn
muốn giữ các trang đó hoạt động.

Sử dụng Frog Screaming để kiểm tra các liên kết
inbound.

Bây giờ tôi sẽ giải thích những gì bạn nên làm. Tôi chắc rằng
có rất nhiều bạn đọc bài viết này có thể sử dụng một số cách
để tiết kiệm thời gian mà vẫn xác định được những liên kết bị
loại bỏ. Nhưng bây giờ chúng ta hãy cùng nhau tìm hiểu một
cách chi tiết về các bước trong Screaming Frog.

1. Phân tích, xuất, và sắp xếp liên kết của bạn

Bước đầu tiên là bước khó khăn nhất, và không có một
hưỡng dẫn cụ thể nào cho bước này. Bạn sẽ cần phải phân
tích cấu trúc liên kết, xác định các liên kết spam, và sau đó
chuyển định dạng sang Excel.

Bạn có thể, và nên sử dụng một số công cụ để phân tích cấu
trúc liên kết như: Majestic SEO, Open Site Explorer, Google
Webmaster Tools, Bing Webmaster Tools, vv

Bạn nên download liên kết, đánh dấu các liên kết không tự

nhiên, và sắp xếp chúng chúng bằng bảng Excel



2. Sao chép URL vào file text

Bạn có thể sử dụng Screaming Frog ở chế độ "List”, có nghĩa
là nó sẽ thu thập các url mà bạn cung cấp trong một file text.
Đó là những gì bạn phải làm, việc copy các liên kết không tự
nhiên của bạn từ Excel vào một trình soạn thảo văn bản là rất
quan trọng. Tôi sử dụng Textpad, nhưng bạn có thể sao chép
các url của bạn vào bất kỳ trình soạn thảo văn bản nào. Mỗi
url trên 1 dòng riêng biệt


Mẹo: Nếu bạn đang làm việc với rất nhiều liên kết, dễ dàng
hơn nếu bạn tổ chức chúng theo loại. Ví dụ, bạn có thể có
một worksheet cho các danh bạ, một cho các comment spam,
một cho các bài viết trên web… Điều đó sẽ giữ cho việc thu
thập thông tin chặt chẽ hơn so với việc cố gắng để thu thập
thông tin tất cả các link cùng một lúc.

3. Khởi động Screaming Frog

Bây giờ bạn đã có file văn bản, hãy khởi đông. Khởi động
Screaming Frog và chọn "Mode" từ tab menu trên cùng, và
sau đó chọn "List". Một lần nữa, bạn phải cung cấp danh sách
các url cho Screaming Frog kiểm tra.

4. Chọn File.

Khi bạn chọn chế độ "List" trong Screaming Frog, bạn có thể
nhấp vào "Select File" để chọn File văn bản của bạn. Sau đó
dẫn đến những file văn bản đầu tiên bạn muốn sử dụng.
Screaming Frog sẽ đọc các file và preview các URL nó sẽ
phân tích. Nhấn OK.


5. Bộ lọc tùy chỉnh

Bạn có thể nghĩ ngay đến việc click vào nút "Start" trong lúc
này, nhưng đừng vội làm thế. Chúng ta vẫn cần phải định
dạng các bộ lọc tùy chỉnh để xác định những URL mà vẫn có
một phần code HTML trên web.

Nhấp vào "Configure" và sau đó nhấp tiếp "Custom" để mở
ra giao diện của bộ lọc tùy chỉnh. Đây là nơi bạn có thể nhập
mã HTML để tìm kiếm trên mỗi trang nó thu thập. Bạn có
thể chọn đánh dấu URL có chứa hoặc không chứa mã html

Chúng ta sử dụng chức năng "Contain” cho quá trình lọc đầu
tiên và nhập tên miền đầy đủ trang web (bao gồm cả giao
thức) trong hộp văn bản cho mã HTML (ví
dụ, ). Nếu trang đó vẫn chứa tên
miền đầy đủ trong mã nguồn, đó có một cơ hội tốt cho các
liên kết vẫn còn hoạt động. Nhấn "OK" khi bạn đã làm xong.


6. Thu thập thông tin của những trang đã được đanh dấu.

Click "Start" và Screaming Frog sẽ kiểm tra từng url để tìm
kiếm các mã HTML trong danh dách mà chúng ta đã add ở
bước trước. Nếu có nhiều liên kết cần phải thu thập thông tin,
bạn có thể thu nhỏ cửa sổ và làm việc khác trong việc thu
thập dữ liệu đang diễn ra, nhưng hãy chú ý đến thời gian.

Kết quả của bạn sẽ xuất hiện trong tab "Custom" ở phần bên
phải của giao diện Screaming Frog. Đó là nơi các url phù hợp
với bộ lọc tùy chỉnh sẽ hiển thị.


7. Xuất kết quả

Sau khi bạn đã thu thập thông tin của từng trang để biết link
trang đó còn tồn tại không, bạn có thể dễ dàng nhìn thấy
được những link nào vẫn còn hoạt đông được cho ra bởi
Screaming Frog. Sau đó, bạn có thể dễ dàng xuất kết quả vào
một tập tin csv, và có thể được mở file đó trong Excel. Xem
xét các url mà vẫn còn link đến trang web của bạn, và theo
dõi với chúng. Bạn cần phải làm đi làm lại quá trình này
nhiều lần.


Xin chúc mừng, bạn đã hoàn thành việc kiểm tra các liên kết.

Cập nhập worksheet và tiếp tục loại bỏ

Bây giờ bạn đã nhận được thông tin phản hồi ngay lập tức từ
Screaming Frog về những liên kết này được thực sự loại bỏ,

và đến lúc bạn phải cập nhật bảng tính. Hãy tổ chức
worksheet một cách rõ ràng theo ngày, do đó bạn có thể theo
dõi sự tiến bộ của bạn theo thời gian. Hãy nhớ rằng, bạn nên
ghi lại tất cả các việc làm của bạn để chắc chắn rằng bạn
đang theo dõi được sự loại bỏ link.

Điều quan trọng là có một file Excel có cấu trúc tốt liên kết
tới những link mà bạn đánh dấu, và những link bạn muốn từ
chối (nếu bạn cần phải sử dụng các công cụ từ chối backlink
cho bất kỳ các liên kết còn lại). Và đúng như thế, có thể bạn
sẽ cần phải sử dụng các công cụ từ chối backlink. Hãy cố
gắng và loại bỏ các link đó bằng cách thủ công.

Kiểm tra page kĩ hơn với Deep Crawl

Như tôi đã đề cập ở trên, có một số trang web với những liên
kết vô cùng tinh vi và phức tạp. Ví dụ, có một số trang web
tôi đã phân tích với hàng trăm hàng ngàn các liên kết spam
(hoặc hơn). Đối với tình huống như thế này, danh sách các
liên kết không tự nhiên có thể làm Screaming Frog hoạt động
chậm lại và phải phân tích trong một thời gian dài. Và đó là
khi tôi sử dụng một công cụ mới mà tôi cũng rất ưu dùng. Đó
là công cụ Deep Crawl

Deep Crawl là một giải pháp dựa trên mô hình đám mây để
thực hiện thu thập thông tin ở quy mô lớn. Đối với SEO-er,
đó là một giải pháp nhiệm vụ nặng nề. Bạn cũng có thể sử
dụng regEx (biểu thức hính quy) để kiểm tra sự hiện diện của
nội dung trên một trang web trong Deep Crawl để xem xét kỹ
lưỡng một trang web hơn.

Điều tôi thích ở Deep Crawl là thu thập thông tin rất hiệu
quả. Ngoài ra, vì Deep Crawl dựa trên mô hình đám mây, tôi
có thể tùy chỉnh các thiết lập để thu thập dữ liệu, lập bảng
biểu. Sau đó, Deep Crawl sẽ gửi email cho tôi khi việc thu
thập dữ liệu đã được hoàn thành.

Dưới đây là một ảnh chụp màn hình của bộ lọc "Extraction",
bạn có thể áp dụng cho Deep Crawl.


Bạn có thể nhập một biểu thức chính quy (RegEx) để áp
dụng cho mỗi trang được thu thập thông tin. Và tương tự như
Screaming Frog, bạn có thể tải lên file tin văn bản của URL
để thu thập thông tin. Nhưng vì Deep Crawl là dựa trên mô
hình đám mây, nên một số lượng lớn các url vẫn được Deep
Crawl thu thập và phân tích một cách nhanh chóng hiệu quả.

Tóm tắt:

Đối phó với Penguin là một việc khó khăn, đặc biệt là trường
hợp khi bạn có hàng chục ngàn các liên kết không tự nhiên
trỏ đến site của bạn. Các công cụ SEO có thể tự động hóa
một số nhiệm vụ khó khắn, giúp bạn làm việc với website
hiệu quả hơn. Screaming Frog và Deep Crawl đều có thể giúp
bạn rất nhiều trong các tình huống mà Penguin gây ra.

Hy vọng rằng bài viết này đã giúp bạn nắm rõ cách sử dụng
Screaming Frog và Deep Crwal để thu thập thông tin, kiểm
tra các liên kết bị loại bỏ mà không cần phải xem xét lại từng

trang.