Bài tập lớn môn an toàn mạng (84)

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG
KHOA CƠNG NGHỆ THƠNG TIN I
----------

BÁO CÁO CUỐI KỲ
HỌC PHẦN: AN TỒN MẠNG
CHỦ ĐỀ: TÌM HIỂU CƠNG CỤ PARSERO

Giảng viên:
Sinh viên:
Mã sinh viên:
Lớp:
Nhóm môn học:

TS. Đặng Minh Tuấn
Đặng Duy Phương
B18DCAT187
D18CQAT03-B
02

Hà Nội, tháng 12 năm 2021

1


LỜI NÓI ĐẦU
Đầu tiên, em xin gửi lời cảm ơn sâu sắc đến Học viện Cơng nghệ Bưu chính Viễn
thơng đã đưa mơn học An tồn mạng vào trong chương trình giảng dạy. Đặc biệt, em xin
gửi lời cảm ơn sâu sắc đến giảng viên bộ môn – TS. Đặng Minh Tuấn đã dạy dỗ, rèn luyện
và truyền đạt những kiến thức quý báu cho em trong suốt thời gian học tập kỳ vừa qua.
Trong thời gian được tham dự lớp học của thầy, em đã được tiếp thu thêm nhiều kiến thức

bổ ích, học tập được tinh thần làm việc hiệu quả, nghiêm túc. Đây thực sự là những điều
rất cần thiết cho q trình học tập và cơng tác sau này của em.
Bộ mơn An tồn mạng là mơn học thú vị, vơ cùng bổ ích và gắn liền với nhu cầu
thực tiễn của mỗi sinh viên an tồn thơng tin. Mặc dù đã cố gắng nhưng chắc chắn những
hiểu biết và kỹ năng về môn học này của em vẫn cịn nhiều hạn chế. Do đó, Bài tiểu luận
kết thúc học phần của em khó có thể tránh khỏi những thiếu sót và những chỗ chưa chuẩn
xác, kính mong thầy xem xét và góp ý giúp Bài tiểu luận của em được hoàn thiện hơn.
Em xin chân thành cảm ơn!

2


MỤC LỤC
LỜI NÓI ĐẦU .............................................................................................................................. 2
MỤC LỤC..................................................................................................................................... 3
DANH MỤC THUẬT NGỮ ...................................................................................................... 4
DANH MỤC HÌNH ẢNH .......................................................................................................... 5
I.

TỔNG QUAN ...................................................................................................................... 6
1.

robot.txt là gì?........................................................................................................ 6

2.

Giới thiệu Parsero .......................................................................................................... 8

3.

Lịch sử phát triển........................................................................................................... 9
HƯỚNG DẪN CÀI ĐẶT................................................................................................. 11

II.

1.

Sử dụng tập lệnh setup.py .................................................................................... 11

2.

Sử dụng pip3 ................................................................................................................ 12

3.

Cài đặt từ kho lưu trữ Kali Linux .............................................................................. 13

III.

HƯỚNG DẪN SỬ DỤNG............................................................................................. 16

IV.

SO SÁNH VÀ ĐÁNH GIÁ ........................................................................................... 23
So sánh với các công cụ tương đương, lựa chọn thay thế cho Parsero................. 23

1.

2.

a.

Oscanner.................................................................................................................... 23

b.

arp-scan ..................................................................................................................... 23

d.

Arachni ...................................................................................................................... 25

e.

Nikto .......................................................................................................................... 26

f.

Iniscan........................................................................................................................ 27
Đánh giá ........................................................................................................................ 29

TÀI LIỆU THAM KHẢO......................................................................................................... 30

3


DANH MỤC THUẬT NGỮ
Từ viết tắt
URL

HTTP
NSA
ARP
NDP

ICMP
API
JSON

Thuật ngữ tiếng Anh
Uniform Resource Locator

Thuật ngữ tiếng Việt
Định vị tài nguyên thống nhất,
được gọi một cách thông thường là
một địa chỉ web
HyperText Transfer Protocol
Giao thức truyền tải siêu văn bản
National Security Agency
Cơ quan An ninh Quốc gia Hoa Kỳ
Address Resolution Protocol
Giao thức phân giải địa chỉ
Neighbor Discovery Protocol
giao thức được phát triển mới trong
bộ giao thức Internet để sử dụng
với giao thức Internet phiên bản 6
(IPv6)
Internet Control Message Protocol giao thức của gói Internet Protocol
Application Programming
giao diện lập trình ứng dụng

Interface
JavaScript Object Notation
Kiểu dữ liệu mở trong JavaScript.
Kiểu dữ liệu này bao gồm chủ yếu
là text, có thể đọc được theo dạng
cặp "thuộc tính - giá trị".

4


DANH MỤC HÌNH ẢNH
Hình 1: Nội dung tệp robot.txt của một trang web .................................................................. 7
Hình 2: Cơng cụ Parsero.............................................................................................................. 8
Hình 3: Javier Nieto ..................................................................................................................... 9
Hình 4: Cài đặt bằng tập lệnh setup.py ............................................................................. 11
Hình 5: Cài đặt bằng pip3 ......................................................................................................... 12
Hình 6: Gỡ cài đặt bằng pip3 .................................................................................................... 13
Hình 7: Cài đặt từ kho lưu trữ Kali Linux............................................................................... 14
Hình 8: Gỡ cài đặt parsero ........................................................................................................ 15
Hình 9: parsero -h .............................................................................................................. 16
Hình 10: parsero --help............................................................................................... 16
Hình 11: parsero -u URL.................................................................................................. 17
Hình 12: parsero -u URL -o ....................................................................................... 18
Hình 13: parsero -u URL -o -sb ............................................................................... 19
Hình 14: File chứa domain........................................................................................................ 20
Hình 15: Quét File chứa domain .............................................................................................. 20
Hình 16: File chứa nhiều domain ............................................................................................. 21
Hình 17: Quét từ File chứa nhiều domain ............................................................................... 22
Hình 18: Oscanner...................................................................................................................... 23
Hình 19: arp-scan ....................................................................................................................... 24

Hình 20: arping ........................................................................................................................... 25
Hình 21: Arachni ........................................................................................................................ 26
Hình 22: Nikto ............................................................................................................................ 27
Hình 23: Iniscan ......................................................................................................................... 28
Hình 24: Parsero cập nhật lần cuối đã 8 năm ......................................................................... 29

5


I.

TỔNG QUAN
1. robot.txt là gì?

Đơi khi các cơng cụ tìm kiếm khơng đủ để có được những gì bạn muốn vì chúng
khơng hiển thị mọi thứ bạn có thể muốn. Cơng cụ tìm kiếm chỉ hiển thị một phần nhỏ thơng
tin có sẵn trên web và nhiều người tận dụng nhược điểm này để ngăn chặn mọi thứ hiển thị
trong một cơng cụ tìm kiếm. Một trong những cách này là chỉnh sửa một tệp được gọi là
robots.txt.
Chủ sở hữu trang web có thể sử dụng tệp robots.txt để cố gắng kiểm sốt ai
nhìn thấy những gì bên trong một trang web. Trên thực tế, tệp được đặt trong thư mục gốc
của một trang web và có tác dụng khi robot hoặc bot truy cập trang web trong nỗ lực phân
loại nội dung. Một robot ghé thăm một trang web chẳng hạn như www.sample.com.
Tuy nhiên, trước khi nó kiểm tra sự tồn tại của tệp robots.txt. Nếu tệp tồn tại, nó sẽ
đọc tệp để xem liệu nó có được phép tiếp tục hay không, và nếu vậy, ở đâu. Trong trường
hợp này, giả sử rằng robots.txt được tìm thấy trong
www.sample.com/robots.txt và nó có các nội dung sau:
User-agent: *
Disallow: /
User-agent: * cho biết rằng thông tin áp dụng cho tất cả robots. Disallow: / nói

với robots khơng truy cập bất kỳ trang nào trên trang web. Trong thực tế, robots.txt
phải được đọc bởi bất kỳ robot nào truy cập trang web để liệt kê nội dung của nó. Khi nó
đọc tệp, nó sẽ xử lý các chỉ thị và phản ứng phù hợp, nhưng chúng ta hãy chỉ ra thực tế của
tình hình.
Trên thực tế, có hai điểm chính cần nhớ về tệp này:
• Mặc dù mục đích là để robots.txt được chấp nhận trên tồn cầu, nhưng
trên thực tế,robots có thể bỏ qua /robots.txt của bạn. Điều này đặc biệt
sẽ là trường hợp cho trình thu thập dữ liệu web độc hại quét trang web và
máy chủ web để bảo mật lỗ hổng bảo mật và bộ thu thập địa chỉ email được
những kẻ gửi thư rác sử dụng. Tất cả sẽ có xu hướng bỏ qua tệp.
• Bất kỳ ai cũng có thể xem tệp robots.txt thực tế vì nó có thể truy cập
cơng khai theo mặc định. Ai đó tìm thấy tệp này (ví dụ: bằng cách sử dụng
Google Hacking) có thể xem những phần nào của một trang web đã bị giới
hạn và sau đó duyệt ở đó bằng mọi cách.
Điểm mấu chốt ở đây là robots.txt khơng hoạt động như thiết kế. Tất cả những
gì nó cần là một phần của phần mềm độc hại hoặc một tìm kiếm đơn giản của Google để
tìm hiểu về cấu trúc của trang web hoặc một phần phần mềm độc hại không liên quan và
gây ra các sự cố tiềm ẩn. Điều này có nghĩa là bạn khơng nên sử dụng tệp để ẩn thông tin
6


vì nó rất đơn giản để xác định vị trí, đọc và bỏ qua. Chỉ tập tin phục vụ để đề xuất các phần
của trang web không nên truy cập và khơng thực thi chúng:

Hình 1: Nội dung tệp robot.txt của một trang web

7


2. Giới thiệu Parsero

Về mặt Kali, thực sự có những cơng cụ sẽ tìm kiếm tệp robots.txt của một
trang web và đọc nội dung. Đó là Parsero.

Hình 2: Cơng cụ Parsero
Parsero là một tập lệnh miễn phí được viết hồn toàn bằng Python để đọc tệp
robots.txt của máy chủ web và xem các mục Disallow , sau đó kiểm tra xem vị trí
có thể truy cập được hay khơng.
Parsero thu thập thơng tin liên quan đến URL(Uniform Resource Link) có nghĩa là
công cụ đi qua các mục tiêu của tất cả các URL và tìm URL đã di chuyển vĩnh viễn, đồng
thời tìm URL lỗi và cuối cùng tìm thấy URL đang hoạt động trong một trang mục tiêu.
Parsero thực hiện các tìm kiếm cả trong HTTP và HTTPS cũng như các nền tảng tìm kiếm
mà cơng cụ sử dụng là Google, Yahoo và cuối cùng là Bing. Chủ yếu công cụ này tập
trung vào Bing.
Khi thực thi Parsero, ta có thể thấy các mã trạng thái HTTP. Ví dụ, các mã dưới
đây:
200 OK
403 Forbidden

The request has succeeded.
The server understood the request, but is
refusing to fulfill it.
8


404 Not Found
302 Found

The server hasn't found anything matching
the Request-URI.
The requested resource resides temporarily

under a different URI.

...
3. Lịch sử phát triển
Parsero được phát triển bởi Javier Nieto, một đặc vụ NSA người Tây Ba Nha, công
khai trên github vào ngày 3 tháng 12 năm 2013. Trải qua nhiều lần cập nhật thì đến phiên
bản v0.75, Parsero đã được đưa vào kho lưu trữ Kali Linux.

Hình 3: Javier Nieto

Thời gian

Sự kiện

03/12/2013

Javier Nieto công bố Parsero v0.1 trên github và
cập nhật cho đến v0.45

13/12/2013

Cập nhật v0.5 trên github

9


05/02/2014

Cập nhật v0.6, thêm 2 tính năng:
- Chỉ hiện thị các mục Disallow khả dụng

- Tìm kiếm trong Bing các Disallow.

22/04/2014

Cập nhật v0.7 trên github

23/04/2014

Cập nhật v0.71 trên github

22/05/2014

Cập nhật v0.75, cải thiện hiện thị trên terminal

01/09/2014

Parsero được thêm vào kho lưu trữ Kali Linux

22/09/2014

Cập nhật v0.80 trên github

29/09/2014

Cập nhật v0.81 trên github

06/01/2021

Cập nhật lần gần nhất trên kho lưu trữ

10


II.

HƯỚNG DẪN CÀI ĐẶT

1. Sử dụng tập lệnh setup.py
• git clone />• cd Parsero/
• sudo python3 setup.py install

Hình 4: Cài đặt bằng tập lệnh setup.py
11


2. Sử dụng pip3
• sudo apt-get install python3-pip
• sudo pip3 install parsero

Hình 5: Cài đặt bằng pip3
12


• Gỡ cài đặt : sudo pip uninstall parsero

Hình 6: Gỡ cài đặt bằng pip3
3. Cài đặt từ kho lưu trữ Kali Linux
• Sudo apt install parsero
• Gỡ cài đặt: Sudo apt autoremove parsero

13


Hình 7: Cài đặt từ kho lưu trữ Kali Linux

14


Hình 8: Gỡ cài đặt parsero

15


III.

HƯỚNG DẪN SỬ DỤNG

Dùng câu lệnh: parsero [OPTIONS]
Các options của parsero:
• -h, --help

: Hiển thị hướng dẫn sử dụng và các options

Hình 9: parsero -h

Hình 10: parsero --help

16

• -u URL

: phân tích URL vừa nhập

Hình 11: parsero -u URL

17


• -o
: Chỉ hiển thị trạng thái “HTTP 200”
Nếu tệp robots.txt có một vài mục nhập thì khơng nên sử dụng tùy chọn "-o" vì bạn
sẽ có thể tìm ra loại nội dung mà quản trị viên muốn ẩn nếu bạn nhận được tất cả kết quả.
Nhưng nếu tệp lớn hơn, bạn có nhiều thơng tin để phân tích và việc kiểm tra sẽ dễ dàng
hơn khi chỉ nhận được các liên kết được phép truy cập.

Hình 12: parsero -u URL -o
• -sb
: Tìm kiếm các mục Disallow trên Bing
Thực tế là quản trị viên đã viết tệp robots.txt để cố gắng ẩn phần trình thu thập
thơng tin trong nội dung của mình khơng có nghĩa là các cơng cụ tìm kiếm khơng lập chỉ
mục các mục Disallow này.
Ví dụ, trong hình bên dưới, Parsero sẽ tìm thấy nội dung được Bing lập chỉ mục mà
nội dung đó hẳn chưa được lập chỉ mục. Parsero sẽ hiển thị cho bạn 10 kết quả Bing đầu
tiên cho các mục Disallow được lập chỉ mục.
o Liên kết trắng: trang tìm kiếm trong Bing.
o Liên kết màu xanh lá cây: trực tiếp đến kết quả được tìm thấy trong Bing (nội
dung khơng phải lúc nào cũng có sẵn và đơi khi bạn sẽ gặp lỗi mã HTTP
404).

18


Hình 13: parsero -u URL -o -sb
19


• -f FILE

: Quét danh sách domain từ FILE

Hình 14: File chứa domain

Hình 15: Quét File chứa domain
20


Hình 16: File chứa nhiều domain

21


Hình 17: Quét từ File chứa nhiều domain

22


IV.

SO SÁNH VÀ ĐÁNH GIÁ

1. So sánh với các công cụ tương đương, lựa chọn thay thế cho Parsero
a. Oscanner

Hình 18: Oscanner
Cơng cụ này có kiến trúc dựa trên plugin cho các mục đích liệt kê các cài đặt Oracle.
• Sid enumeration
•
•
•
•
•
•

Kiểm tra mật khẩu (thơng dụng & từ điển)
Liệt kê phiên bản Oracle Liệt kê các vai trò tài khoản
Liệt kê các đặc quyền của tài khoản
Liệt kê các băm tài khoản
Liệt kê thơng tin kiểm tốn
Liệt kê các chính sách mật khẩu

• Liệt kê các liên kết cơ sở dữ liệu
Mã nguồn của Oscanner có sẵn và được viết bằng Java.
b. arp-scan
Tiện ích arp-scan có thể được sử dụng để phát hiện các máy chủ trên mạng. Vì nó
sử dụng ARP nên chỉ áp dụng cho IPv4, vì IPv6 sử dụng giao thức NDP.
arp-scan thường được sử dụng để phân tích mạng hoặc kiểm tra thâm nhập. Người
dùng mục tiêu cho công cụ này là các chuyên gia bảo mật và pentesters.
arp-scan được viết bằng ngôn ngữ C.

23


Hình 19: arp-scan
c. arping
arping tương tự như tiện ích 'ping' để kiểm tra mạng và khám phá hệ thống. Trong
trường hợp lệnh 'ping' thường sử dụng giao thức ICMP, thì arping sử dụng giao thức ARP.

24


Hình 20: arping

d. Arachni
Arachni là framework được viết bằng Ruby, tập trung vào việc đánh giá tính bảo
mật của các ứng dụng web. Người dùng điển hình bao gồm các chuyên gia bảo mật và
quản trị viên hệ thống.
Công cụ này là miễn phí và mã nguồn mở. Bên cạnh Linux, nó cũng chạy trên
macOS và Microsoft Windows.
25