Những điểm chính
• Tác động của bot xấu
Hiểu rõ các ảnh hưởng tiêu cực như làm chậm website, tiêu tốn tài nguyên và giảm thứ hạng SEO, giúp bạn xác định đúng vấn đề đang gặp phải.
• Các phương pháp chặn bot thủ công
Nắm được 3 cách phổ biến để tự chặn bot bằng file robots.txt, .htaccess và cấu hình Nginx, có thể áp dụng ngay lập tức.
• Xác minh kết quả chặn bot
Học cách kiểm tra hiệu quả sau khi chặn thông qua phân tích log server và theo dõi các chỉ số hiệu suất website.
• Xử lý lỗi thường gặp
Biết cách nhận diện và khắc phục các lỗi phổ biến như lỗi 500 hoặc chặn nhầm bot tốt để đảm bảo website hoạt động ổn định.
Bot xấu ảnh hưởng đến website như thế nào?
Lưu lượng truy cập bất thường từ các bot xấu như AI crawler, bot thu thập dữ liệu và bot tấn công DDoS có thể gây ra ảnh hưởng nghiêm trọng đến hiệu năng và độ ổn định của website. Những hoạt động này thường dẫn đến:
• Tiêu tốn tài nguyên máy chủ
• Làm chậm tốc độ tải trang
• Khai thác trái phép nội dung
• Suy giảm trải nghiệm người dùng
Tất cả các yếu tố trên đều tác động tiêu cực đến thứ hạng SEO và uy tín của website.
3 cách chặn bot truy cập website nhanh chóng
Cách 1: Sử dụng file robots.txt (áp dụng cho mọi website)
Tệp robots.txt dùng để đưa ra chỉ thị cho bot về việc không thu thập dữ liệu ở một số khu vực nhất định trên website.
Bước 1:
Truy cập trình quản lý tệp (File Manager) trong cPanel hoặc kết nối qua FTP.
Bước 2:
Tạo mới hoặc chỉnh sửa file robots.txt trong thư mục gốc của website (thường là public_html).
Bước 3:
Thêm các quy tắc cần thiết để hạn chế bot độc hại và bot AI phổ biến.
Bước 4:
Lưu lại thay đổi và kiểm tra bằng cách truy cập:
yourdomain.com/robots.txt
Cách 2: Chặn bot bằng file .htaccess
(áp dụng cho Apache / LiteSpeed / OpenLiteSpeed)
Bước 1:
Mở và chỉnh sửa file .htaccess trong thư mục gốc website.
Bước 2:
Thêm đoạn code sau để chặn truy cập dựa trên User-Agent:
Bước 3:
Thay đổi danh sách User-Agent trong dấu ngoặc đơn () theo các bot bạn muốn chặn.
Bước 4:
Lưu file và kiểm tra website để đảm bảo không xuất hiện lỗi 500 (Internal Server Error) do sai cú pháp.
Cách 3: Chặn bot trên server Nginx
Bước 1:
Chỉnh sửa file cấu hình Nginx của website, thường nằm tại:
/etc/nginx/sites-available/your-site
Bước 2:
Trong block server { ... }, thêm đoạn sau:
Bước 3:
Lưu thay đổi, kiểm tra cú pháp và tải lại Nginx:
Kiểm tra kết quả sau khi chặn bot
Sau khi áp dụng các phương pháp trên, bạn có thể kiểm tra hiệu quả bằng cách:
• Phân tích log truy cập của server (ví dụ: access.log) để xác minh lượng truy cập từ bot bị chặn đã giảm.
• Theo dõi tốc độ tải trang và mức sử dụng băng thông hosting để đánh giá mức cải thiện hiệu suất.
Một số lỗi phổ biến khi chặn bot truy cập website
Trong quá trình thực hiện, bạn có thể gặp các vấn đề sau:
• Website trả về lỗi 403 hoặc 500
Nguyên nhân thường do sai cú pháp trong file cấu hình. Hãy kiểm tra kỹ đoạn code vừa thêm. Luôn sao lưu file trước khi chỉnh sửa để dễ khôi phục khi cần.
• Chặn nhầm các bot hữu ích
Nếu vô tình chặn Googlebot, Bingbot hoặc các bot công cụ tìm kiếm khác, hãy cập nhật lại quy tắc để loại bỏ chúng khỏi danh sách bị chặn (whitelist).