크롤링봇 중에서 좋은봇과 나쁜봇에 대한 여러가지 의견들
페이지 정보
작성자 관리자 (210.♡.35.28) 작성일 21-03-01 22:13 조회 2,392 댓글 0본문
## 참고
https://simtechdev.com/blog/good-and-bad-bots-to-control-to-save-server-resources-and-improve-performance/
https://linuxreviews.org/Web_crawlers
https://pitsec.tistory.com/49
위 참고 사이트들을 참고하여 공통적인 것을 골라내 보면 대충 아래처럼 정리할 수 있을 것 같다.
1. 좋은 bot
Googlebot
Bingbot - Microsoft
Slurp - Yahoo Search 로봇
DuckDuckBot
2. 나쁜 bot
AhrefsBot
BLEXBot
DotBot
MJ12bot
PetalBot
SemrushBot
https://simtechdev.com/blog/good-and-bad-bots-to-control-to-save-server-resources-and-improve-performance/
https://linuxreviews.org/Web_crawlers
https://pitsec.tistory.com/49
위 참고 사이트들을 참고하여 공통적인 것을 골라내 보면 대충 아래처럼 정리할 수 있을 것 같다.
1. 좋은 bot
Googlebot
Bingbot - Microsoft
Slurp - Yahoo Search 로봇
DuckDuckBot
2. 나쁜 bot
AhrefsBot
BLEXBot
DotBot
MJ12bot
PetalBot
SemrushBot
추천0
댓글목록 0
등록된 댓글이 없습니다.
