크롤링봇 중에서 좋은봇과 나쁜봇에 대한 여러가지 의견들 > 개발

사이트 내 전체검색

개발

크롤링봇 중에서 좋은봇과 나쁜봇에 대한 여러가지 의견들

페이지 정보

작성자 관리자 (210.♡.35.28)
댓글 0건 조회 2,316회 작성일 21-03-01 22:13

본문

## 참고
https://simtechdev.com/blog/good-and-bad-bots-to-control-to-save-server-resources-and-improve-performance/
https://linuxreviews.org/Web_crawlers
https://pitsec.tistory.com/49

위 참고 사이트들을 참고하여 공통적인 것을 골라내 보면 대충 아래처럼 정리할 수 있을 것 같다.

1. 좋은 bot

Googlebot
Bingbot - Microsoft
Slurp - Yahoo Search 로봇
DuckDuckBot

2. 나쁜 bot

AhrefsBot
BLEXBot
DotBot
MJ12bot
PetalBot
SemrushBot

추천0

댓글목록

등록된 댓글이 없습니다.

개발 목록
번호	제목	조회	날짜
306	python selenium chrome webdriver 에 adblock extension 인 uBlock Origin 추가하기댓글1개	2965	04-29
305	VisualStudio Code 에서 편집창 오른쪽에 있는 미니맵 없애기	2194	04-29
304	VisualStudio Code 에서 Python 의 Language Server 를 Pylance 로 변경하기	2139	04-29
303	python selenium chrome webdriver options	2833	04-28
302	python tkinter button command 에 인수를 전달하는 방법	2512	04-28
301	python pyinstaller 에서 webdriver 사용시에 window console 창이 뜨지 않게 하는 방법	3965	04-28
300	python 에서 import 와 from import 의 차이점	1988	04-25
299	애드센스 Management API 버전 2 출시, 버전 1.4 2021.10.12. 중단	3042	04-22
298	javascript 로 구현한 markdown 파서 함수 예제	1878	04-14
297	그누보드의 기본 설정값이 다른 라이브러리들과 충돌을 일으키는 것들	2345	04-14
296	PHP 에서 배열의 중복값 제거 함수 array_unique	2316	04-12
295	Centos8 리눅스 서버에서 시간 동기화	3273	04-11
294	php 에서 배열에 데이터 값을 추가하는 방법	2251	04-07
293	웹사이트에 구글번역을 붙여서 다국어 홈페이지 만들기	2985	04-07
292	Apache 서버를 재시작할때, systemctl restart httpd와 systemctl reload httpd의 차이점	3274	03-25
291	Apache 2 VirtualHost 환경에서 PHP $_SERVER['HTTPS'] 환경변수 문제	3378	03-24
290	그누보드에서 data 폴더에 쓰기 권한이 없거나 또는 웹하드 용량이 없는 경우 로그인을 못할수도 있으니, 용량 체크 및 쓰기 권한을 확인해 주세요	3262	03-06
289	CentOS 8 에 memcached 설치하기	2323	03-06
열람중	크롤링봇 중에서 좋은봇과 나쁜봇에 대한 여러가지 의견들	2317	03-01
287	mariadb 에서 slow_query_log 설정하는 방법	1714	02-27

개발 목록

번호

제목

조회

추천

날짜

306

python selenium chrome webdriver 에 adblock extension 인 uBlock Origin 추가하기댓글1개

2965

04-29

305

VisualStudio Code 에서 편집창 오른쪽에 있는 미니맵 없애기

2194

04-29

304

VisualStudio Code 에서 Python 의 Language Server 를 Pylance 로 변경하기

2139

04-29

303

python selenium chrome webdriver options

2833

04-28

302

python tkinter button command 에 인수를 전달하는 방법

2512

04-28

301

python pyinstaller 에서 webdriver 사용시에 window console 창이 뜨지 않게 하는 방법

3965

04-28

300

python 에서 import 와 from import 의 차이점

1988

04-25

299

애드센스 Management API 버전 2 출시, 버전 1.4 2021.10.12. 중단

3042

04-22

298

javascript 로 구현한 markdown 파서 함수 예제

1878

04-14

297

그누보드의 기본 설정값이 다른 라이브러리들과 충돌을 일으키는 것들

2345

04-14

296

PHP 에서 배열의 중복값 제거 함수 array_unique

2316

04-12

295

Centos8 리눅스 서버에서 시간 동기화

3273

04-11

294

php 에서 배열에 데이터 값을 추가하는 방법

2251

04-07

293

웹사이트에 구글번역을 붙여서 다국어 홈페이지 만들기

2985

04-07

292

Apache 서버를 재시작할때, systemctl restart httpd와 systemctl reload httpd의 차이점

3274

03-25

291

Apache 2 VirtualHost 환경에서 PHP $_SERVER['HTTPS'] 환경변수 문제

3378

03-24

290

그누보드에서 data 폴더에 쓰기 권한이 없거나 또는 웹하드 용량이 없는 경우 로그인을 못할수도 있으니, 용량 체크 및 쓰기 권한을 확인해 주세요

3262

03-06

289

CentOS 8 에 memcached 설치하기

2323

03-06

열람중

크롤링봇 중에서 좋은봇과 나쁜봇에 대한 여러가지 의견들

2317

03-01

287

mariadb 에서 slow_query_log 설정하는 방법

1714

02-27

1		범죄도시4	689,912
2		쿵푸팬더4	40,748
3		스턴트맨	22,639
4	1	포켓몬스터: 성도지방 이야기, 최	19,380
5	1	남은 인생 10년	8,165
6		파묘	4,643
7	2	꼬마참새 리차드: 신비한 보석 탐	3,147
8	1	챌린저스	3,110
9	1	극장판 실바니안 패밀리: 프레야의	2,127
10	6	브레드이발소: 셀럽 인 베이커리타	1,967