대부분의 경우 액세스를 차단해야 할 때 SeekportBot 또는 다른 사람 crawl bots 이유는 간단합니다. 웹스파이더는 짧은 시간에 너무 많은 접속을 하여 웹서버의 자원을 요구하거나, 웹사이트가 색인화되는 것을 원하지 않는 검색엔진에서 오는 것입니다.
c가 방문한 웹 사이트에 매우 유용합니다.raw나는 그와 부딪쳤다. 이러한 웹 스파이더는 검색 엔진에서 웹 페이지의 콘텐츠를 탐색, 처리 및 색인화하도록 설계되었습니다. Google과 Bing은 이러한 c를 사용합니다.raw나는 그와 부딪쳤다. 그러나 로봇을 사용하여 웹 페이지에서 데이터를 수집하는 검색 엔진도 있습니다. Seekport c를 사용하는 이러한 검색 엔진 중 하나입니다.raw웹 페이지 인덱싱을 위한 SeekportBot ler. 불행히도 때때로 그것을 과도하게 사용하고 불필요한 트래픽을 생성합니다.
큐프린
SeekportBot이란 무엇입니까?
SeekportBot 하는 web crawler 회사에서 개발 Seekport, 독일에 기반을 두고 있지만 핀란드를 비롯한 여러 국가의 IP를 사용합니다. 이 봇은 검색 엔진 결과에 표시될 수 있도록 웹 사이트를 크롤링하고 인덱싱하는 데 사용됩니다. Seekport. 내가 알 수 있는 한 작동하지 않는 검색 엔진입니다. 적어도 핵심 문구에 대한 결과는 반환하지 않았습니다.
SeekportBot 사용 user agent:
"Mozilla/5.0 (compatible; SeekportBot; +https://bot.seekport.com)"SeekportBot 또는 기타 c에 대한 액세스를 차단하는 방법raw웹사이트를 클릭했습니다.
이 웹 스파이더 또는 다른 웹 스파이더가 전체 웹 사이트를 검색하고 웹 서버에 불필요한 트래픽을 생성할 필요가 없다는 결론에 도달한 경우 액세스를 차단할 수 있는 몇 가지 방법이 있습니다.
웹 서버 수준의 방화벽
그들은 방화벽 응용 프로그램입니다 open-source 운영 체제에 설치할 수 있는 Linux 여러 기준에 따라 트래픽을 차단하도록 구성할 수 있습니다. IP 주소, 위치, 포트, 프로토콜 또는 사용자 에이전트.
APF (Advanced Policy Firewall) 서버 수준에서 원치 않는 봇을 차단할 수 있는 소프트웨어입니다.
SeekportBot 및 기타 웹 스파이더는 여러 개의 IP 블록을 사용하므로 가장 효과적인 차단 규칙은 "user agent". 따라서 액세스를 차단하려면 SeekportBot 의해서 APF, 다음을 통해 웹 서버에 연결하기만 하면 됩니다. SSH, 구성 파일에 필터 규칙을 추가합니다.
1. 다음을 사용하여 구성 파일을 엽니다. nano (또는 다른 게시자).
sudo nano /etc/apf/conf.apf2. "로 시작하는 줄을 찾습니다.IG_TCP_CPORTS” 이 줄 끝에 차단하려는 사용자 에이전트를 추가하고 그 뒤에 쉼표를 추가합니다. 예를 들어 차단하려는 경우 user agent "SeekportBot", 줄은 다음과 같아야 합니다.
IG_TCP_CPORTS="80,443,22" && IG_TCP_CPORTS="$IG_TCP_CPORTS,SeekportBot"3. 파일을 저장하고 APF 서비스를 다시 시작합니다.
sudo systemctl restart apf.service"SeekportBot" 액세스가 차단됩니다.
필터 web crawls Cloudflare의 도움으로 - SeekportBot의 액세스 차단
Cloudflare의 도움으로 웹 사이트에 대한 일부 봇의 액세스를 다양한 방식으로 제한할 수 있는 가장 안전하고 편리한 방법인 것 같습니다. 저도 케이스에 사용한 방법은 SeekportBot 온라인 상점에 대한 트래픽을 필터링합니다.
이미 Cloudflare에 웹사이트를 추가했고 DNS 서비스가 활성화되었다고 가정하면(즉, 웹사이트 트래픽이 Cloudflare를 통과함) 아래 단계를 따르세요.
1. Clouflare 계정을 열고 액세스를 제한하려는 웹사이트로 이동합니다.
2. 이동: Security → WAF 새 규칙을 추가합니다. Create rule.
3. 새 규칙의 이름을 선택하고 Field: User Agent - Operator: Contains - Value: SeekportBot (또는 다른 봇 이름) – Choose action: Block - Deploy.
단 몇 초 만에 새로운 규칙이 WAF (Web Application Firewall) 효과가 나타나기 시작합니다.
이론적으로 웹 스파이더가 사이트에 액세스하는 빈도는 다음에서 설정할 수 있습니다. robots.txt, 하지만... 이론상일 뿐입니다.
User-agent: SeekportBot
Crawl-delay: 4많은 web crawlerii(Bing 및 Google 제외)는 이러한 규칙을 따르지 않습니다.
결론적으로 web c를 식별하면rawl 귀하의 사이트에 과도하게 액세스하는 사람은 그의 액세스를 완전히 차단하는 것이 가장 좋습니다. 물론 이 봇이 귀하가 관심을 갖고 있는 검색 엔진에서 온 것이 아닌 경우입니다.
