Semalt Expert on Website Data Scraping-좋고 나쁜 봇

웹 스크래핑은 오랫동안 사용되어 왔으며 웹 마스터, 언론인, 프리랜서, 프로그래머, 비 프로그래머, 마케팅 연구원, 학자 및 소셜 미디어 전문가에게 유용합니다. 봇에는 좋은 봇과 나쁜 봇의 두 가지 유형이 있습니다. 좋은 봇은 검색 엔진이 웹 컨텐츠를 색인화 할 수있게 해주 며 시장 전문가와 디지털 마케팅 담당자가 선호합니다. 반면에 나쁜 봇은 쓸모가 없으며 사이트의 검색 엔진 순위를 손상시키는 것을 목표로합니다. 웹 스크래핑의 적법성은 사용한 봇 유형에 따라 다릅니다.

예를 들어, 불법적으로 사용하려는 의도로 다른 웹 페이지에서 콘텐츠를 가져 오는 나쁜 봇을 사용하는 경우 웹 스크랩이 유해 할 수 있습니다. 그러나 좋은 봇을 사용하고 서비스 거부 공격, 온라인 사기, 경쟁 데이터 마이닝 전략, 데이터 도난, 계정 도용, 무단 취약성 스캔, 디지털 광고 사기 및 지적 재산 훔치기 등의 유해한 활동을 피하는 경우, 웹 스크래핑 절차는 인터넷에서 비즈니스를 성장시키는 데 도움이됩니다.

불행히도, 대부분의 프리랜서와 신생 기업은 파트너가 필요없이 데이터를 수집하는 저렴하고 강력하며 포괄적 인 방법이기 때문에 나쁜 봇을 좋아합니다. 그러나 대기업은 합법적 인 웹 스크레이퍼를 활용하여 불법 웹 스크레이퍼로 인터넷에서 자신의 평판을 망치고 싶지 않습니다. 웹 스크래핑의 적법성에 대한 일반적인 의견은 중요하지 않은 것 같습니다. 지난 몇 개월 동안 연방 법원 시스템이 점점 더 불법적 인 웹 스크랩 전략을 세분화하고 있음이 분명해 졌기 때문입니다.

웹 스크랩은 봇과 스파이더를 사용하여 웹 사이트를 스크랩하는 것이 2000 년에 불법 프로세스로 시작되었습니다. 이베이가 2010 년까지 인터넷에 확산되는 것을 막기 위해 많은 관행이 채택되지 않았습니다. eBay는 먼저 웹 사이트에서 봇을 사용하는 것이 Chattels의 불법 침입 법을 위반했다고 주장하면서 Bidder 's Edge에 대한 예비 금지 명령을 제출했습니다. 법원은 사용자가 사이트의 이용 약관에 동의해야하고 eBay의 컴퓨터 기계를 파괴 할 수 있기 때문에 다수의 봇이 비활성화 되었기 때문에 금지 명령을 곧 승인했습니다. 이 소송은 곧 법원에서 해결되었으며 eBay는 봇을 사용하여 웹 스크래핑에 헛되거나 나쁜 것이 든 상관없이 모든 사람을 차단했습니다.

2001 년 한 여행사에서 유해한 거미와 나쁜 봇의 도움을 받아 웹 사이트에서 콘텐츠를 긁어 낸 경쟁자를 고소했습니다. 판사들은 범죄에 대한 조치를 다시 취해 피해자를 호소하며 웹 스크래핑과 봇 사용은 다양한 온라인 비즈니스에 해를 끼칠 수 있다고 말했다.

오늘날 학계, 개인 및 정보 집계의 경우 많은 사람들이 공정한 웹 스크래핑 절차에 의존하고 있으며 이와 관련하여 많은 웹 스크랩 도구 가 개발되었습니다. 이제 당국자들은 이러한 도구가 모두 신뢰할 수는 없지만 유료 또는 프리미엄 버전으로 제공되는 도구 는 무료 웹 스크레이퍼 보다 낫다고 말합니다.

2016 년 의회는 나쁜 봇을 목표로하고 좋은 봇을 선호하는 첫 번째 법안을 통과했습니다. 웹 사이트를 타겟팅하고 검색 엔진 순위를 손상시키고 비즈니스를 파괴 할 수있는 불법 소프트웨어의 사용을 금지하는 BOTS (Better Online Ticket Sales) 법이 제정되었습니다. 공정성의 문제가 있습니다. 예를 들어 LinkedIn은 나쁜 봇을 차단하거나 제거하고 좋은 봇을 장려하는 도구에 많은 돈을 소비했습니다. 법원이 웹 스크래핑의 적법성을 결정하려고 노력함에 따라 회사는 데이터를 도난당했습니다.