gsjava Google 크롤러

'크롤러'는 로봇 또는 스파이더와 같이 웹페이지 간 링크를 따라가며 웹사이트를 자동으로 발견하고 검색하는 데 사용되는 프로그램을 가리키는 일반적인 용어입니다.