검색엔진은 어떤 역할을 하나요?
검색엔진은 디지털 버전의 사서입니다. 포괄적인 색인을 사용하여 검색어에 적합한 정보를 찾습니다. 검색의 기본사항을 이해하면 사용자가 내 콘텐츠를 검색할 수 있도록 준비할 수 있습니다.
크롤러가 웹을 탐색하는 방법
크롤링은 도서관에 있는 모든 책을 읽는 것과 같습니다. 검색엔진은 검색 결과를 가져오기 전에 웹에서 최대한 많은 정보를 확보해야 합니다. 이를 위해 검색엔진은 크롤러를 사용합니다. 크롤러는 사이트 간에 이동하며 브라우저처럼 작동하는 프로그램입니다.
도서 또는 문서가 누락되거나 손상된 경우 크롤러가 읽을 수 없습니다. 크롤러는 각 URL을 가져와 문서의 상태를 확인하려고 합니다. 문서에서 오류 상태 코드를 반환하면 크롤러는 콘텐츠를 사용할 수 없으며 나중에 URL을 다시 시도할 수 있습니다. 이렇게 하면 공개적으로 액세스할 수 있는 문서만 색인에 포함됩니다.
크롤러가 리디렉션 상태 코드 (예: 301 또는 302)를 발견하면 리디렉션을 따라 새 URL로 이동하여 계속 진행합니다. 성공 응답을 받으면(사용자가 액세스할 수 있는 문서를 찾았음을 의미) 크롤링이 허용되는지 확인한 후 콘텐츠를 다운로드합니다.
이 검사에는 HTML과 HTML에 언급된 모든 콘텐츠(예: 이미지, 동영상, 자바스크립트)가 포함됩니다. 크롤러는 HTML 문서에서 링크를 추출하여 연결된 URL도 방문할 수 있습니다. 크롤러는 링크를 따라가며 웹에서 새 페이지를 찾습니다.
크롤러는 링크나 버튼을 적극적으로 클릭하지 않고 대신 URL을 큐로 전송하여 나중에 크롤링합니다. 새 URL에 액세스할 때 쿠키, 서비스 워커 또는 로컬 스토리지 (예: IndexedDB)를 사용할 수 없습니다.
색인 빌드
문서를 가져온 후 크롤러는 콘텐츠를 검색엔진에 전달하여 색인에 추가합니다. 이제 검색엔진은 콘텐츠를 렌더링하고 분석하여 이해합니다. 렌더링은 브라우저에서와 같이 페이지를 표시하는 것을 의미합니다(일부 제한사항 있음).
검색엔진은 키워드, 제목, 링크, 제목, 텍스트 등 다양한 요소를 살펴봅니다. 이를 신호라고 하며 페이지의 콘텐츠와 컨텍스트를 설명합니다. 신호를 통해 검색엔진은 주어진 검색어에 가장 적합한 페이지로 답변할 수 있습니다.
검색엔진은 서로 다른 URL에서 동일한 콘텐츠를 찾을 수 있습니다. 예를 들어 '애플파이' 레시피는 /recipes/apple-pie 및 /recipes/1234에 있을 수 있습니다. 레시피의 색인이 생성되고 두 번 표시되는 것을 방지하기 위해 검색엔진은 기본 URL을 결정하고 동일한 콘텐츠를 표시하는 대체 URL을 삭제합니다.
가장 유용한 결과 제공
검색엔진은 색인의 키워드와 검색어를 일치시키는 것 이상의 작업을 수행합니다. 유용한 결과를 제공하기 위해 컨텍스트, 대체 표현, 사용자 위치 등을 고려할 수 있습니다. 예를 들어 '실리콘 밸리'는 지리적 지역 또는 TV 프로그램을 나타낼 수 있습니다. 하지만 검색어가 '실리콘 밸리 출연진'인 경우 지역에 관한 결과는 별로 도움이 되지 않습니다.
일부 검색어는 '펄프 픽션의 노래'와 같이 간접적일 수 있으며, 검색엔진은 이를 해석하여 영화의 음악에 대한 결과를 표시해야 합니다. 사용자가 무언가를 검색하면 검색엔진은 가장 유용한 결과를 결정한 다음 사용자에게 표시합니다. 페이지의 순위 지정 또는 정렬은 쿼리를 기반으로 이루어집니다. 더 나은 정보를 사용할 수 있게 되면 순서가 시간이 지남에 따라 변경될 수 있습니다.
다음 단계: 검색엔진에 맞게 최적화하는 방법
검색엔진의 작동 방식에 관한 기본사항을 이해했으므로 검색엔진 최적화의 가치를 알 수 있습니다. 이를 SEO, 즉 '검색엔진 최적화'라고 합니다. 검색엔진이 콘텐츠를 찾고 자동으로 이해할 수 있도록 하면 관련 검색에 대한 사이트의 가시성이 향상됩니다. 이를 통해 더 많은 관심을 가진 사용자가 사이트를 방문하게 할 수 있습니다. Lighthouse로 사이트를 감사하고 SEO 결과를 확인하여 검색엔진이 사용자에게 콘텐츠를 얼마나 잘 알릴 수 있는지 확인합니다.