트래픽 유발자 찾아내기, sitemap과 htaccess, robots.txt 파일

안녕! 친구들

요즘엔 네이버서치어드바이저, 구글서치콘솔들이 중요한 역할을 하는거 같애.

단순히 홈페이지를 만들고 끝나는게 아니라 어떻게 하면 더 잘 노출될 수 있을지 연구해야 하니까~

그중에 sitemap.xml과 htaccess 이 갈수록 더 중요하다는 느낌이 들어.

차단과 노출을 둘다 관려하는 파일들 이니까 더 그런것 같애.

최근에 특정사이트가 만든지 좀 오래되기도 했지만, 광고를 많이 안하는데도 사이트가 떨어지는 현상이 발생하고 있어

그래서 ai의 도움을 받아서 어떤 게 문제가 있는지 확인하려고, 트래픽유발자(?) 누구인지 확인할 수 있게

간단히 만들었어. 그리고 확인 해봤더니

※ 이 66번으로 시작하는 ip 친구들이었어.

그리고 66번이 아래에서 보면 google bot , 바로 구글 봇이었어.

자 확인 됐지?

구글봇이 자꾸 사이트 들어와서 내용을 긁어서 노출해주는건 좋은데

필요없는것 또는 너무 디테일한 부분까지 읽으려고 하니까 트래픽이 많이 올라가는거야

.htaccess 에

# 반복적으로 들어오는 구글봇을 막을 수도

# Deny from 66.249.

구글 봇 아이피를 이렇게 막을 수도 있겠지만, 1차적으로 취약한 부분에 소스를 수정하고

처리하니까 확실히 트래픽이 떨어졌어.

User-agent: *

Allow: /

# 관리자 / 삭제 기능

Disallow: /admin/

Disallow: /del.php

# 검색조건으로 만들어지는 중복 URL

Disallow: /*?*price_value=

Disallow: /*?*addr=

Disallow: /*?*dong=

Disallow: /*?*ct=

Disallow: /*?*team=

Disallow: /*?*value=

이렇게 robots.txt 가 차단을 해주니까 해결됐어.

혹시 홈페이지가 노후화됐다면 노출을 늘리고 싶다면 문의주고

홈페이지 돈들여 만들었는데 관리 안하면 의미가 없어.

홈페이지 관리되게 만들어야 되고, 꾸준히 관리해야 노출을 안정적으로 할 수 있어~

[서치어드바이저 등록방법]