Todos los sitios comerciales quieren que Google indexe lo más posible sobre ellos, de forma tal que puedan tener una máxima legada en los resultados de la mayor cantidad posible de búsquedas. Esto implica muchas veces permitir que se indexe contenido con acceso exclusivo previa subscripción o pago de algún tipo. Es lo que pasa cuando Google nos ofrece un resultado en el cual al visitar el sitio no podemos ver lo que Google nos estaba mostrando, porque primero debemos registrarnos o subscribirnos. Esto pasa porque estos sitios sí dejan entrar libremente al robot de Google, pero a nosotros no.
En respuesta a esto, en @ classic tutorials indican lo que hay que hacer para que Internet Explorer se identifique como Googlebot.
Para cualquier navegador que usemos, básicamente hay que cambiar el User Agent a Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html).
En Opera lamentablemente no hay forma de cambiar el User Agent a algo distinto de las opciones preestablecidas de la aplicación (Opera, Firefox, e IE), a menos que usemos un proxy intermediario que lo cambie, como The Promoxitron, el cual parece haber sido borrado de la faz de la Tierra, aunque supongo que algo parecido habrá.
En Firefox en cambio tenemos a la conocida extensión User Agent Switcher, que sumada a este archivo de configuración con decenas de User Agents nos ahorra todo el trabajo, ya que contiene los User Agents de bots de diversos buscadores, entre ellos el de Google.
Entradas Relacionadas
El portal móvil de Google, personalizado para cada dispositivo
Google te enseña a programar en la web
Modos de acceso alternativo a Gmail para salir de apuros
Google saca su versión de Calendar para dispositivos móviles
3 comentarios
Comentarios asociados a este artículo
Enlace al trackback
http://geekotic.com/2007/08/02/disfruta-del-acceso-exclusivo-del-google-bot/trackback/
6/Agosto/2007 a las 7:22
Pablo
Usando
Internet Explorer 6.0 en 
Windows XP
Con eses useragent muchas paginas te bloquean por posible botter y spammer.
6/Agosto/2007 a las 7:23
Pablo
Usando
Netscape Navigator 5.0
PD: uso Firefox…. no IE como salio ahi.. tenia otro useragent :P
6/Agosto/2007 a las 17:40
Gabolonte Blasfemus
Usando
Opera 9.22 en 
Windows 2000
Pablo, hay muchos sitios que no dejan entrar al bot de Google, hasta por el simple hecho de no querer aparecer en el buscador, así como sitios que hacen lo contrario, como menciono en el post.
PD: Y no hay nada de qué avergonzarse en usar Firefox, como para que lo disimules cambiando el UA… ;)