اولین قدم گوگل برای به روز کردن بانک داده‌هایش، فرایند crawling یا خزیدن است. طی فرایند خزیدن، عنکبوت وب با دنبال کردن‌ لینک‌ها در صفحات، به دنبال محتوای جدید می‌گردد. عنکبوت‌های وب، سایت‌ها را به روش‌های مختلفی پیدا می‌کنند.

ممکن است عنکبوت وب، لینک وب‌‌سایتی را به طور اتفاقی در صفحه دیگری پیدا کرده و آن را دنبال کند. حتی ممکن است، مدیر وب سایت نقشه سایت را، مستقیماً برای گوگل ارسال کند، تا عنکبوت وب آن را راحت‌تر پیدا کند.

 در هر صورت، هنگامی‌که یک خزنده گوگل سایتی را پیدا کند، کل  محتوای وب سایت را اسکن می‌کند تا بفهمد چه چیزی در آن وجود دارد. محتوای سایت می‌تواند هر چیزی باشد؛ مثل متن، تصویر، ویدئو، فایل پی‌دی‌اف (PDF). این محتوا هرچه که باشد به واسطه URL‌‌ خود پیدا می‌شود!

در واقع عنکبوت‌های وب، صفحه را برای یافتن  URL‌های جدید، کاوش می‌کنند.