વેબ ક્રાઉલર, જેને ક્યારેક સ્પાઈડર કહેવામાં આવે છે, એ ઈન્ટરનેટ બોટ છે જે વ્યવસ્થિત રીતે વર્લ્ડ વાઈડ વેબને બ્રાઉઝ કરે છે, ખાસ કરીને વેબ ઈન્ડેક્ષિંગ (વેબ સ્પિડરીંગ) ના હેતુ માટે. વેબ શોધ એન્જિનો અને કેટલીક અન્ય સાઇટ્સ તેમની વેબ સામગ્રી અથવા અન્ય સાઇટ્સની વેબ સામગ્રીનાં સૂચકાંકોને અપડેટ કરવા માટે વેબ ક્રોલિંગ અથવા સ્પિડરીંગ સોફ્ટવેરનો ઉપયોગ કરે છે. વેબ ક્રોલર્સ એક શોધ એન્જિન દ્વારા પ્રોસેસિંગ માટે પૃષ્ઠોને કૉપિ કરે છે જે ડાઉનલોડ કરેલા પૃષ્ઠોને નિર્દેશિત કરે છે જેથી વપરાશકર્તાઓ વધુ કાર્યક્ષમ રીતે શોધી શકે. ક્રાઉલરે મુલાકાત લીધેલ પ્રણાલીઓ પર સાધનોનો ઉપયોગ કર્યો છે અને ઘણીવાર મંજૂરી વિના સાઇટ્સની મુલાકાત લો. શેડ્યૂલ, લોડ, અને "સૌમ્યતા" ના મુદ્દાઓને રમતમાં આવે છે જ્યારે પૃષ્ઠોની મોટા ભાગનો ઉપયોગ થાય છે. ક્રાઉલિંગ એજન્ટને જાણ કરવા માટે ક્રોલ કરવા માંગતા ન હોય તેવી જાહેર સાઇટ્સ માટે પદ્ધતિઓ અસ્તિત્વ ધરાવે છે. દાખલા તરીકે, robots.txt ફાઇલ સહિત, બૉટ્સને વેબસાઇટના માત્ર ભાગોમાં જ ઇન્ડેક્સમાં, અથવા બિલકુલ કંઇપણ નથી. ઈન્ટરનેટ પેજીસની સંખ્યા અત્યંત મોટી છે; પણ સૌથી વધુ ક્રોલર્સ સંપૂર્ણ ઇન્ડેક્સ બનાવવા ટૂંકા પડે છે. આ કારણોસર, શોધ એન્જિન વર્ષ 2000 પહેલા વર્લ્ડ વાઇડ વેબના પ્રારંભિક વર્ષોમાં સંબંધિત શોધ પરિણામો આપવા માટે સંઘર્ષ કરતા હતા. આજે સંબંધિત પરિણામો લગભગ તરત જ આપવામાં આવે છે. ક્રોલર્સ હાયપરલિંક્સ અને HTML કોડને માન્ય કરી શકે છે. તેઓ વેબ સ્ક્રૅપિંગ માટે પણ વાપરી શકાય છે (ડેટા-આધારિત પ્રોગ્રામિંગ પણ જુઓ). [વેબ સર્ચ એન્જિન][હાઇપરલિંક] |