Semalt Expert veebisaidi andmete kraapimisel - head ja halvad robotid

Veebi kraapimine on olnud pikka aega ja seda peetakse kasulikuks veebimeistritele, ajakirjanikele, vabakutselistele, programmeerijatele, programmeerijatele, turundusuurijatele, teadlastele ja sotsiaalmeedia ekspertidele. On kahte tüüpi robotid: head robotid ja halvad robotid. Head robotid võimaldavad otsimootoritel veebisisu indekseerida ning turueksperdid ja digitaalsed turundajad eelistavad neid kõrgelt. Halvad robotid seevastu on kasutud ja nende eesmärk on kahjustada saidi otsingumootori paremusjärjestust. Veebi kraapimise seaduslikkus sõltub sellest, millist tüüpi robotid olete kasutanud.

Näiteks kui kasutate halbu roboteid, mis tõmbavad sisu erinevatelt veebilehtedelt, eesmärgiga seda ebaseaduslikult kasutada, võib veebi kraapimine olla kahjulik. Kuid kui kasutate häid roboteid ja väldite kahjulikke tegevusi, sealhulgas teenuse keelamise rünnakuid, Interneti-pettusi, konkureerivaid andmekaevandamise strateegiaid, andmete vargusi, konto kaaperdamist, loata haavatavuse kontrollimist, digitaalsete reklaamide pettusi ja intellektuaalomandi varastamist, siis on veebi kraapimise protseduur hea ja kasulik teie ettevõtte laiendamiseks Internetis.

Kahjuks armastab enamik vabakutselisi ja alustavaid ettevõtteid halbu roboteid, kuna need on odav, võimas ja põhjalik viis andmete kogumiseks ilma partnerluseta. Suurettevõtted kasutavad aga oma kasumi saamiseks legaalseid veebikaabitsaid ega taha rikkuda oma mainet Internetis ebaseaduslike veebikaabitsatega. Üldised arvamused veebi kraapimise seaduslikkuse kohta ei tundu olevat olulised, sest viimase paari kuu jooksul on selgunud, et föderaalkohtusüsteemid võitlevad üha enam ebaseaduslike veebikaabitsemisstrateegiate vastu.

Veebi kraapimine algas ebaseadusliku protsessina juba 2000. aastal, kui robotite ja ämblike kasutamist veebisaitide kraapimiseks peeti jama. Kuni 2010. aastani ei olnud selle protseduuri leviku peatamiseks kohandatud palju tavasid. EBay esitas Bidder's Edge'ile esmalt esialgse ettekirjutuse, väites, et veebisaidil robotite kasutamine on rikkunud seadust Trespass to Chattels. Kohus tegi peagi ettekirjutused, kuna kasutajad pidid leppima kokku saidi tingimused ja paljud robotid deaktiveeriti, kuna need võivad eBay arvutimasinate jaoks olla hävitavad. Kohtuasi lahendati peagi kohtuväliselt ja eBay peatas kõigil robotite kasutamise veebi kraapimiseks, olenemata sellest, kas need on head või halvad.

2001. aastal oli reisibüroo kohtusse kaevanud konkurendid, kes selle sisu veebisaidilt kahjulike ämblike ja halbade robotite abil kraapisid. Kohtunikud võtsid kuriteo vastu taas meetmeid ja soosisid ohvreid, öeldes, et nii veebi kraapimine kui ka robotite kasutamine võib kahjustada mitmesuguseid veebiettevõtteid.

Tänapäeval loodavad paljud inimesed akadeemilises, privaatses ja teabe koondamisel õiglasele veebikraapimise protseduurile ja sellega seoses on välja töötatud palju veebikraapimisriistu . Nüüd väidavad ametnikud, et mitte kõik need tööriistad pole usaldusväärsed, kuid tasulised või esmaklassilised versioonid on paremad kui tasuta veebikaabitsad .

Kongress võttis 2016. aastal vastu esimese õigusakti, mille eesmärk on halbade robotite sihtimine ja heade robotite eelistamine. Moodustati senisest parem piletimüügi seadus (BOTS), mis keelas ebaseadusliku tarkvara kasutamise, mis võib veebisaitidele sihtida, kahjustades nende otsingumootorite ridu ja hävitades nende ettevõtteid. Seal on õigluse küsimus. Näiteks on LinkedIn kulutanud palju raha tööriistadele, mis blokeerivad või kõrvaldavad halvad robotid ja soodustavad nende kasutamist. Kuna kohtud on püüdnud otsustada veebi kraapimise õiguspärasuse üle, varjavad ettevõtted nende andmed.

mass gmail