Detalji o programu Applebot

Saznajte više o programu Applebot, Appleovu programu za indeksiranje i pretraživanje weba.

Podaci koje Applebot indeksira upotrebljavaju se za pokretanje različitih značajki, primjerice za tehnologiju pretraživanja koja je integrirana u mnoga korisnička iskustva u Appleovu ekosustavu, uključujući Spotlight, Siri, i Safari. Aktivacijom programa Applebot u datoteci robots.txt omogućuje se prikaz sadržaja web-mjesta u rezultatima pretraživanja za Appleove korisnike širom svijeta u tim proizvodima.

Applebot pristupa mnogim vrstama resursa s web-poslužitelja uključujući, između ostalog, robots.txt, karte web-mjesta, RSS feedove, HTML, podresure potrebne za generiranje stranica kao što su javascript, Ajax zahtjevi, slike i još mnogo toga.

Prepoznavanje programa Applebot

Promet koji dolazi iz programa Applebot obično se identificira upotrebom obrnutog DNS-a u *.applebot.apple.com domeni.

Drugi je način uparivanje IP adrese s CIDR prefiksom koji se nalazi u sljedećoj JSON datoteci: Applebot IP CIDR-ovi.

Obrnuti DNS

Matična naredba može se upotrijebiti kako bi se utvrdilo je li IP adresa dio programa Applebot. Ovi primjeri pokazuju matičnu naredbu i njezin rezultat:

$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.

Matična naredba može se koristiti i kako bi se utvrdilo upućuje li DNS na istu IP adresu:

$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

Korisnički agenti

Korisnički agent pomaže webmasterima da identificiraju promet indeksiranja kako bi mogli dobiti precizan pristup izvješćima o aktivnostima indeksiranja i kontrolirati pristup web-mjestu putem datoteke robots.txt.

Applebot pokreće nekoliko korisničkih agenata, uključujući Pretraživanje i Podcasts.

Traži

Za pretraživanje i indeksiranje weba, Applebot upotrebljava sljedeći format:

Niz korisničkog agenta sadrži riječ „Applebot“ i ostale informacije. U nastavku je općeniti format:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Primjer za radnu površinu:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Primjer za mobilni uređaj:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Povremeno će Applebot ažurirati verziju preglednika koju oglašava, a pritom će ostati u gore navedenom općenitom formatu.

Apple Podcasts

iTMS promet može dolaziti s applebot.apple.com hostova, a identificirat će ga sljedeći korisnički agent:

User-Agent: iTMS

Korisnički agent za iTMS ne slijedi datoteku robots.txt jer nije indeksiranje za opće pretraživanje. Indeksira samo URL-ove povezane s registriranim sadržajem za Apple Podcasts.

Prilagođavanje pravila robot.txt

Applebot poštuje standardne robots.txt direktive u općenitim indeksiranjima pretraživanja koja su usmjerena na Applebot. U ovom primjeru, Applebot ne pokušava indeksirati dokumente koji su označeni kao /private/ or /not-allowed/:

User-agent: Applebot Allow: / Disallow: /private/ User-agent: * Disallow: /not-allowed/

Ako se u uputama za robot ne spominje Applebot, ali se spominje Googlebot, Appleov robot slijedit će upute za Googlebot.

Pravila za renderiranje i robote

Applebot može renderirati sadržaj vaše web stranice u pregledniku. Ako su JavaScript, CSS i drugi resursi blokirani putem pravila robots.txt, sadržaj se možda neće moći ispravno renderirati. To uključuje XHR, JS i CSS koje bi stranica mogla zahtijevati.

Kako bi Applebot mogao indeksirati najbolji sadržaj za stranicu, provjerite sadržava li Applebot sve što je potrebno korisniku za renderiranje stranice. Možete i provjeriti prikazuje li se web mjesto bez problema, čak i ako nisu svi resursi dostupni. To se često naziva laganom degradacijom.

Prilagođavanje pravila indeksiranja za Applebot

Applebot podržava metaoznake robota u HTML dokumentima. Da biste odredili robotska pravila u metaoznakama, postavite oznake u <zaglavlje> dokumenta.

<html><head> <meta name="robots" content="noindex"/> ... </head> <body>...</body> </html>

Applebot također podržava sljedeće direktive:

• noindex: Applebot neće indeksirati ovu stranicu i neće se pojavljivati u prijedlozima za Spotlight ili Siri.

• nosnippet: Applebot neće generirati opis niti web-odgovor za stranicu.

• nofollow: Applebot neće pratiti nikakve veze na stranici.

• none: Applebot neće indeksirati, izrađivati isječke sadržaja niti slijediti veze na stranici, kao što je prethodno opisano.

• all: Applebot pruža dokument za prijedloge i isječke sadržaja kako bi se kratki opis stranice mogao pojaviti pored odgovarajuće ogledne slike.

Za postavljanje više metadirektiva u jednu metaoznaku koristite popis odvojen zarezima ili više metaoznaka.

Primjer:

<meta name="robots" content="nosnippet, noindex”> <meta name="robots" content=“noindex"> <meta name="robots" content=“nosnippet">

Kontrola upotrebe podataka

Osim što prati sva robots.txt pravila i smjernice, Apple ima i sekundarni korisnički agent, Applebot-Extended, koji web-izdavačima pruža dodatne kontrole nad načinom na koji Apple može upotrebljavati sadržaj njihova web-mjesta.

Uz Applebot-Extended web-izdavači mogu odlučiti isključiti sadržaj svojih web-mjesta koji se upotrebljava za treniranje Appleovih osnovnih modela za pokretanje generativnih značajki umjetne inteligencije u Appleovim proizvodima, uključujući Apple Intelligence, Services i Developer Tools.

U robots.txt možete dodati pravilo da biste onemogućili Applebot-Extended i to na sljedeći način:

User-agent: Applebot-Extended Disallow: /private/

Applebot-Extended ne indeksira web-stranice. Web-stranice koje ne dopuštaju Applebot-Extended i dalje se mogu uključiti u rezultate pretraživanja. Applebot-Extended upotrebljava se samo za određivanje načina upotrebe podataka indeksiranih putem korisničkog agenta za Applebot.

Ako dopustite Applebot-Extended s vremenom će vam pomoći i poboljšati mogućnosti i kvalitetu Appleovih generativnih modela umjetne inteligencije.

Detalji o rangiranju rezultata pretraživanja

Prilikom rangiranja rezultata pretraživanja weba, Appleova tražilica može uzeti u obzir sljedeće čimbenike:

• zbirni angažman korisnika na rezultatima pretraživanja

• relevantnost i podudaranje pojmova za pretraživanje s temama i sadržajem web-stranica

• broj i kvalitetu veza s drugih web-stranica

• signale koji se temelje na lokaciji korisnika (približni podaci)

• značajke dizajna web-stranice

U rezultatima pretraživanja mogu se upotrijebiti navedeni čimbenici bez (unaprijed određene) važnosti rangiranja. Korisnici tražilice podliježu pravilima o privatnosti navedenima na odredištu Prijedlozi, pretraživanje i privatnost značajke Siri.

Obratite nam se

Ako imate pitanja ili nedoumica, obratite nam se na adresu applebot@apple.com.