關於 Applebot

了解 Applebot（Apple 的 Web 編目程式）。

Applebot 抓取的資料可用於提供各種功能，例如已整合至 Apple 生態系統中許多使用者體驗的搜尋技術，包括 Spotlight、Siri 和 Safari。在 robots.txt 中啟用 Applebot，可以讓網站內容出現在全球 Apple 使用者使用這些產品的搜尋內容中。

Applebot 會從網頁伺服器存取多種資源，包括但不限於 robots.txt、Sitemap、RSS Feed、HTML，以及轉譯頁面所需的子資源（如 javascript、Ajax 請求、影像等）。

識別 Applebot

來自 Applebot 的流量通常是使用 *applebot.apple.com 網域內的反向 DNS 來辨識。

另一種方式是將 IP 位址與以下 JSON 檔案中包含的 CIDR 前置字元相配：Applebot IP CIDRs。

反向 DNS

使用主機指令可判斷 IP 位址是否為 Applebot 的一部分。以下範例顯示主機指令及其結果：

$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.

主機指令也可以用來驗證 DNS 指向相同的 IP 位址：

$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

使用者代理程式

使用者代理程式可協助網站管理員辨識編目程式流量，藉此取得編目程式活動的準確存取日誌報告，並透過 robots.txt 來控制對網站的存取。

Applebot 支援數個使用者代理程式，包括「搜尋」和 Podcast。

搜尋

針對搜尋網頁的編目和轉譯，Applebot 使用下列格式：

使用者代理程式字串包含「Applebot」和其他資訊。一般格式如下：

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

桌面範例：

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

行動裝置範例：

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Applebot 偶爾會更新所發布的瀏覽器版本，但仍維持上述一般格式。

Apple Podcast

iTMS 流量也可能來自 applebot.apple.com 主機，可由下列使用者代理程式辨識：

使用者代理程式：iTMS

iTMS 使用者代理程式不會遵循 robots.txt，因為它不是一般的搜尋編目程式。它只會抓取與 Apple Podcast 上已登記內容相關的 URL。

自訂 robot.txt 規則

Applebot 在針對 Applebot 的一般搜尋編目中，會遵循標準的 robots.txt 指令。在此範例中，Applebot 不會嘗試對 /private/ 或 /not-allowed/ 底下的文件進行編目：

使用者代理程式：允許 Applebot：/ 不允許：/private/ 使用者代理程式：* 不允許：/not-allowed/

如果機器人指示沒有提及 Applebot 但提及 Googlebot，則 Apple 機器人將遵循 Googlebot 指示。

轉譯和機器人規則

Applebot 可能會在瀏覽器中轉譯你的網站內容。如果透過 robots.txt 封鎖 javascript、CSS 和其他資源，可能會無法正確轉譯內容。其中包括頁面可能需要的 XHR、JS 和 CSS。

為了讓 Applebot 建立頁面的最佳內容索引，請確定 Applebot 能夠使用供使用者轉譯頁面所需的任何資料。或者，即使所有資源皆無法使用，也要確定網站可以完全轉譯。這通常稱為「從容退化」。

自訂 Applebot 的索引規則

Applebot 支援 HTML 文件中的機器人中繼標籤。若要指定中繼標籤的機器人規則，請將標籤放在

... ...

Applebot 也支援下列指令：

• noindex：Applebot 不會建立頁面索引，也不會顯示在「Spotlight 建議」或「Siri 建議」中。

• nosnippet：Applebot 不會產生頁面描述或網路回答。任何造訪此 URL 的建議只會包括頁面標題。

• nofollow：Applebot 不會追蹤頁面上的任何連結。

• none：如上所述，Applebot 不會建立頁面索引、截取頁面片段或追蹤頁面上的連結。

• all：Applebot 會提供建議文件並截取片段內容，因此簡短的頁面描述會顯示在代表影像旁邊。Applebot 可能會追蹤頁面連結以提供進一步建議。

若要在單一中繼標籤放入多項指令，請使用逗號分隔的列表或多個中繼標籤。

範例：

控制資料用量

除了遵循所有 robots.txt 規則和指令外，Apple 還有第二個使用者代理程式 Applebot-Extended，可讓網頁發行者進一步控制 Apple 如何使用其網站內容。

透過 Applebot-Extended，網頁發行者可以選擇不使用其網站內容來訓練 Apple 的基礎模型，這些模型為 Apple 產品（包括 Apple Intelligence、服務和開發者工具）提供生成式 AI 功能。

可以在 robots.txt 中加入規則，不允許 Applebot-Extended，如下所示：

使用者代理程式：不允許 Applebot-Extended：/private/

Applebot-Extended 不會抓取網頁。搜尋結果中仍可能包含不允許 Applebot-Extended 的網頁。Applebot-Extended 只會用來判斷如何使用 Applebot 使用者代理程式抓取的資料。

允許 Applebot-Extended 有助於隨著時間的推移，提升 Apple 生成式 AI 模型的功能和品質。

關於搜尋排名

「Apple 搜尋」在將網頁搜尋結果排名時，可能會考量下列因素：

• 彙整使用者與搜尋結果的互動率

• 搜尋詞彙與網頁主題和內容的相關性和相符性

• 來自網路上其他頁面的連結數量和品質

• 以使用者所在地點為基礎的訊號（近似資料）

• 網頁設計特性

搜尋結果可能會使用上述沒有（預先決定的）排名重要性的因素。「搜尋」的使用者必須遵守「Siri 建議、搜尋與隱私權」中的隱私權政策。

聯絡我們

若有問題或疑慮，請透過 applebot@apple.com 聯絡我們。