# =========================================================

# harmonija.net robots.txt

# PERFORMANCE / CRAWL BUDGET konfiguracija

#

# Cilji:

# - produkti in glavne kategorije ostanejo dostopni

# - produkti se odkrivajo prek sitemap.xml

# - crawlerji ne hodijo po globoki paginaciji

# - crawlerji ne ustvarjajo filter/sort kombinacij

# - WooCommerce akcijski URL-ji se ne crawlajo

# =========================================================

# ---------------------------------------------------------

# OpenAI TRAINING

# GPTBot blokiran

# ---------------------------------------------------------

User-agent: GPTBot
Disallow: /

# ---------------------------------------------------------

# ChatGPT uporabniške zahteve

# Dovoljene

# ---------------------------------------------------------

User-agent: ChatGPT-User
Allow: /

# ---------------------------------------------------------

# VSI ISKALNI CRAWLERJI

#

# OAI-SearchBot ni posebej blokiran, zato sledi tem pravilom:

# lahko crawla izdelke, kategorije in vsebino,

# ne pa pagination/filter junk URL-jev.

# ---------------------------------------------------------

User-agent: *

# =========================================================

# WORDPRESS SISTEMSKE STRANI

# =========================================================

Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Disallow: /wp-login.php
Disallow: /xmlrpc.php

# =========================================================

# WOOCOMMERCE UTILITY STRANI

# =========================================================

Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/

# =========================================================

# FEEDI

# =========================================================

Disallow: /feed/
Disallow: /comments/feed/
Disallow: /*/feed/

# =========================================================

# KATEGORIJSKA PAGINACIJA

#

# ZELO POMEMBNO ZA HARMONIJA.NET

#

# Primeri, ki se NE crawlajo:

#

# /t1/kategorija/pohistvo/page/2/

# /t1/kategorija/pohistvo/page/100/

# /t1/kategorija/.../page/3672/

#

# Glavna kategorija ostane dovoljena:

#

# /t1/kategorija/pohistvo/

#

# Izdelki ostanejo dovoljeni in so v sitemapu.

# =========================================================

Disallow: /t1/kategorija/*/page/

# =========================================================

# QUERY PAGINACIJA

# =========================================================

Disallow: /*?*paged=
Disallow: /*?*product-page=

# =========================================================

# WOOCOMMERCE CART / AJAX AKCIJE

# =========================================================

Disallow: /*?*add-to-cart=
Disallow: /*?*wc-ajax=

# =========================================================

# SORTIRANJE IZDELKOV

#

# Ne potrebujemo ločenega crawlanja:

# ?orderby=price

# ?orderby=date

# itd.

# =========================================================

Disallow: /*?*orderby=
Disallow: /*?*product_orderby=
Disallow: /*?*product_order=
Disallow: /*?*product_count=

# =========================================================

# HARMONIJA UI / CATEGORY EXPANSION

# =========================================================

Disallow: /*?*expand_product_cat=

# =========================================================

# WOOCOMMERCE ATTRIBUTE FILTRI

#

# Primer:

# ?filter_barva=

# ?filter_velikost=

# ?filter_znamka=

# =========================================================

Disallow: /*?*filter_

# =========================================================

# WOOCOMMERCE QUERY TYPE FILTRI

#

# Primer:

# ?query_type_barva=

# =========================================================

Disallow: /*?*query_type_

# =========================================================

# CENOVNI FILTRI

# =========================================================

Disallow: /*?*min_price=
Disallow: /*?*max_price=

# =========================================================

# RATING / STOCK FILTRI

# =========================================================

Disallow: /*?*rating_filter=
Disallow: /*?*filter_stock_status=
Disallow: /*?*stock_status=

# =========================================================

# WORDPRESS SEARCH

#

# Search-result strani nimajo smisla za crawlerje.

# Dve obliki zato, da pokrijemo parameter na začetku

# in za drugimi query parametri.

# =========================================================

Disallow: /*?s=
Disallow: /*?*&s=
Disallow: /search/

# =========================================================

# SITEMAP

#

# Tukaj želimo, da Google, Bing, OAI-SearchBot itd.

# dobijo pravilen seznam pomembnih URL-jev.

# =========================================================

Sitemap: https://harmonija.net/sitemap_index.xml