Вот и до недвижимости добрались. Даже месяца не прошло. Gemini Agent решает задачу поиска квартиры на примере Zillow. Без MCP и каких-либо действий со стороны Zillow.
Ранее я писал, что бизнесу нужно решить, разрешать обрабатывать данные или нет.
Но, похоже, решение сводится к добавлению бота ChatGPT-User и его аналогов в правила robots.txt
Бегло чекнул ресурсы. Например, Amazon запрещает обучение на своих данных, а Zillow — нет. А Instagram заблокировал вообще все доступные на рынке модели.
Но никто из трех компаний не запретил ИИ-агентов. И это очень интересно.
Имхо для них уготована судьба Stack Overflow, который был добит LLM моделями.
Несмотря на то, что последняя миля находится у Amazon и Zillow, не они будут определять выбор клиента. А игнорировать такой удобный способ взаимодействия (в будущем) для юзера нельзя. Иначе трафик уйдет более сговорчивым ресурсам.
Тут не так много вариантов для нивелирования:
- Обзавестись такой же технологией, но это дорого.
- Принять новую реальность и договариваться
- Саботировать всей нишей ИИ агентов. В это я вообще не верю.
Ну и мякотка.
У Яндекса в документах написано, что YandexComBot просто игнорирует файл robots.txt, если «нет явного запрета». Что такое «явный запрет», нигде не описано. Обычно за него как раз отвечает файл robots.txt 😤
Вы, конечно, можете запретить индексацию. Но вам это не поможет. Только бан на уровне user-agent.
Оригинал в Telegram: https://t.me/segagridchin/61
