Исходники парсера файлов robots.txt оказались в свободном доступе

Исходники парсера файлов robots.txt оказались в свободном доступе

Поисковик опубликовал на GitHub программные исходники парсера файлов robots.txt. В их состав входят библиотеки анализатора, написанные на C++. Они используются для парсинга и идентификации правил, указанных в robots.txt.

В посте, размещенном в Webmaster Central Blog, отмечается, что основной код библиотек парсера был написан больше двадцати лет назад. Но остальная часть исходников неоднократно модифицировалась. Все эти изменения также были добавлены в версию парсера, которую Google предоставил IETF для присвоения ему статуса интернет-стандарта.

В исходниках на GitHub также имеется специальный инструмент для тестирования. С его помощью веб-разработчики могут поэкспериментировать с различными настройками парсера.

Источник webformyself.com