в 1994 году заработала одна из первых метапоисковых систем в Интернете — движок WebCrawler
Автором WebCrawler был Брайан Пинкертон из университета Вашингтона.
WebCrawler стал первым движком в Интернете, который осуществлял полнотекстовый поиск. Иными словами, он осуществлял поиск документа в базе данных текстов на основании содержимого этих документов.
Помимо этого, это движок осуществлял еще и поиск изображений, аудио-, видео файлов, новостей, а также рекламных объявлений.
Тут надо понимать, что хотя в 1994 году Интерне смотрелся еще весьма бледно, в нем уже содержалась масса информации, и именно WebCrawler стал тем «золотым ключиком», который дал пользователям возможность получить к ней доступ еще задолго до этих наших Yahoo! и Google.
В 1995 году WebCrawler купила America Online, а в 2001 году он достался InfoSpace.
Несмотря на почтенный возраст этот движок по-прежнему является действующим. Он работает совместно с Bing Search, Ask.com, About.com, MIVA и LookSmart.
По состоянию на 2010 год WebCrawler был 753-м по популярности сайтом в США и 2994-м — в мире.
