Какво е “Web Scraping” и приложението му в бизнес софтуер

“Web scraping” - уеб извличането е техника, използвана за извличане на големи количества данни от интернет страници, чрез която данните се извличат и записват в локален файл на компютъра или на база данни в електронна таблица.

Данните на повечето сайтове могат да се видят само с помощта на уеб браузър. Те не предлагат възможност информацията да бъде записана за лична употреба. Ръчното копиране и поставяне на данни е трудоемка и досадна задача, която може да отнеме часове, дори дни.

Уеб извличането е техника на автоматизиране на този процес, така че вместо ръчно да копирате данните от уеб сайтове, софтуерът за уеб извличане ще изпълнява същата задача за кратко време.

Софтуерът за уеб извличане автоматично ще зареди и извлече данни от няколко страници на уеб сайтове на базата на вашите изисквания. Подобен софтуер може да бъде разработен за конкретна уеб страница или да бъде настроен да работи със всяка уеб страница. С помощта на подобна програма лесно може да запазите данните от уеб страницата на файл във вашия компютър.

Пример за уеб извличане е намиране и копиране в списък на имена и телефонни номера, или на имена на компании и техните уеб адреси.

Уеб извличането се използва за:

• интеграция на актуални уеб данни с други платформи;

• уеб индексиране

• извличане на определена информация от дадена уеб страница

• автоматизирано откриване на промени в  уеб съдържанието

• интернет проучвания и анализи

• следене за промяна в цените и сравняване на цени

• извличане на преглед на продукти за следене на конкуренцията

• събиране на обяви за недвижими имоти

• мониторинг на метеорологични данни

• проследяване на онлайн присъствие и репутация и др.