Информационная система по сбору «больших данных» из различных источников для использования их в расчетах индекса потребительских цен и статистики торговли

Главное о кейсе

- В результате выполнения работ внедрена в промышленную эксплуатацию ИС БД из альтернативного источника данных ККТ с применением технологий обработки больших данных получаемых на регулярной основе от ФНС России, позволяющая проводить статистические исследования
- Автоматизирован сбор статистики, минимизирован ручной труд и необходимость привлечения дополнительных ресурсов для формирования первичных данных.


Results:
- As a result of the work performed, a BD IS from an alternative source of CRE data was put into commercial operation, using big data processing technologies received on a regular basis from the Federal Tax Service of Russia, which allows to conduct statistical studies
- Collection of statistics was automated, minimizing the manual work and the need to attract additional resources for the formation of primary data

Бизнес-задача и ее решение

Цели проекта:
- Повышение полноты и качества показателей статистики потребительских цен и розничной торговли путем обогащения первичных данных за счет внедрения автоматизированного мониторинга данных фискальных чеков с применением алгоритмов bigdata
- Снижение нагрузки на отчитывающихся респондентов
- Сокращение ручного труда по сбору информации о ценовых котировках
- Обеспечение возможности передачи во внешние информационные системы альтернативных данных в объеме настраиваемых выборок
- Апробирование применения технологий больших данных с перспективой их использования в других направлениях статистики


Project Objectives:

- Improve the completeness and quality of consumer price and retail statistics by enriching primary data through the implementation of automated monitoring of fiscal check data using bigdata algorithms
- Reducing the burden on the reporting respondents
- Reducing manual labor to collect information on price quotes
- Enabling the transfer to external information systems of alternative data in the amount of customizable samples
- Testing the use of big data technology with a view to its use in other areas of statistics

Для достижения этих целей были выполнены:
- Обследование объекта автоматизации
- Разработка технического проекта и рабочей документации
- Разработка частных технических заданий
- Поставка аппаратных и базовых программных средств ИС БД
- Разработка ИС БД
- Ввод в действие ИС БД включая предварительные испытания, опытную эксплуатацию и приемочные испытания.

In order to achieve these objectives, the following steps have been taken:

- Survey of the automation object
- Development of technical project and working documentation
- Development of specific technical specifications
- Supply of hardware and basic software for the database IS
- Development of database AS
- Commissioning of the database AS including preliminary testing, trial operation and acceptance testing.

Прочая информация о кейсе

Федеральная служба государственной статистики (Росстат) осуществляет сбор, формирование и публикацию официальной статистической информации, в том числе по статистике в сфере розничной торговли и потребительских цен в соответствии с Федеральным планом статистических работ, утвержденным постановлением Правительства Российской Федерации от 6 мая 2008 г. № 671-р (с последующими изменениями и дополнениями), а также Производственным планом Росстата.
Появление новых источников данных (например, данные операторов сотовой связи, данные контрольно-кассовой техники (ККТ), транзакционные данные, в том числе данные по операциям через платежные системы) предоставляют возможности по использованию дополнительных сведений при формировании или дополнении показателей статистического учета.
Поэтому был так важен запуск в промышленную эксплуатацию Информационной системы по сбору «больших данных» (big data) (ИС БД) из различных источников для использования их в расчётах индекса потребительских цен и статистики торговли.

Federal State Statistics Service (Rosstat) collects, compiles and publishes official statistical information, including retail trade and consumer price statistics in accordance with the Federal Statistical Work Plan, approved by RF Government Regulation No. 671-r of May 6, 2008 (as amended and supplemented) and Rosstat Production Plan.
The emergence of new data sources (e.g. data of mobile network operators, data of cash register equipment (CRE), transactional data, including data on transactions through payment systems) provide opportunities for using additional information in forming or supplementing statistical records indicators.
That is why it was so important to put into commercial operation the Information system for collecting "big data" (IS BD) from various sources for their use in calculations of the consumer price index and trade statistics.

Скриншоты