Metadata-Version: 2.1
Name: selector-standardization-beam
Version: 0.4.3
Summary: Data Standardization pipeline in Apache Beam for Selector project
Home-page: https://github.com/Code-for-Russia/selector-pipeline
Author: Nikita Zhiltsov
Author-email: mail@codeforrussia.org
License: UNKNOWN
Project-URL: Bug Tracker, https://github.com/Code-for-Russia/selector-pipeline/issues
Platform: UNKNOWN
Classifier: Programming Language :: Python :: 3
Classifier: License :: OSI Approved :: MIT License
Classifier: Operating System :: OS Independent
Requires-Python: >=3.7
Description-Content-Type: text/markdown
License-File: LICENSE

# Selector-standardation-beam

Apache beam пайплайн стандартизации:
- читает данные протоколов (например, хранящиеся на GCS)
- вызывает selector-standardizers в виде масштабируемого пайплайна (исполняемого как локально, так и, например, на Dataflow, Spark и тп.)
- сохраняет результат стандартизации в виде Avro.

> GOOGLE_APPLICATION_CREDENTIALS=/Users/nzhiltsov/airflow-installation/google-configs/carbide-program-314404-b1f3be733966.json

