python w warzywniaku. rozproszona kolejka zadań celery
DESCRIPTION
Marcin Mincer i Tomek KopczukTRANSCRIPT
![Page 1: Python w warzywniaku. Rozproszona kolejka zadań Celery](https://reader031.vdocuments.site/reader031/viewer/2022020803/5571fbb9497959916995a44f/html5/thumbnails/1.jpg)
5/7/2018 Python w warzywniaku. Rozproszona kolejka zadań Celery - slidepdf.com
http://slidepdf.com/reader/full/python-w-warzywniaku-rozproszona-kolejka-zadan-celery 1/16
Python w warzywniaku
rozproszona kolejka zadań Celery
(c) Blade Polska s.c.
![Page 2: Python w warzywniaku. Rozproszona kolejka zadań Celery](https://reader031.vdocuments.site/reader031/viewer/2022020803/5571fbb9497959916995a44f/html5/thumbnails/2.jpg)
5/7/2018 Python w warzywniaku. Rozproszona kolejka zadań Celery - slidepdf.com
http://slidepdf.com/reader/full/python-w-warzywniaku-rozproszona-kolejka-zadan-celery 2/16
Po co komu kolejka?
1. Możliwość uruchomienia wielu procesów workerów na
różnych maszynach.
2. Możliwość dodawania zadań do kolejki, aby wykonać je później.
3. Workery wykonują zadania z kolejki w miarę swoich
„możliwości”.
(c) Blade Polska s.c.
![Page 3: Python w warzywniaku. Rozproszona kolejka zadań Celery](https://reader031.vdocuments.site/reader031/viewer/2022020803/5571fbb9497959916995a44f/html5/thumbnails/3.jpg)
5/7/2018 Python w warzywniaku. Rozproszona kolejka zadań Celery - slidepdf.com
http://slidepdf.com/reader/full/python-w-warzywniaku-rozproszona-kolejka-zadan-celery 3/16
Zastosowania w aplikacji Django:
1.Wysyłanie e-maili.
2.Zmniejszanie obrazków, przygotowywanie miniaturek.
3.Skomplikowane i długie zapytania do bazy (raporty).
4.Podsumowując: wszystko, co trwa dłużej niż 1/3
sekundy (300 ms oczekiwania na odpowiedź aplikacji to już dość dużo).
(c) Blade Polska s.c.
![Page 4: Python w warzywniaku. Rozproszona kolejka zadań Celery](https://reader031.vdocuments.site/reader031/viewer/2022020803/5571fbb9497959916995a44f/html5/thumbnails/4.jpg)
5/7/2018 Python w warzywniaku. Rozproszona kolejka zadań Celery - slidepdf.com
http://slidepdf.com/reader/full/python-w-warzywniaku-rozproszona-kolejka-zadan-celery 4/16
Jak uruchomić:
$ pip install -U Celery($ pip install django-celery)
Instalacja brokera RabbitMQ
(c) Blade Polska s.c.
![Page 5: Python w warzywniaku. Rozproszona kolejka zadań Celery](https://reader031.vdocuments.site/reader031/viewer/2022020803/5571fbb9497959916995a44f/html5/thumbnails/5.jpg)
5/7/2018 Python w warzywniaku. Rozproszona kolejka zadań Celery - slidepdf.com
http://slidepdf.com/reader/full/python-w-warzywniaku-rozproszona-kolejka-zadan-celery 5/16
Broker:
1. Aplikacja, której zadaniem jest przechowywanie kolejki
zadań.
2. Udostępnia operacje dodania i pobrania zadania.
3. Odpowiada za przekazywanie wiadomości pomiędzy
procesami.
4. W naszym przypadku -- za rozdzielanie zadań
pomiędzy procesy workerów.
(c) Blade Polska s.c.
![Page 6: Python w warzywniaku. Rozproszona kolejka zadań Celery](https://reader031.vdocuments.site/reader031/viewer/2022020803/5571fbb9497959916995a44f/html5/thumbnails/6.jpg)
5/7/2018 Python w warzywniaku. Rozproszona kolejka zadań Celery - slidepdf.com
http://slidepdf.com/reader/full/python-w-warzywniaku-rozproszona-kolejka-zadan-celery 6/16
Jak uruchomić:
$ pip install -U Celery($ pip install django-celery)
Instalacja brokera RabbitMQ
$ celeryd
Stworzyć zadanie i je uruchomić
(c) Blade Polska s.c.
![Page 7: Python w warzywniaku. Rozproszona kolejka zadań Celery](https://reader031.vdocuments.site/reader031/viewer/2022020803/5571fbb9497959916995a44f/html5/thumbnails/7.jpg)
5/7/2018 Python w warzywniaku. Rozproszona kolejka zadań Celery - slidepdf.com
http://slidepdf.com/reader/full/python-w-warzywniaku-rozproszona-kolejka-zadan-celery 7/16
Jak uruchomić:
Stworzyć zadanie i je uruchomić:
(c) Blade Polska s.c.
![Page 8: Python w warzywniaku. Rozproszona kolejka zadań Celery](https://reader031.vdocuments.site/reader031/viewer/2022020803/5571fbb9497959916995a44f/html5/thumbnails/8.jpg)
5/7/2018 Python w warzywniaku. Rozproszona kolejka zadań Celery - slidepdf.com
http://slidepdf.com/reader/full/python-w-warzywniaku-rozproszona-kolejka-zadan-celery 8/16
Przyk ł ad wdrożenia, problem:
(c) Blade Polska s.c.
![Page 9: Python w warzywniaku. Rozproszona kolejka zadań Celery](https://reader031.vdocuments.site/reader031/viewer/2022020803/5571fbb9497959916995a44f/html5/thumbnails/9.jpg)
5/7/2018 Python w warzywniaku. Rozproszona kolejka zadań Celery - slidepdf.com
http://slidepdf.com/reader/full/python-w-warzywniaku-rozproszona-kolejka-zadan-celery 9/16
Przyk ł ad wdrożenia, problem:
(c) Blade Polska s.c.
![Page 10: Python w warzywniaku. Rozproszona kolejka zadań Celery](https://reader031.vdocuments.site/reader031/viewer/2022020803/5571fbb9497959916995a44f/html5/thumbnails/10.jpg)
5/7/2018 Python w warzywniaku. Rozproszona kolejka zadań Celery - slidepdf.com
http://slidepdf.com/reader/full/python-w-warzywniaku-rozproszona-kolejka-zadan-celery 10/16
Przyk ł ad wdrożenia, problem:
(c) Blade Polska s.c.
![Page 11: Python w warzywniaku. Rozproszona kolejka zadań Celery](https://reader031.vdocuments.site/reader031/viewer/2022020803/5571fbb9497959916995a44f/html5/thumbnails/11.jpg)
5/7/2018 Python w warzywniaku. Rozproszona kolejka zadań Celery - slidepdf.com
http://slidepdf.com/reader/full/python-w-warzywniaku-rozproszona-kolejka-zadan-celery 11/16
Przyk ł ad wdrożenia, rozwią zanie:
(c) Blade Polska s.c.
![Page 12: Python w warzywniaku. Rozproszona kolejka zadań Celery](https://reader031.vdocuments.site/reader031/viewer/2022020803/5571fbb9497959916995a44f/html5/thumbnails/12.jpg)
5/7/2018 Python w warzywniaku. Rozproszona kolejka zadań Celery - slidepdf.com
http://slidepdf.com/reader/full/python-w-warzywniaku-rozproszona-kolejka-zadan-celery 12/16
Przyk ł ad wdrożenia, rozwią zanie:
(c) Blade Polska s.c.
![Page 13: Python w warzywniaku. Rozproszona kolejka zadań Celery](https://reader031.vdocuments.site/reader031/viewer/2022020803/5571fbb9497959916995a44f/html5/thumbnails/13.jpg)
5/7/2018 Python w warzywniaku. Rozproszona kolejka zadań Celery - slidepdf.com
http://slidepdf.com/reader/full/python-w-warzywniaku-rozproszona-kolejka-zadan-celery 13/16
Przyk ł ad wdrożenia, rozwią zanie:
(c) Blade Polska s.c.
![Page 14: Python w warzywniaku. Rozproszona kolejka zadań Celery](https://reader031.vdocuments.site/reader031/viewer/2022020803/5571fbb9497959916995a44f/html5/thumbnails/14.jpg)
5/7/2018 Python w warzywniaku. Rozproszona kolejka zadań Celery - slidepdf.com
http://slidepdf.com/reader/full/python-w-warzywniaku-rozproszona-kolejka-zadan-celery 14/16
Przyk ł ad wdrożenia, rozwią zanie:
(c) Blade Polska s.c.
![Page 15: Python w warzywniaku. Rozproszona kolejka zadań Celery](https://reader031.vdocuments.site/reader031/viewer/2022020803/5571fbb9497959916995a44f/html5/thumbnails/15.jpg)
5/7/2018 Python w warzywniaku. Rozproszona kolejka zadań Celery - slidepdf.com
http://slidepdf.com/reader/full/python-w-warzywniaku-rozproszona-kolejka-zadan-celery 15/16
Bezwstydna wtyczka
(c) Blade Polska s.c.
![Page 16: Python w warzywniaku. Rozproszona kolejka zadań Celery](https://reader031.vdocuments.site/reader031/viewer/2022020803/5571fbb9497959916995a44f/html5/thumbnails/16.jpg)
5/7/2018 Python w warzywniaku. Rozproszona kolejka zadań Celery - slidepdf.com
http://slidepdf.com/reader/full/python-w-warzywniaku-rozproszona-kolejka-zadan-celery 16/16
www.askthe on .com
@askthe on
(c) Blade Polska s c