• Öğrenin
    • Eğitimler
    • Açık Eğitim Takvimi
    • Blog
    • Videolar
    • Kaynaklar
    Big Data Developer 101

    Big Data Developer 101

    Free
    Daha Fazlası
  • Bağlanın
    • Hakkımızda
    • Ekibimiz
    • İletişim
  • Etkinlikler
    • Bize Ulaşın
KomtasDigitalKomtasDigital
  • Öğrenin
    • Eğitimler
    • Açık Eğitim Takvimi
    • Blog
    • Videolar
    • Kaynaklar
    Big Data Developer 101

    Big Data Developer 101

    Free
    Daha Fazlası
  • Bağlanın
    • Hakkımızda
    • Ekibimiz
    • İletişim
  • Etkinlikler
  • Bize Ulaşın

Bıg Data

PRESTO NEDIR? FACEBOOK , NETFLIX NEDEN PRESTOYU TERCIH EDIYOR

  • Gönderen Zekeriya Beşiroğlu
  • Kategoriler Bıg Data
  • Tarih Ocak 5, 2018

presto-screenshot

Arkadaşlar Merhaba

Bugün size Big data Teknolojileri üzerinde Processing tarafındaki çok önemli bir teknolojiden bahsedeceğim. Daha önceki yazılarımda Hive ve Spark tan bu alanda bahsetmiştim.

Hive Analytics tarafında , Pig ETL tarafında , Spark Real Time Analytics , Machine Learning , streaming tarafında çok önemli oyuncular.

Presto is Interactive Data&Ad/hoc anlamında ön plana çıkıyor.  Prestoda %100 open source , Facebook tarafından geliştirilmiş bir distributed sql  query engine diyebiliriz. Prestonun gigabyte tan petabytelarca seviyeye kadar inanılmaz başarılı çalıştığını görüyoruz. Prestonun bir önemli özelliğide cross platform query yapabilmesi bu özelliği sayesinde sadece Hadoop ortamı değil örneğin mysql ,teradata,cassandra , oracle , kafka ve mongodb gibi. Tek Presto Query si ile bu farklı sourceları process edebiliyorsunuz. Data exploration tarafında da çok güçlü bir ürün.

Hive metastore u ile entegre  Ansi SQL sayesinde çok kolay ve özellikle group by gibi , join+group by gibi querylerde hive a göre daha iyi kaldığını görüyoruz. Dim fact joinlerde yine Prestonun çok başarılı olduğunu görüyoruz. Vertica ya çok ciddi alternatif olarakda düşünebiliriz. Yanılmıyorsam Uber , interactive query tarafında verticadan migrate etti ve inanılmaz memnun kaldığını dile getiriyor. Netflix kendi use case inde günde 3500 queryin yaklaşık %90 dan fazlasında 1 dakikanın altında sonuç aldığını görüyoruz.

Prestoyu facebook nasıl kullanıyor derseniz , facebook prestoyu warehouse tarafındaki ad-hoc/interactive querylerde yine warehouse tarafındaki batch processlerde kullanıyorlar. Tabi birde concurrent querylerde yarattığı büyük avantajdan bahsetmek lazım.

Prestonun production tarafındaki çıktılarına baktığımızda Facebooktaki 100 den fazla nodes 300 PB data 1000 üzerinde internal active users ve 10 ile 100 arası concurrent queryler görüyoruz.

Prestonun dünyadaki başlıca kullanıcıları arasında Facebook , Netflix,airbnb ,dropbox , uber , linkedin , twitter olduğunu söylemek lazım. Bu kullanıcılar aynı zamanda contributer.

Hive connectoru  Text, SequenceFile, RCFile, ORC ve Parquet formatları desteklemesi bizim açımızdan büyük avantaj oluşturuyor.

Tek Prosto querysi ile hive ile Mysql database nasil join edebilirim?

MYSQL database Users tablomuz olsun

Hive da Stream isminde tablomuz olsun.

prestoya bağlanalım.

$ ./presto –server localhost:8080

presto:default> SELECT u.country, COUNT(*) AS cnt
-> FROM hive.stream s
-> JOIN mysql.user u
-> ON s.userid = u.userid
-> GROUP BY u.country
-> ORDER BY cnt DESC
-> LIMIT 3;
country | cnt
—————-+———
United States | 7321348
Germany | 4986544
Turkey| 2233434

Selamlar

  • Paylaş:
author avatar
Zekeriya Beşiroğlu

Önceki yazı

YENI NESIL DATAWAREHOUSE . APACHE HIVE LLAP ILE ÇOK DAHA HIZLI INTERACTIVE QUERY , IMPALA MI HIVE MI?
Ocak 5, 2018

Sonraki yazı

DATA LAKE NEDIR ?
Şubat 14, 2018

Şunları da sevebilirsiniz

BÜYÜK VERI ILE YENI TRENDLER
1 Ekim, 2018
YENI HADOOP 3.1 VE HORTONWORKS DATA PLATFORM 3.0 ÖNEMLI ÖZELLIKLER
12 Eylül, 2018
DATA LAKE NEDIR ?
14 Şubat, 2018

Kategoriler

  • Bıg Data
BAĞLANIN

Hakkımızda
Ekibimiz
İletişim

ÖĞRENİN

Eğitimler
Açık Eğitim Takvimi
Blog
Videolar
Kaynaklar

İLETİŞİM

  info@komtasdigital.com
  +90 216 559 40 00
  +90 212 288 47 30
  Barbaros Mh. Ağaoğlu My Prestige Sarkaç Sk. No:1 Kat:1 Bölüm 146/A Ataşehir İstanbul

Linkedin-in Youtube

Komtaş © 2019