• Erlang dili ile gelisitirilmistir. Erlang, yogun concurrent islem yapilan, distributed sistemler icin tasarlanan bir dildir. 
• 2007 yilinda open source olarak yayinlanmistir.
• Cross platform destekler.
• Bir cok dil icin destegi vardir.
• Anlisilir bir arayuze sahiptir.
• Guzel bir dokumantasyonu vardir.

RabbitMQ temel bilesenleri ve calisma mantigi en temel haliyle Sekil 1’deki gorselden anlasilabilir. Ozetle publisher tarafindan gonderilen mesaji, exchange ilgili queue ya iletir ve o kuyrugu dinleyen consumer tarafindan alip islenir.

Publisher/Producer

RabbitMQ ya mesajlari gonderen taraftir. Mesaj gonderilirken set edilen bazi bilgiler :

• Exchange = Bu mesaji yonlendirecek exchange bilgisi
• Rounting Key = Hangi queulara iletilecegini belirten yonlendirme anahtari
• Content Type = Icerik turu, json payload olan mesajlar icin application/json olarak set edilmelidir.
• Mandatory = Default olarak “false” set edilir. Gonderilmek istenen mesaj bir sebepten dolayi kuyruga yonlendirilemediginde discard edilir. Eger bu alan “true” olarak set edilirse. Mesaj bir kuyruga yonlendirilemediginde, mesaj geri dondurulur.

Bir mesajin RabbitMQ tarafindan basariyla kabul edildiginden emin olmak icin “confirm.select(Publisher confirms)” mekanizmasi kullanilir. Mesaj gonderildikten sonra, brokerdan Positive Ack(mesaji aldim) bilgisi donerse islem basarilidir. Eger Negative Ack(mesaji alamadim) donerse, loglama veya yeniden gondermeye calisma gibi islemler yapilabilir.

*Producer baglantilari genellikle uygulama ayaga kalkarken acilir ve uygulama calistigi surece yasarlar. Tek bir mesaj yayinlamak icin baglanti acma/kapama dogru bir yaklasim degildir.

Exchange

Gelen mesajlari, iclerindeki routing key ve exchant tipi bilgilerine gore ilgili kuyruklara yonlendiren aractir. 4 adet exchange tipi vardir.

Direct Exchange =Default exchange tipidir. Mesajlar yalnizca routung ile tam olarak eslesen binding keye sahip olan kuyruklara iletilir. Mesajlarin tek bir kuyruga yonlendirilmesi icin idealdir fakat birden cok kuyruga yonlendirmek icin de kullanilabilir.

Sekil 2’deki ornekte 3 farkli routing keyi olan mesaj exchange ‘e gonderilmistir. Exchange yalnizca routing key ile birebir eslesen kuyruklara mesajlari iletmistir. Hatta M1 mesaji iki ayri kuyruga gonderilmistir. Sizin de farkedeceginiz uzere M3 mesajinin keyi birebir eslesmedigi icin herhangi bir kuyruga iletilemedi.

Fanout Exchange = Mesajlar routing keylerine bakilmadan, bu exchange’e bagli tum kuyruklara iletilir. N adet kuyruk bu exchange’e bagliysa, yeni bir mesaj gonderildiginde N tane kuyruga iletilir.

Sekil 3’deki ornekte 2 farkli mesaj exchange’e gonderilmistir. Exchange routing keye bakmadan gelen mesajlari tum kuyruklara iletmistir.

Topic Exchange = En cok tercih edilen exchange tipidir. Mesajlar routing keylerine bakilarak, routing patterni ile eslesen kuyruklara iletilir.

Sekil 4’deki ornekte 2 farkli mesaj exchange’e gonderilmistir. Exchange routing keylere bakti ve M1 mesaji, patternlerine uydugu icin 2 ayri kuyruga iletildi. Fakat M2 mesaji hic bir patterne uymadigi icin iletilemedi.

Header Exchange = Mesajlar header bilgileri icerisindeki ozellikleri ile “x-match” keyi ile eslesen kuyruklara iletilirler. Cok fazla kullanilan bir exchange tipi degildir.

Queue

Kendisine gelen mesajlari dogru bir sekilde consumerlara dagitmaya yarayan aractir. Bir queue tanimlanirken set edilebilen bazi ozellikler:

• Durability = Kuyruk hakkindaki bilgilerin nerede tutulacaginin ve broker restart oldugunda da kuyrugun kaldigi yerden hayatina devam edip etmeyecegi kararinin verildigi ozelliktir. Durable/Transient olmak uzere iki secenek vardir. Default olarak durable secilidir, kuyruk bilgileri diskte tutulur ve broker restart olsa dahi kuyruk kaybolmaz. Transient de ise ram de saklanir.
• Exclusivity = Yalnizca bir connection icin kullanilir ve baglanti kapandiginda silinir.
• Auto-delete = Kuyrugu dinleyen consumer yoksa kuyruk otomatik olarak silinir.
• Args = Optional olarak set edilirler. Kullandigimiz bir kacina bakalim.
  • Time to live and expiration(TTL) = Bu ozellik ile kuyruktaki mesajlarin belirtilen sure bittikten sonra kuyruktan otomatik silinmesi saglanir. TTL kuyruga veya mesaja set edilebilir.
  • Dead Letter Exchange(DLX) = Consumer tarafindan Nack ve requeue=false olarak isaretlenen bir mesajin, TTL suresi dolup kuyruktan silinen bir mesajin veya kuyrugun uzunluk limiti asildigi icin drop edilen bir mesajin baska bir kuyruga yonlendirilmesini saglayan ozelliktir.

DLX nedir daha iyi anlamak icin daha once tanimlanan kuyrugu inceleyelim. Sekil 5’de kuyruga dusen mesaj, 25 saniye sonra bu kuyruktan silinecek ve “Merchant-Exchange” icerisindeki, binding keyi “Test.Deneme.CreatedEvent_TryAgain” olan kuyruga iletilecek.

Consumer

Kuyruklari dinleyip, gelen mesajlari islemeye yarayan aractir. Consumerlar kuyruklari dinlemeye baslarken Acknowledgement modu set edilir.

• Automatic = Mesaji kuyruktan silmek icin consumerdan onay beklemez. Fire and forget seklinde calisir.
• Manuel = Mesaji kuyruktan silmek icin consumerdan onay bekler. Consumer mesaji isledikten sonra herhangi bir hata almazsa RabbitMQ ya positive ack bilgisini gonderir ve mesaj kuyruktan silinir. Islem sirasinda bir hata alirsa RabbitMQ ya negative ack bilgisini ve mesaji yeniden kuyruga gonderilip gonderilmeyecegi bilgisini gonderir.
  

channel.basicAck(deliveryTag, true); //Positive ack bilgisini gonderir ve mesaj kuyruktan silinir.

** Nack ve reject arasindaki fark; reject yalnizca bir mesaj icin calisabiliryorken, nack birden fazla mesaj icin calisabilir.

channel.basicReject(deliveryTag, true); //Negative ack ve mesaji yeniden kuyruga al bilgisini gonderir.

channel.basicReject(deliveryTag, false); //Negative ack ve mesaji yeniden kuyruga alma,sal gitsin bilgisini gonderir.

channel.basicNack(deliveryTag, true, true); //Negative ack ve bu de

Ansible; host ve playbook dosyaları üzerinden çalışır. Host dosyası içerisinde işlem yapacağımız makineleri tutarız. Playbooklar ise karmaşık işlemleri yaptığımız yaml formatındaki dosyalardır. Playbook içerisinde host dosyasında grupladığımız 10 tane makineyi önce güncelle, ardından hepsine elasticsearch yükle tadında işlemleri yazarız.

Ansible ile tüm alt yapımızı kod olarak yazabilir(Infrastrucute as Code) ve bunu bir git reposunda saklayabiliriz. Bu sayede hatalı kurulum vs gibi işlemlerdeki hata oranını da minimize etmiş oluruz.

Benim de ansible ile çok fazla tecrübem yok açıkcası. Çalıştığım firmada ansible ile elasticsearch clusterı kurmam gerekiyordu, araştıra araştıra izleye izleye kurmayı başardım. Adım adım sizlerle beraber de kuracağız. 

Demo ortamı hazırlanması :

Öncelikle daha sonraki çalışmalarda da kullanabileceğim bir demo ortamı oluşturarak işe başladım. Bunun için kendi bilgisayarımda sanal makineler oluşturdum.

• https://www.virtualbox.org/ adresinden virtualbox’ı indiriniz.
• https://www.osboxes.org/centos/ adresinden son Centos sürümü yüklü hazır imajı indiriniz.(İstediğiniz başka bir os de indirebilirsiniz.)

• Aynı şekilde target1,target2,target3 adında 3 adet vm daha çoğaltıyoruz. Oluşturduğumuz tüm makinelerin şifresi: osboxes.org olarak set edilmiştir.

• Son adım olarak ansible-controller makinesine ansible’ı yükleyeceğiz. ansible-controller makinesine bağlanarak, terminal üzerinden aşağıdaki komutu çalıştırmamız yeterli olacaktır.

sudo yum install ansible

Host dosyasının hazırlanması :

• Klonladığımız tüm makinelere bağlanarak ip’lerini alıyoruz ve onu bir yere yazıyoruz.(Daha sonra localden ssh yapmak için de kullanacağız.)

ifconfig

• Şimdi ansible-controller makinesine localden ssh yapıp, elastic kurulumu için bir klasör oluşturacağız ve host bilgilerini(daha önce ip’leri yazmıştık) tutan dosyayı hazırlayacağız.

Playbook dosyasının hazırlanması :

• ansible-controller makinesinde içerisinde bulunduğumuz klasör(elastic-installation) içerisinde roles adında bir klasör oluşturuyoruz.
• Ardından bu klasör içerisinde ansible-elasticsearch reposunu çekiyoruz.

mkdir roles
cd roles
git clone https://github.com/elastic/ansible-elasticsearch.git

• elastic-installation klasörü içerisnde playbook.yml adında bir dosya oluşturup içerisine aşağıdaki yaml formatındaki kodları yazıyoruz.

- name: Install Elasticsearch Master Node
  hosts: Elasticsearch-Master-Nodes #inventory dosyasında verdiğimiz node ismi
  roles:
    - role: ansible-elasticsearch
  vars:
    es_heap_size: "1g"
    es_config:
      cluster.name: "Test-cluster"
      cluster.initial_master_nodes:
        - "Test-Master-Node"
      node.name: "Mpl-Prod-Master-Node"
      discovery.zen.ping.unicast.hosts: "172.26.83.178" #master node ip
      discovery.zen.minimum_master_nodes: 1
      http.port: 9200
      transport.tcp.port: 9300
      network.host: "0.0.0.0" #{{ansible_host}}
      node.data: false
      node.master: true
      bootstrap.memory_lock: false
    es_plugins:
      - plugin: analysis-icu

- name: Install Elasticsearch Data Nodes
  hosts: Elasticsearch-Data-Nodes #inventory dosyasında verdiğimiz node ismi
  roles:
    - role: ansible-elasticsearch
  vars:
    es_heap_size: "1g"
    es_data_dirs:
      - "/opt/elasticsearch"
    es_config:
      cluster.name: "Test-cluster"
      node.name: "Test-Data-Node"
      discovery.zen.ping.unicast.hosts: "172.26.83.178" #master node ip
      discovery.zen.minimum_master_nodes: 1
      http.port: 9200
      network.host: "0.0.0.0" #{{ansible_host}}
      transport.tcp.port: 9300
      node.data: true
      node.master: false
      bootstrap.memory_lock: false
    es_plugins:
      - plugin: analysis-icu

• Şu an yüklemeyi başlatmak için tüm dosyalarımız hazır. Ansible host dosyasındaki makineler bağlanırken ssh kullanır. Bunu rahat yapabilmesi için aşağıdaki dosyada “host_key_checking=false” config ayarını da yapmalıyız.

sudo vi /etc/ansible/ansible.cfg

Çalıştırmamız gereken tek bir komut kaldı. Sonrasında arkanıza yaslanıp ekrandaki kayan logları okuyabilirsiniz

ansible-playbook playbook.yml -i inventory.txt

Kodları aşağıdaki repodan indirebilirsiniz :
https://github.com/kbylmz/ansible-elasticsearch/tree/master

Hata Mesajı = Error response from daemon: Get https://registry-1.docker.io/v2 : unauthorized: incorrect username or password

Hatanın çözümü için yalnızca “docker logout” yazmanız yeterli. Ardından aynı image’ı pull ettiğinizde bir sıkıntı olmayacaktır.

hello-world image’ı için çözümü adım adım sizler de görebilirsiniz

Hata Mesajı = Unable to create: The running command stopped because the preference variable “ErrorActionPreference” or common parameter is set to Stop: Hyper-V encountered an error trying to access an object on computer ‘HOST-NAME’ because the object was not found. The object might have been deleted. Verify that the Virtual Machine Management service on the computer is running.

Hatanın çözümünü adım adım sizlerle paylaşıyorum:

1 – Windows Güvenliği açınız.

2 – Windows Güvenlik menüsündeki “Uygulama ve tarayıcı denetimi” tıklayınız.

3 – Ekranın alt tarafındaki “Exploit protection ayarları” tıklayınız.

4 – Açılan ekrandaki “Program ayarları” seçiniz.

5 – Program ayarlarındaki C:\WINDOWS\System32\vmcompute.exe” üzerine tıklayınız ve düzenleyi seçiniz.

7 – Açılan menüdeki program ayarlarından  “Denetim Akış Koruması (CFG)” altındaki “Sistem ayarlarını geçersiz kıl” seçeneğinin “unchecked” olarak işaretleyiniz.

8 – Powershell açarak “net start vmcompute” komutunu yazınız.

Bu işlemleri yaptığımda ben bir daha bu hatayı almadım. Umarım sizin probleminiz de çözülür.