Edellisessä osiossa olemme ottaneet lyhyen esittelyn Apache Kafkasta, viestintäjärjestelmästä sekä suoratoistoprosessista. Täällä keskustelemme Kafkan peruskäsitteistä ja roolista.
Aiheet
Yleensä aihe viittaa tiettyyn otsikkoon tai nimeen, joka on annettu tietyille toisiinsa liittyville ideoille. Kafkassa sana aihe viittaa luokkaan tai yleisnimeen, jota käytetään tietyn tietovirran tallentamiseen ja julkaisemiseen. Periaatteessa Kafkan aiheet ovat samanlaisia kuin tietokannan taulukot, mutta ne eivät sisällä kaikkia rajoituksia. Kafkassa voimme luoda n määrän aiheita haluamallamme tavalla. Se tunnistetaan nimestään, joka riippuu käyttäjän valinnasta. Tuottaja julkaisee dataa aiheisiin, ja kuluttaja lukee tiedot aiheesta tilaamalla sen.
Väliseinät
Aihe on jaettu useisiin osiin, joita kutsutaan aiheen osioksi. Nämä osiot erotetaan järjestyksessä. Tietosisältö tallennetaan aiheen osioihin. Siksi aihetta luotaessa meidän on määritettävä osioiden määrä (luku on mielivaltainen ja sitä voidaan muuttaa myöhemmin). Jokainen viesti tallennetaan osioihin, joilla on inkrementaalinen tunnus, joka tunnetaan sen Offset-arvona. Järjestys offset-arvo on taattu vain osion sisällä, ei osion yli. Osion siirtymät ovat äärettömät.
Huomautus:Osioon kerran kirjoitettuja tietoja ei voi koskaan muuttaa. Se on muuttumaton. Offset-arvo pysyy aina inkrementaalisessa tilassa, se ei koskaan palaa tyhjään tilaan. Lisäksi tietoja säilytetään osiossa vain rajoitetun ajan.
Katsotaanpa esimerkkiä aiheen ja sen osioiden ymmärtämiseksi.
Oletetaan, että aihe, joka sisältää kolme osiota 0,1 ja 2. Jokaisella osiolla on eri offset-numerot. Tiedot jaetaan kunkin osion kunkin siirtymän kesken, jos osion 0 siirtymän 1 tiedoilla ei ole mitään yhteyttä osion 1 siirtymän 1 tietoihin. Mutta osion 0 siirtymän 1 tiedot liittyvät toisiinsa osion 0 siirtymän 2 sisältämien tietojen kanssa.
Välittäjät
Tässä tulee Apache Kafkan rooli.
Kafka-klusteri koostuu yhdestä tai useammasta palvelimesta, jotka tunnetaan välittäjinä tai Kafka-välittäjinä. Välittäjä on säilö, joka sisältää useita aiheita useilla osioillaan. Klusterin välittäjät tunnistetaan vain kokonaislukutunnuksella. Kafka-välittäjät tunnetaan myös nimellä Bootstrap-välittäjät koska yhteys yhteen välittäjään tarkoittaa yhteyttä koko klusteriin. Vaikka välittäjä ei sisällä koko dataa, mutta jokainen klusterin välittäjä tietää kaikista muista välittäjistä, osioista sekä aiheista.
Tältä välittäjä näyttää kuvassa, joka sisältää aiheen, jossa on n määrä osioita.
Esimerkki: Välittäjät ja aiheet
Oletetaan, että Kafka-klusteri koostuu kolmesta välittäjästä, nimittäin Broker 1, Broker 2 ja Broker 3.
Jokaisella välittäjällä on aihe, nimittäin Topic-x, jossa on kolme osiota 0,1 ja 2. Muista, että kaikki osiot eivät kuulu vain yhdelle välittäjälle, se jaetaan aina kunkin välittäjän kesken (riippuu määrästä). Välittäjä 1 ja välittäjä 2 sisältävät toisen aiheen-y, jossa on kaksi osiota 0 ja 1. Siten Välittäjä 3 ei sisällä mitään tietoja aiheesta-y. On myös päätelty, että välittäjänumeron ja osion numeron välillä ei ole koskaan yhteyttä.