{"componentChunkName":"component---src-templates-blog-post-js","path":"/kafka-sink/","result":{"data":{"markdownRemark":{"html":"

Introdução

\n

No último artigo foi mostrado como é possível a partir de uma fonte de dados externa, alimentar um tópico do Kafka através do Kafka Source. Agora será visto como podemos fazer a operação inversa onde as informações de um tópico alimentarão uma fonte de dados externa através do Kafka Sink, nesse exemplo será usado o banco de dados não relacional MongoDB.

\n

Kafka Sink

\n

Como foi visto no artigo passado o Kafka Source é uma ferramenta open source criado pela Apache, essa ferramenta facilita a comunicação em sistemas externos ao Kafka, com isso conseguimos trazer dados de fontes externas e o oposto também pode ocorrer graças ao Kafka Sink, que realiza essa operação de sink (escoar) para sistemas externos.

\n

Data Mountaineer

\n

O Data Mountaineer é uma empresa com foco em BigData e streaming de dados que se juntou com a Landoop e fornece o connector que se liga ao Kafka Connect e realiza a operação de Sink que nesse caso será com o MongoDB.

\n

Projeto

\n

O projeto consistirá na configuração de um connector que irá receber mensagens de um tópico do Kafka e irá salvar essas informações no MongoDB, também será criado um projeto Java que estará conectado ao banco de dados e irá expor via API REST os dados para consulta.

\n

Focando na parte que será apresentada temos um desenho do fluxo:

\n

\n \n \n

\n

Onde podemos ver de forma resumida o fluxo de dados que começa com o banco de dados MySQL, onde as alterações são capturadas pelo Debezium e através do Kafka Connect são enviadas ao broker do Kafka e também via Kafka Connect os dados são consumidos de um tópico e enviados ao Data Mountaineer e serão inseridos no MongoDB.

\n

Adicionando o Mongo ao Docker Compose

\n

É necessário adicionar o MongoDB ao docker-compose como abaixo:

\n
  mongo:\n    image: mongo\n    container_name: mongo\n    depends_on: \n    - kafka-cluster    \n    ports:\n      - 27017:27017\n    networks: \n      - kafka-network
\n

Acessando o MongoDB

\n

Vamos acessar o MongoDB via terminal:

\n
docker exec -it mongo mongo
\n

E vamos acessar a collection taxpayer:

\n
use taxpayer
\n

Configurando Kafka Sink

\n

Para configurar o Kafka Sink basta acessar novamente o dashboard, através da imagem landoop/kafka-lenses-dev e clicar em Connectors no lado esquerdo e depois no botão New Connector.

\n

\n \n \n

\n

Será exibida a tela com os conectores disponíveis e entre eles o conector do MongoDB basta clicar nele que será aberta a tela para inserir as configurações.

\n

\n \n \n

\n

Nessa tela iremos inserir as seguintes configurações:

\n
connector.class=com.datamountaineer.streamreactor.connect.mongodb.sink.MongoSinkConnector\nconnect.mongo.kcql=UPSERT INTO taxpayer SELECT after FROM irs-conn.decider.complaint_taxpayer PK after.document;UPSERT INTO taxpayer SELECT after FROM irs-conn.decider.defaulted_taxpayer PK after.document\nconnect.mongo.connection=mongodb://mongo:27017\ntasks.max=2\ntopics=irs-conn.decider.complaint_taxpayer,irs-conn.decider.defaulted_taxpayer\nname=mongo\nconnect.mongo.db=taxpayer
\n

Vamos bater ponto a ponto essa configuração:

\n\n

Após clicar em Create Connector a nova conexão deve ser listada como mostrado abaixo:

\n

\n \n \n

\n

Monitorando o MongoDB

\n

Agora podemos realizar alterações no MySQL e elas serão enviadas para os tópicos correspondentes e serão capturadas pelo Kafka Sink e enviadas ao MongoDB:

\n
> db.taxpayer.find().pretty()\n{\n        \"_id\" : \"890.955.180-19\",\n        \"after\" : {\n                \"document\" : \"890.955.180-19\",\n                \"email\" : \"teste@teste.com\",\n                \"name\" : \"Sandra Nair Sueli Ribeiro\",\n                \"status\" : \"DEFAULTED\"\n        }\n}\n{\n        \"_id\" : \"869.097.474-10\",\n        \"after\" : {\n                \"document\" : \"869.097.474-10\",\n                \"email\" : \"fake@fake.com.br\",\n                \"name\" : \"Joao Alface\",\n                \"status\" : \"COMPLAINT\"\n        }\n}
\n

Projeto Java

\n

Para iniciar o projeto foi utilizado o Spring Initializr onde foi adicionado as dependências de Web, Lombok e Spring Data Mongo.

\n

Iniciando pelo domínio dessa aplicação temos a Taxpayer:

\n
@Data\n@Builder\npublic class Taxpayer {\n\n    private String document;\n    private String email;\n    private String name;\n    private String status;\n\n}
\n

E nos casos de uso dessa aplicação queremos que seja possível buscar os Taxpayers pelo número de documento, email e listar todos. Para isso foi criado a classe SearchTaxpayer:

\n
@Component\npublic class SearchTaxpayer {\n\n    private final TaxpayerRepository taxpayerRepository;\n\n    @Autowired\n    public SearchTaxpayer(TaxpayerRepository taxpayerRepository){\n        this.taxpayerRepository = taxpayerRepository;\n    }\n\n    public Taxpayer searchByEmail(String email){\n        final Optional<Taxpayer> optionalTaxpayer = taxpayerRepository.findByEmail(email);\n\n        if(!optionalTaxpayer.isPresent()){\n            throw new TaxpayerNotFoundException(\"Taxpayer not found\");\n        }\n\n        return optionalTaxpayer.get();\n    }\n\n    public Taxpayer searchByDocument(String document){\n        final Optional<Taxpayer> optionalTaxpayer = taxpayerRepository.findByDocument(document);\n\n        if(!optionalTaxpayer.isPresent()){\n            throw new TaxpayerNotFoundException(\"Taxpayer not found\");\n        }\n\n        return optionalTaxpayer.get();\n    }\n\n    public List<Taxpayer> findAll(){\n        return taxpayerRepository.findAll().get();\n    }\n}
\n

Para ela funcionar é necessário criar a classe TaxpayerRepository que nada mais é que a interface que servirá como port no conceito de ports and adapters:

\n
public interface TaxpayerRepository {\n\n    Optional<Taxpayer> findByEmail(String email);\n\n    Optional<Taxpayer> findByDocument(String document);\n\n    Optional<List<Taxpayer>> findAll();\n}
\n

E agora criamos o nosso Adapter para ele, mas primeiro faremos as configurações que o MongoDB necessita, primeiro criando a nossa entidade de banco de dados:

\n
@Data\n@Document(collection = \"taxpayer\")\npublic class TaxpayerEntity {\n\n    @Id\n    private String id;\n\n    private After after;\n}
\n
@Data\npublic class After {\n\n    private String document;\n    private String email;\n    private String name;\n    private String status;\n\n}
\n

Como estamos usando Spring Data o trabalho é muito simplificado bastando criar uma interface que estenda de MongoRepository:

\n
public interface MongoTaxpayerRepository extends MongoRepository<TaxpayerEntity, String> {\n\n    Optional<TaxpayerEntity> findByAfter_Email(String email);\n\n    Optional<TaxpayerEntity> findByAfter_Document(String document);\n}
\n

Agora criamos o Adapter implementando a TaxpayerRepository:

\n
@Component\npublic class MongoTaxpayer implements TaxpayerRepository {\n\n    private final MongoTaxpayerRepository mongoTaxpayerRepository;\n\n    @Autowired\n    public MongoTaxpayer(MongoTaxpayerRepository mongoTaxpayerRepository){\n        this.mongoTaxpayerRepository = mongoTaxpayerRepository;\n    }\n\n    @Override\n    public Optional<Taxpayer> findByEmail(String email) {\n\n        final Optional<TaxpayerEntity> optionalTaxpayerEntity = mongoTaxpayerRepository.findByAfter_Email(email);\n\n        if(!optionalTaxpayerEntity.isPresent()){\n            return Optional.empty();\n        }\n\n        final After after = optionalTaxpayerEntity.get().getAfter();\n\n        return Optional.of(Taxpayer.builder().name(after.getName()).document(after.getDocument()).email(after.getEmail()).status(after.getStatus()).build());\n    }\n\n    @Override\n    public Optional<Taxpayer> findByDocument(String document) {\n\n        final Optional<TaxpayerEntity> optionalTaxpayerEntity = mongoTaxpayerRepository.findByAfter_Document(document);\n\n        if(!optionalTaxpayerEntity.isPresent()){\n            return Optional.empty();\n        }\n\n        final After after = optionalTaxpayerEntity.get().getAfter();\n\n        return Optional.of(Taxpayer.builder().name(after.getName()).document(after.getDocument()).email(after.getEmail()).status(after.getStatus()).build());\n    }\n\n    @Override\n    public Optional<List<Taxpayer>> findAll() {\n\n        final List<TaxpayerEntity> taxpayerEntityList = mongoTaxpayerRepository.findAll();\n\n        if(null == taxpayerEntityList || taxpayerEntityList.isEmpty()){\n            return Optional.empty();\n        }\n\n        final List<Taxpayer> taxpayerList = taxpayerEntityList.stream().map(taxpayerEntity -> {\n            final After after = taxpayerEntity.getAfter();\n\n            return Taxpayer.builder().name(after.getName()).document(after.getDocument()).email(after.getEmail()).status(after.getStatus()).build();\n        }).collect(Collectors.toList());\n\n        return Optional.of(taxpayerList);\n    }\n}
\n

Com o adaptador criado vamos criar o controller que irá receber as requisições REST e delegar para a classe SearchTaxpayer:

\n
@RestController\n@RequestMapping(\"/taxpayer\")\npublic class TaxpayerController {\n\n    @Autowired\n    private SearchTaxpayer searchTaxpayer;\n\n    @GetMapping\n    public ResponseEntity<List<Taxpayer>> getAllTaxpayers(){\n        return ResponseEntity.ok(searchTaxpayer.findAll());\n    }\n\n    @GetMapping(\"document\")\n    public ResponseEntity<Taxpayer> getTaxpayerByDocument(@RequestParam(\"document\") String document){\n        return ResponseEntity.ok(searchTaxpayer.searchByDocument(document));\n    }\n\n    @GetMapping(\"email\")\n    public ResponseEntity<Taxpayer> getTaxpayerByEmail(@RequestParam(\"email\") String email){\n        return ResponseEntity.ok(searchTaxpayer.searchByEmail(email));\n    }\n\n}
\n

Após subir a aplicação e fazendo uma requisição para url localhost:8080/taxpayer/ teremos como resultado:

\n
[\n    {\n        \"document\": \"890.955.180-19\",\n        \"email\": \"teste@teste.com\",\n        \"name\": \"Sandra Nair Sueli Ribeiro\",\n        \"status\": \"DEFAULTED\"\n    },\n    {\n        \"document\": \"1234567890\",\n        \"email\": \"fake@fake.com.br\",\n        \"name\": \"Joao Alface\",\n        \"status\": \"COMPLAINT\"\n    }\n]
\n

Conclusão

\n

Aqui vimos a outra ponta do Kafka Connect, o Kafka Sink e foi apresentado um exemplo prático de como podemos ter bases ou até mesmo aplicações que podem receber dados através de streams com as ferramentas que o Kafka disponibiliza.

\n

Código fonte

\n

O código do projeto está no GitHub

","fields":{"slug":"/kafka-sink/"},"frontmatter":{"date":"02 de março de 2021","description":"Enviando informações do Kafka para o seu banco de dados","title":"Kafka Sink","tags":["Kafka","Kafka Sink","Banco de Dados"],"author":"Guilherme Alves","image":{"id":"21858179-1878-5709-825a-11e57664847d","publicURL":"/static/eefe09db48f9b545e356f86917dab18d/capa-mongo-data-kafka.png","childImageSharp":{"fluid":{"base64":"data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAABQAAAALCAYAAAB/Ca1DAAAACXBIWXMAAA7EAAAOxAGVKw4bAAACH0lEQVQoz31Tz4sScRSfgwv6J+yhS2ywGySRLQutQS0dtkNUYBjuGgv5Mw0ERUHq0EVQ8WCIeFCEFH/dCtyT0CEIEwmLCBVES3eNDaRA1E1nPs28ccqWpQcf5s2H9z7fN28+XwZ8cBxHYDmWQO+Ycyx7Kk7GbDajekYSxGINO+f+E8PhED6fD7FY7B+ekRr5c3E0OsD38SHlxPHT9no9tFottNttNJtNNBoNTCYTVCoVmEwmWK1WdLtdlMtljMdjccLW4DNsT25hx3wV9w1XYH96G50fDX5MQKVSgWEYyOVy6PV6yGQyOBwOOtBmsyGfzxN0Oh1CoZAo+OrdCyjPyPHg2TbuONSU77/PUtPa+TUSlC0tIRwOU+5yudDpdKDVamlCs9kMt9uNXC4nCr7+9BKb68vYS93Fvec3sXl5GW8a+ySoVF4gkfWNDVzf2qLc7/cjEAggkUjA6/UiGAyiVqvRjyHBwewIO/ynbj+6hBsPL2LXpMZPDMBNOV5QSSJnV1ehUCgo93g8tC+NRgOn0wmDwQCLxYJIJAJGssCHg7fYtaix9/gaPh6WiTv+dYxzKysksghhd0LY7Xak02mUSiXabzKZFCeURPujL/g2+grRSqLfisUiUqkUMpkMstks4vE46vU6qtUqTWY0GtHv9wlkG8ztxrKzvzY8xbgnYzqdIhqNolAo/OHI2NItkXwnYLFAWLTQvAiBWwzpRgnP32xzucamvYweAAAAAElFTkSuQmCC","aspectRatio":1.7777777777777777,"src":"/static/eefe09db48f9b545e356f86917dab18d/0823f/capa-mongo-data-kafka.png","srcSet":"/static/eefe09db48f9b545e356f86917dab18d/c67b7/capa-mongo-data-kafka.png 320w,\n/static/eefe09db48f9b545e356f86917dab18d/d3930/capa-mongo-data-kafka.png 640w,\n/static/eefe09db48f9b545e356f86917dab18d/0823f/capa-mongo-data-kafka.png 1280w,\n/static/eefe09db48f9b545e356f86917dab18d/c730b/capa-mongo-data-kafka.png 1920w,\n/static/eefe09db48f9b545e356f86917dab18d/55bfe/capa-mongo-data-kafka.png 2240w","sizes":"(max-width: 1280px) 100vw, 1280px"}}}},"timeToRead":7}},"pageContext":{"slug":"/kafka-sink/","previous":{"fields":{"slug":"/kafka-connector/"},"frontmatter":{"title":"Kafka Connector","date":"23 fev, 2021"}},"next":{"fields":{"slug":"/express-rest-I/"},"frontmatter":{"title":"NodeJS e Express","date":"06 abr, 2021"}}}},"staticQueryHashes":["63159454"]}