{"componentChunkName":"component---src-templates-blog-post-js","path":"/kafka-test/","result":{"data":{"markdownRemark":{"html":"

Introdução

\n

Nos artigos anteriores vimos como criar um Produtor e um Consumidor utilizando Kafka, agora vamos entender como podemos criar testes usando JUnit utilizando uma abordagem mais simplificada onde através do conceito de Ports and Adapters conseguimos injetar as dependências sem a necessidade de usar outras libs para “mockar” as classes.

\n

Criar testes para as aplicações nem sempre é algo trivial, principalmente em cenários onde há injeção de dependências, pensando nisso existem libs para lidar com isso, as mais utilizadas são Mockito e PowerMock porém mesmo usando essas libs as vezes nos encontramos com problemas de injeção de dependências ou dependências cíclicas que atrapalham em muito a criação e a manutenção de testes.

\n

Uma abordagem que simplificaria esses cenários seria a utilização de Ports and Adapters onde através de interfaces conseguimos criar os Adaptadores para as classes que são utilizadas na aplicação e também ganhamos flexibilidade para implementar os nossos Adaptadores que serão usados nos testes, ganhando assim desacoplamento e coesão.

\n

Também iremos utilizar a API de Mocks que o próprio Kafka fornece para fazer o mock de um cluster.

\n

Testando o Producer

\n

No projeto Producer será utilizado a classe MockProducer para simular o cluster Kafka que irá enviar a mensagem. Para começar iremos criar a classe de teste TaxpayerServiceTest.

\n

Para que possamos criar e manipular a injeção de dependência no teste é necessário alguns ajustes na classe TaxpayerService, primeiro será removido a anotação @Autowired do atributo private Producer<String, TaxPayer> producer; e passaremos para o construtor:

\n
private final Producer<String, TaxPayer> producer;\n\n@Autowired\npublic TaxpayerService(@Qualifier(\"taxpayerProducer\") Producer<String, TaxPayer> producer) {\n    this.producer = producer;\n}
\n

Essa alteração já basta para o nosso teste.

\n

Agora na classe de teste vamos nos concentrar em como usar a classe MockProducer:

\n
final MockProducer<String, TaxPayer> mockProducer = new MockProducer(true, new StringSerializer(), new KafkaAvroSerializer());
\n

Com essa configuração já temos em mãos uma instância de um Producer que a classe TaxpayerService necessita.

\n

Agora conseguimos chamar o método send da nossa classe de serviço passando o objeto TaxpayerDTO.

\n
public class TaxpayerServiceTest {\n\n    private TaxpayerService taxpayerService;\n\n    private MockProducer<String, TaxPayer> mockProducer;\n\n    @Test\n    void sendMessage(){\n\n        final MockProducer<String, TaxPayer> mockProducer = new MockProducer(true, new StringSerializer(), new KafkaAvroSerializer());\n\n        taxpayerService = new TaxpayerService(mockProducer);\n\n        final TaxpayerDTO taxpayerDTO = new TaxpayerDTO();\n        taxpayerDTO.setDocument(\"12345678901\");\n        taxpayerDTO.setEmail(\"fake@email.com\");\n        taxpayerDTO.setName(\"John Doe\");\n\n        taxpayerService.send(taxpayerDTO);\n\n    }\n\n}
\n

O teste passa com sucesso e temos a saída no console:

\n
14:20:24.700 [main] INFO com.irs.sender.business.consumer.KafkaConsumerService - Recebendo TaxPayer\nMandando mensagem para pessoa :: Person(name=Guilherme, email=meuemail@email.com)
\n

Testando o Consumer

\n

Para realizar o teste no projeto Consumer será necessários algumas modificações mais profundas.

\n

A princípio nesse projeto havia um loop while(true) para ficar sempre processando as mensagens que estavam sendo recebidas porém essa abordagem é pouco problemática pois o processamento ficará sempre atrelado à thread main, um ponto levantado pelo Pedro Alves. Para resolver isso há várias abordagens mas como estamos usando um projeto Spring Boot podemos criar uma tarefa agendada e com isso teremos uma thread em paralelo sendo executada periodicamente.

\n

Para isso é necessário criar a configuração de um ThreadPoolTaskSchedulerConfig:

\n
@Configuration\n@ComponentScan(basePackages = \"com.irs.sender.business.consumer\", basePackageClasses = KafkaConsumerService.class)\npublic class ThreadPoolTaskSchedulerConfig {\n\n    @Bean\n    public ThreadPoolTaskScheduler threadPoolTaskScheduler() {\n        ThreadPoolTaskScheduler threadPoolTaskScheduler = new ThreadPoolTaskScheduler();\n        threadPoolTaskScheduler.setPoolSize(1);\n        threadPoolTaskScheduler.setThreadNamePrefix(\"KafkaScheduleService\");\n        return threadPoolTaskScheduler;\n    }\n}
\n

Na classe KafkaConsumerService vamos alterar a injeção de dependência de atributo para construtor e adicionaremos a classe ThreadPoolTaskScheduler:

\n
private final Consumer<String, TaxPayer> kafkaConsumer;\n\nprivate final Email email;\n\nprivate final ThreadPoolTaskScheduler taskScheduler;\n\n@Autowired\npublic KafkaConsumerService(@Qualifier(\"taxpayerConsumer\") Consumer<String, TaxPayer> kafkaConsumer, Email email, ThreadPoolTaskScheduler taskScheduler) {\n    this.kafkaConsumer = kafkaConsumer;\n    this.email = email;\n    this.taskScheduler = taskScheduler;\n}
\n

E removeremos a anotação @PostConstruct e o laço while(true) do método receive que ficará assim:

\n
@Override\npublic void receive() {\n\n    Consumer<String, TaxPayer> consumer = kafkaConsumer;\n\n    consumer.subscribe(Collections.singleton(this.topic()));\n\n    try {\n\n        consumer.poll(Duration.ofMillis(1000)).forEach(record -> {\n\n            log.info(\"Recebendo TaxPayer\");\n\n            TaxPayer taxpayer = record.value();\n\n            Person person = Person.builder().email(taxpayer.getEmail()).name(taxpayer.getName()).build();\n\n            email.sendMessage(person);\n\n        });\n\n        consumer.commitSync();\n\n    } catch (Exception ex) {\n        log.error(\"Erro ao processar mensagem\", ex);\n    }\n\n}
\n

E agora para que a tarefa seja agendada e rode do mesmo jeito como era executava antes em que estava sempre buscando as mensagens no Kafka iremos criar o método init com o Schedule e um CronTrigger indicando de quanto em quanto irá rodar:

\n
@PostConstruct\npublic void init() {\n    taskScheduler.schedule(() -> {\n        this.receive();\n    }, new CronTrigger(\"* * * * * *\"));\n}
\n

Após isso foi criada a classe de teste KafkaConsumerServiceTest e nela iremos configurar a classe MockConsumer que irá simular o cluster Kafka que irá receber a mensagem.

\n
MockConsumer<String, TaxPayer> consumer = new MockConsumer<>(OffsetResetStrategy.EARLIEST);\n\nconsumer.schedulePollTask(() -> {\n    consumer.rebalance(Collections.singletonList(new TopicPartition(\"taxpayer-avro\", 0)));\n    consumer.addRecord(new ConsumerRecord<String, TaxPayer>(\"taxpayer-avro\", 0, 0l, \"key\", new TaxPayer(\"Guilherme\", \"11122233344\", \"meuemail@email.com\", true)));\n});\n\nHashMap<TopicPartition, Long> beginningOffsets = new HashMap<>();\nbeginningOffsets.put(new TopicPartition(TOPIC, 0), 0l);\nconsumer.updateBeginningOffsets(beginningOffsets);\n\nconsumer.subscribe(Collections.singleton(\"taxpayer-avro\"));
\n

Basicamente essa configuração é para simular um cluster Kafka, criar um Tópico, adicionar uma mensagem e subscrever no tópico.

\n

Fora isso a nossa classe de serviço possui em sua regra o envio de emails e podemos simular o envio de email bastando fazer um adaptador para a nossa interface Email:

\n
private Email email;\n\nvoid prepareEmailMock() {\n\t\temail = person -> System.out.println(\"Mandando email teste :: \" + person);\n\t}
\n

E com isso podemos criar o nosso teste:

\n
@Test\nvoid testConsumer(){\n    service.receive();\n}
\n

Executando o teste termos como saída no console:

\n
20:29:45.000 [main] INFO com.irs.sender.business.consumer.KafkaConsumerService - Recebendo TaxPayer\nMandando email teste :: Person(name=Guilherme, email=meuemail@email.com)
\n

O teste completo:

\n
public class KafkaConsumerServiceTest {\n\t\n\tprivate MockConsumer<String, TaxPayer> consumer;\n\t\n\tprivate KafkaConsumerService service;\n\t\n\tprivate Email email;\n\n\tprivate ThreadPoolTaskScheduler taskScheduler = new ThreadPoolTaskScheduler();\n\t\n\tprivate static final String TOPIC = \"taxpayer-avro\";\n\n\t@BeforeEach\n\tvoid prepareConsumer() {\n\n\t\tconsumer = new MockConsumer<>(OffsetResetStrategy.EARLIEST);\n\t\tthis.prepareEmailMock();\n\t\t\n\t\tconsumer.schedulePollTask(() -> {\n\t\t\tconsumer.rebalance(Collections.singletonList(new TopicPartition(TOPIC, 0)));\n\t\t\tconsumer.addRecord(new ConsumerRecord<String, TaxPayer>(TOPIC, 0, 0l, \"key\", this.prepareTaxpayerMock()));\n\t\t});\n\t\t\n\t\tHashMap<TopicPartition, Long> beginningOffsets = new HashMap<>();\n\t\tbeginningOffsets.put(new TopicPartition(TOPIC, 0), 0l);\n\t\tconsumer.updateBeginningOffsets(beginningOffsets);\n\t\t\n\t\tconsumer.subscribe(Collections.singleton(TOPIC));\n\t\tservice = new KafkaConsumerService(consumer, email, taskScheduler);\n\t\t\n\t}\n\t\n\tvoid prepareEmailMock() {\n\t\temail = person -> System.out.println(\"Mandando email teste :: \" + person);\n\t}\n\t\n\t\n\tTaxPayer prepareTaxpayerMock() {\n\t\treturn new TaxPayer(\"Guilherme\", \"11122233344\", \"meuemail@email.com\", true);\n\t}\n\n\t@Test\n\tvoid testConsumer(){\n\t\tservice.receive();\n\t}\n\n}
\n

Conclusão

\n

Aqui foi mostrado uma maneira de como podemos escrever alguns testes para os nossos consumidores e produtores de mensagens com Kafka. Também vimos que foi necessária algumas alterações no projeto para deixar mais fácil a escrita de testes e isso deve ser um ponto positivo na evolução de qualquer aplicação.\nO intuito desse artigo não é dizer que não é mais necessário usar frameworks para testes como Mockito mas sim mostrar que em muitos casos o uso indiscriminado deles acaba por deixar o projeto extremamente acoplado e dependente pois na maioria das vezes não é pensado em como fazer uma boa injeção de independência.

\n

Código fonte

\n

O projeto está no GitHub

","fields":{"slug":"/kafka-test/"},"frontmatter":{"date":"11 de fevereiro de 2021","description":"Testando Producers e Consumers Kafka","title":"Testes no Kafka com JUnit","tags":["Kafka","JUnit","Java","Producer","Consumer"],"author":"Guilherme Alves","image":{"id":"e76d836d-99c5-57f7-9d46-2756013da785","publicURL":"/static/843689d77d844298cfd439c810a74c64/kafka-junit.png","childImageSharp":{"fluid":{"base64":"data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAABQAAAAOCAYAAAAvxDzwAAAACXBIWXMAAC4jAAAuIwF4pT92AAACZUlEQVQ4y3VUXWhSYRg+13XTXRd1HdFF10ERBBEZCgM3LCUitaHmTOpi4h8UgkgjsBGVDUKZIGNNyWiVOBubLYdbEuKcI3G5jUJprh+bes55Oueox9+ew+G85/ue9/3e34+gaRrsy6Ipd6+177EgSRK1Wq2Hw4LgyQyJJzAPSZF9Fdrl7oPYL8EtUBRPIKvV/5KpBi8QCMDlcvH/7XtEU+F3fBlbllHsDF/HmuUOZtbnOww3FZLJJORyORQKBYLBIJ8CFiyHC7k0+woZ0XkUfZP4NT+H9OtpHHVdwb2Yt06kKV6pXC7DarVCo9Egm83CZrPBYDCgVCrVPawVC9gYEmFLNoRMcROn393FqZcGHPcocWRChqWdFO9p00uj0ch56Pf7IZFIODkSidQN/nwfRvrCWeSVV7H9LQdfag6jH57jmFuOw88uY2z1BWMJWIgucgoejwdqtRp2ux0CgQBerxdut7uVw73QG2QunWO8FOLryDB2b40AqTRuLD7BwXER7q9OgyxX4Hzo5BScTifMZjNnSCgUIhaLIRwOt3JY2cxhY+AicrJBfFdcQ25AAMRXoP44gQPjQrzNxdENrVYLqVTKGReLxVAqlYhGo60+/PH0EZblgwitLeDz+grGPs3g0GMxFKEHHVVuhuVwOKDT6VAoFKDX67kU5PP5ukGq3slIzE7hzNRtnPDdxMlJFSxLHpRr+40q03yVE4kE1zYqlYorCotisdgKmWveRih/q/v4sruNvcqfVmX7jCAbqslk4lulvQOIBouZFrIjTyRD6DfP3aC6eETPeNFUzyXRbwSpPgey+AdJXNLIMijPRQAAAABJRU5ErkJggg==","aspectRatio":1.4096916299559472,"src":"/static/843689d77d844298cfd439c810a74c64/0823f/kafka-junit.png","srcSet":"/static/843689d77d844298cfd439c810a74c64/c67b7/kafka-junit.png 320w,\n/static/843689d77d844298cfd439c810a74c64/d3930/kafka-junit.png 640w,\n/static/843689d77d844298cfd439c810a74c64/0823f/kafka-junit.png 1280w,\n/static/843689d77d844298cfd439c810a74c64/17523/kafka-junit.png 1747w","sizes":"(max-width: 1280px) 100vw, 1280px"}}}},"timeToRead":7}},"pageContext":{"slug":"/kafka-test/","previous":{"fields":{"slug":"/kafka-streams/"},"frontmatter":{"title":"Kafka Streams com Java","date":"02 fev, 2021"}},"next":{"fields":{"slug":"/kafka-connector/"},"frontmatter":{"title":"Kafka Connector","date":"23 fev, 2021"}}}},"staticQueryHashes":["63159454"]}