O Apache Flink 1.2 foi anunciado e traz reescalonamento dinâmico, segurança, estado de consulta e muito mais. A nova versão corrigiu 650 problemas, mantém a compatibilidade com todas as APIs públicas e é fornecida com Apache Kafka e suporte para Apache Mesos.
O reescalonamento dinâmico do Flink permite alterar o paralelismo de um job de streaming ou de um operador dentro do job. Esse recurso restaura o job a partir de um savepoint usando um paralelismo diferente e melhora o gerenciamento operacional dos pipelines de streaming escalando para cima e para baixo adequadamente, minimizando o tempo de inatividade para alguns segundos. Atualmente, ele é suportado por alguns operadores como consumidores Kafka, operações de janela e estado de usuário personalizado.
[awprm urls=https://imasters.com.br/noticia/intel-abre-codigo-da-bigdl-biblioteca-distribuida-de-deep-learning-para-apache-spark/,https://imasters.com.br/noticia/yahoo-aprimora-tensorflow-com-apache-spark/]
Em relação à segurança, conforme divulgado pelo site InfoQ, o suporte para autenticação foi adicionado aos serviços externos usando Kerberos. Ele suporta autenticação contra Zookeeper, Kafka, HDFS e YARN. As comunicações experimentais baseadas em SSL também foram adicionadas para criptografar mensagens em trânsito entre os executores Flink.
O recurso estado de consulta experimental expõe o estado chaveado do operador através de uma API. Isso pode ser útil para detectar a batida de pipelines de fluxo sem ter que gravar o estado em um armazenamento de dados. O estado pode ser consultado usando uma thread-safe assíncrona QueryableStateClient, e alguns utilitários são fornecidos para lidar com a serialização de estado na implementação do operador e no cliente.
O suporte para Apache Kafka 0.10 também foi introduzido como fonte de dados e coletor. O conector Kafka 0.10 pode consumir e produzir mensagens com o tempo de evento interno do Flink. O consumidor Kafka pode emitir registros com timestamp de mensagem do Kafka.
O Apache Mesos também foi adicionado como uma opção de implementação. O Flink também suporta as implementações DC/OS, e a plataforma de orquestração Marathon pode ser alavancada para executar clusters Flink altamente disponíveis – Marathon executa todos os componentes Flink como tarefas Mesos no cluster e, sempre que o mestre Flink falha, outro é iniciado. O estado (tarefas em execução) é mantido e recuperado a partir do Zookeeper.
A TAPI Table também ganhou melhorias. As agregações de janela são suportadas em três modos diferentes: janelas que caem, janelas deslizantes e janelas de sessão (lacuna). Todos os modos suportam janelas no tempo do evento e no tempo de processamento. Os modos de rolagem e deslizamento também suportam janelas na contagem de linhas. A API Table e o SQL introduziram acesso experimental para acesso a campos POJO e expandiram a lista de funções embutidas.