Implementando um simples background job com UNIX named pipes

No último artigo vimos o funcionamento de UNIX streams, pipes e mais precisamente, anonymous pipes. E que estes canais são uma das bases de comunicação entre diferentes processos.

Neste artigo vamos explorar "pipes nomeados", ou named pipes, e como este modelo de dados pode ajudar a entender o funcionamento de um background job.

Anonymous pipes são FIFO

FIFO remete a "First in, first out", que significa

Primeiro a entrar, primeiro a sair

Parece com filas né? Mas entretanto...

São unidirecionais

...pois caminham apenas em um sentido, e nunca de forma "bidirecional":

### ----> going this way ---->
$ echo 'my precious' | md5 | base64

Para que sejam bidirecionais, seria preciso que um processo enviasse mensagem de volta para o outro.

E há uma solução para isto.

Named pipes

Com o comando mkfifo, podemos criar uma pipe nomeada e usá-la entre diferentes comandos para comunicação através dos streams.

Para criar comunicação bidirecional, teríamos que criar duas FIFO, mas para nosso simples exemplo, vamos manter unidirecional com apenas uma FIFO.

Esta pipe poderá servir como uma fila FIFO:

$ mkfifo myqueue
$ ls -la myqueue

prw-r--r--  1 leandronsp  staff     0B Jun 14 23:09 myqueue

Utilizando o pipe

Podemos jogar saídas de comandos para dentro do pipe, por exemplo com este processo "escritor":

$ echo 'my precious' | base64 > myqueue

O processo fica bloqueado à espera que algum outro processo "leitor" leia da fila. Em outra janela:

$ cat myqueue

bXkgcHJlY2lvdXMK

O inverso também pode acontecer, onde começamos pelo leitor:

$ cat myqueue

Que fica bloqueado à espera de "mensagens na fila". E assim outro processo escritor pode enviar a mensagem:

echo 'my precious' | base64 > myqueue

Janela do leitor:

bXkgcHJlY2lvdXMK

Processamento assíncrono

Esta funcionalidade básica abre portas para o processamento assíncrono de mensagens, onde podemos ter um "worker" que fica infinitamente à espera de mensagens no pipe, ao passo que diferentes "publicadores" colocam mensagens no pipe de forma assíncrona.

Estamos falando de background jobs.

Criando um worker que decodifica base64

Vamos então criar um worker simples em Shell script que recebe uma mensagem codificada em base64, decodifica, mostra-a no screen (STDOUT) e volta para o loop à espera de mais mensagens no pipe:
sidequack.sh

#!/bin/bash
## Cria o named pipe
mkfifo myqueue

echo "Waiting for jobs in the queue..."

## Loop infinito
while true
do
  ## Bloqueia à espera de mensagem no pipe
  ENCODED=`cat myqueue`

  ## Nova mensagem chegou no pipe...
  echo "Going to perform Job..."
  echo "Encoded: $ENCODED | Decoded: `echo $ENCODED | base64 -d`"
done

bash sidequack.sh

Waiting for jobs in the queue...

Agora, em outra janela, podemos colocar no pipe diferentes "jobs" a serem processados:

echo 'my precious' | base64 > myqueue
echo 'pipes are awesome' | base64 > myqueue

Podemos consultar no terminal do worker:

Going to perform Job...                                       
Encoded: bXkgcHJlY2lvdXMK | Decoded: my precious

Going to perform Job...                                       
Encoded: cGlwZXMgYXJlIGF3ZXNvbWUK | Decoded: pipes are awesome

Conclusão

Este artigo foi uma tentativa de mostrar o funcionamento de UNIX named pipes e como podem ser usados para comunicação entre diferentes processos através de estruturas FIFO, com a demonstração da implementação de um simples background job.