Projeto Rastro do Dinheiro (Operacional 3): Big Data no Trading e a Arquitetura Append-Only
Salvar dados consome processamento. Como um algoritmo de alta frequência grava milhares de métricas sem travar a plataforma de negociação? O segredo está na engenharia do Dataset.
Nos dois primeiros artigos operacionais, exploramos como o EA mapeia o mercado, usa uma Máquina de Estados para evitar topos exaustos e desliga o motor em ciclos não lucrativos. Mas a verdadeira diferença entre a FIMATHE manual e a precisão do robô é o que ele faz com a informação gerada.
O Projeto Rastro do Dinheiro não é apenas um robô que compra e vende; é um coletor massivo de Big Data. Toda vez que uma vela fecha, dezenas de métricas matemáticas são calculadas. Se o robô tentasse salvar isso de forma amadora, o MetaTrader 5 travaria por gargalo de I/O (Leitura/Escrita de disco).
Para resolver isso e preparar o terreno para a Inteligência Artificial, nós adotamos uma arquitetura de banco de dados Append-Only usando o formato JSONL.
📝 A Magia do JSONL (JSON Lines) e o Append-Only
Quando o Servidor Python toma uma decisão (mesmo que seja um
BLOCK), ele anota a fotografia do mercado. Em bancos de dados
tradicionais, você precisaria abrir um arquivo inteiro, buscar a linha
certa, reescrever a matriz e fechar. Isso custa tempo.
No nosso sistema, usamos decisions.jsonl. O
"L" significa Lines. O servidor não lê o passado.
Ele simplesmente "anexa" (Append) uma nova linha de texto no final do
documento e vai embora em microssegundos.
A linha contém a Sessão (session_key), o Evento
(event_id), o Score, e as dezenas de
Features (Toques de liquidez, compressão, flips) prontas para
Machine Learning (ML-Ready). O resultado final do trade (Outcome), no
momento da decisão, é deixado em branco (None).
🧩 O Cruzamento Offline (Sem Travar o Servidor)
Aqui está a genialidade do sistema que separa desenvolvedores juniores de engenheiros quantitativos.
Horas depois, quando o trade finalmente fecha no MetaTrader batendo no Take Profit ou Stop Loss, o robô dispara um novo alerta HTTP informando o Resultado (O R-Múltiplo, Duração, etc).
O Erro do Varejo vs. A Solução Institucional
Um sistema amador tentaria abrir o gigantesco arquivo
decisions.jsonl, procurar a linha do trade antigo e
editá-la ao vivo. Se milhares de trades estivessem ocorrendo
simultaneamente, o arquivo ficaria "trancado" (File Lock), travando o
Servidor Python inteiro.
A nossa solução: O Python NÃO edita
linhas antigas. Ele simplesmente anexa o resultado ("WIN" ou "LOSS") em
um segundo arquivo ultraleve chamado outcomes.jsonl.
O Casamento de Dados (Data Paring)
O cruzamento dos dados não acontece ao vivo. O modelo garante que as "Decisões" e os "Resultados" serão unidos de forma Offline na hora de treinar a Rede Neural.
Os algoritmos de Data Science usam a Chave de Sessão
(session_key) e a Identificação do Evento
(event_id) como uma impressão digital para costurar o
arquivo A no arquivo B, criando um Banco de Dados imaculado.
Transformando Lógica em Lucro Contínuo
A repetição e a consistência matemática exigem escala. Ao isolar a gravação de dados através do conceito Append-Only, o Projeto Rastro do Dinheiro alcançou latência zero.
Não importam quantos ticks o mercado emita por segundo, nosso robô continuará convertendo a lógica do código ao lucro, gerando o combustível que alimentará a futura Inteligência Artificial do mercado financeiro.
Participar da conversa