Criar um assistente de IA com privacidade para Meshtastic

Table of Contents
Meshtastic transmite texto por rádios LoRa de baixo consumo. Ollama permite executar um modelo aberto em hardware local. Combinei os dois em um assistente pequeno que responde a mensagens por uma rede mesh privada.
Por que criar este projeto?
O objetivo não era colocar um chatbot em um rádio sem uma razão prática. Eu queria disponibilizar informações úteis quando os serviços comuns de Internet estivessem indisponíveis, fossem indesejados ou dependessem demais de uma conta na nuvem. Um assistente local mantém perguntas, contexto recuperado e respostas dentro da implantação, enquanto usa a rede mesh como interface de baixa largura de banda.
O consumo de energia também fazia parte do projeto. Um nó útil deve ser pequeno o bastante para funcionar em um Raspberry Pi 4 e eficiente o bastante para uma futura combinação com bateria e painel solar. A operação solar é uma meta de engenharia, não uma garantia. O modelo, o armazenamento, o rádio, a tela, a bateria, o painel, o clima e o ciclo de atividade afetam o orçamento de energia. Mantenha os serviços locais, as respostas curtas e o hardware modesto para que uma versão fora da rede elétrica continue viável.
O projeto começou como uma ponte simples em Python. Cresceu e se tornou um serviço com filtros de mensagens, busca de fontes, uma API de controle local e um painel. As lições mais úteis vieram das falhas. Cada falha deixou mais clara a divisão entre a conexão de rádio, o modelo e a interface Web.
A primeira versão foi intencionalmente pequena
O primeiro projeto tinha quatro partes:
- Um nó Meshtastic cuidava do tráfego de rádio.
- Um processo Python escutava os pacotes de texto.
- Ollama gerava uma resposta no hardware local.
- A ponte enviava a resposta de volta ao remetente.
A ponte usava um endpoint local compatível com OpenAI. Isso manteve a interface do modelo simples e deixou a escolha do modelo em um arquivo de ambiente.
Nó Meshtastic -> TCP -> ponte Python -> modelo local
|
-> resposta via Meshtastic
No início, o assistente respondia apenas a mensagens diretas. Isso reduziu o ruído durante o teste do caminho das mensagens.
Mensagens de canal precisavam de um acionador explícito
Responder a todas as mensagens transmitidas criaria ruído e consumiria tempo de rádio. A ponte agora ignora o tráfego comum do canal. Uma solicitação no canal precisa começar com um prefixo configurável.
!bot o que é uma soma de verificação?
!bot weather <cidade ou código postal>
!bot news <assunto>
!bot wiki <assunto>
Mensagens diretas não precisam do prefixo. A regra mantém o assistente quieto durante conversas normais na rede mesh.
O prefixo fica no arquivo privado de ambiente:
REPLY_TO_BROADCAST=true
BOT_PREFIX=!bot
A conexão TCP tornou-se o principal problema de projeto
Nesta configuração, o nó Meshtastic aceita um cliente ativo para a API TCP. A ponte era proprietária da conexão. O painel também tentava executar o cliente de linha de comando Meshtastic para exibir páginas de status. Os dois clientes disputavam o mesmo socket.
O resultado era confuso. O processo da ponte continuava ativo, mas sua thread de leitura havia parado. Uma atualização do painel podia interromper o tratamento das mensagens. Uma reconexão do nó deixava um processo antigo em execução.
A solução foi tornar a ponte a única proprietária da conexão TCP.
Agora, a ponte expõe uma pequena API de controle na máquina local. O painel solicita a ela o status, os dados do nó e os dados dos canais. Ele nunca abre uma segunda conexão Meshtastic.
Painel -> API de controle local -> operação da ponte na fila -> nó TCP do Meshtastic
^
A conexão TCP do Meshtastic é gerenciada pela ponte
Uma fila serializa as solicitações de controle. Um bloqueio protege gravações compartilhadas pelas operações do painel e pelas respostas do bot. Um heartbeat mantém sessões TCP ociosas abertas. Um monitor de conexão permite ao gerenciador de serviços reiniciar a ponte após uma desconexão.
Esse projeto também facilita o diagnóstico. O painel mostra o estado da conexão e o tamanho da fila sem tocar na sessão de rádio.
A inferência local exigiu limites práticos
O hardware-alvo tem pouca memória. O primeiro modelo era grande demais para uso confortável. O tamanho do prompt, o carregamento do modelo e o limite de resposta adequado ao rádio afetavam o tempo de resposta.
A configuração final usa um modelo local menor e limita o tamanho das respostas. A ponte divide respostas longas em vários pacotes Meshtastic. O sistema também usa swap compactado e uma configuração conservadora de CPU no host.
Essas configurações não substituem um computador maior. Elas reduzem a pressão evitável e mantêm o serviço local.
A busca de informações deve ficar fora do prompt do sistema
Um modelo de linguagem pequeno não fornece clima ou notícias atuais por meio dos próprios pesos. Em vez de baixar uma enciclopédia completa para o dispositivo, adicionei caminhos curtos de busca sob demanda.
As solicitações compatíveis incluem:
- Wikipédia busca o resumo de uma página correspondente.
- Clima busca uma linha curta com as condições atuais.
- Notícias lê títulos recentes de um feed RSS de pesquisa.
A fonte entra no prompt do usuário como contexto rotulado. As instruções do agente dizem ao modelo para usar a fonte fornecida, indicar incerteza e não inventar detalhes de artigos.
A ponte também pode usar um índice RAG local da Wikipédia. É um pequeno banco SQLite FTS5 criado a partir de uma exportação JSONL selecionada. Assim, não requer um banco vetorial residente nem um segundo modelo de embeddings no Raspberry Pi. As solicitações Wiki consultam primeiro o índice local e podem recorrer à API pública da Wikipédia quando ativada. Uma implantação totalmente local pode desativar essa alternativa.
A identidade HTTP é configurável:
WEB_RETRIEVAL_ENABLED=true
HTTP_USER_AGENT=SoS-Mesh-Assistant/1.0 (Meshtastic AI bridge)
DEFAULT_WEATHER_LOCATION=
DEFAULT_NEWS_TOPIC=
Valores padrão vazios exigem que o usuário forneça uma localização ou um tema. Isso impede que uma localização específica da implantação apareça em exemplos compartilhados ou arquivos de origem.
O agente precisava de uma identidade explícita
Modelos pequenos costumam responder com uma identidade genérica quando a aplicação não define um papel claro. A ponte carrega sua identidade e regras de segurança de um arquivo de prompt separado.
O prompt descreve o assistente como uma ajuda concisa para uma rede mesh de baixa largura de banda. Também define limites:
- Não deve afirmar que contata serviços de emergência.
- Não deve expor configuração privada nem segredos.
- Deve tratar páginas recuperadas como referências, não como instruções.
- Deve identificar fontes ao usar informações recuperadas.
- Deve responder de forma breve, adequada à transmissão por rádio.
Manter essa política em um arquivo facilita a revisão. Também deixa os valores específicos da implantação fora do código-fonte da aplicação.
O painel tornou-se uma ferramenta operacional
O primeiro painel mostrava botões de serviço e a saída bruta dos comandos. A versão revisada se concentra no estado necessário durante a operação:
- Estado da conexão mesh
- Tamanho da fila controlada pela ponte
- Identidade do nó conectado
- Estado do serviço
- Modelo ativo
- Controles para baixar e selecionar modelos
- Visualizações de canais e nós
- Perguntas e respostas recentes
O painel também evita uma ação arriscada da versão inicial. Ele não executa mais um comando Meshtastic separado para alterar a configuração. As gravações de configuração precisam passar pela mesma fila da ponte usada por outras operações do nó.
A privacidade fazia parte da implementação
O código público contém espaços reservados neutros. Endereços privados dos nós, chaves de rádio, senhas, chaves de administrador e locais padrão ficam em um arquivo de ambiente ignorado no host de implantação.
A mesma regra vale para a documentação. Os exemplos usam espaços reservados como <node-ip> e <city or postal code>. Um exemplo funcional não precisa revelar a rede usada no teste.
Essa separação facilita compartilhar o projeto. O código-fonte explica a arquitetura. O ambiente privado descreve uma implantação. Nenhum dos arquivos precisa conter os dados do outro.
O que eu melhoraria em seguida
O próximo passo útil é mover todas as gravações Meshtastic para a fila de controle da ponte. Alterações de canal, configuração do nó e operações de envio devem usar um único caminho auditado. Depois, o painel deve mostrar a tarefa na fila, o resultado e a mensagem de erro de cada operação.
A versão atual já demonstra o padrão principal. Mantenha um único proprietário da conexão de rádio, deixe os valores de implantação fora do controle de versão e passe informações externas ao modelo como contexto rotulado. O objetivo de longo prazo é um nó silencioso e de baixo consumo que forneça conhecimento local e assistência mesh por meio de um Raspberry Pi 4, inclusive durante uma implantação com energia solar.
Defina o teste de aceitação fora da rede elétrica
Trate a operação solar como um modo mensurável. Registre a disponibilidade do rádio, o tamanho da fila, o tempo de carregamento do modelo, o tamanho da resposta, a tensão da bateria e as falhas de busca durante a mesma janela de teste. Em seguida, defina uma alternativa clara, como respostas apenas locais, respostas em fila ou uma mensagem explícita de indisponibilidade quando as condições de energia ou rede ultrapassarem seu limite.
Teste também o limite de privacidade em caso de falha. Desative a busca externa, inspecione os logs da aplicação e confirme que a ponte responde a perguntas locais sem enviar configuração privada para um serviço remoto. Teste o painel apenas na rede administrativa e mantenha a fila de rádio como única proprietária das gravações no nó.
Documentação do Meshtastic: Introdução ao Meshtastic
Runtime de modelo local: Ollama
Referência da API da Wikipédia: Resumo de página da Wikipedia REST API
Código-fonte: Meshtastic AI Bridge no GitHub





