Rastreamento de corpo e pose

Rastreie uma pessoa só com uma webcam e transforme o movimento dela em visual — um esqueleto brilhante, pontos que seguem mãos e pés, rastros que arrastam atrás do corpo. O tdmcp monta tudo isso a partir de linguagem natural, do mesmo jeito que monta qualquer outra coisa.

Sem Kinect, sem câmera de profundidade, sem hardware só-Windows: o rastreamento vem do MediaPipe, o modelo de pose gratuito do Google, que roda no macOS e no Windows com uma webcam comum.

Dá para testar antes de instalar qualquer coisa

Toda ferramenta de rastreamento usa por padrão uma fonte sintética — uma figura animada autossuficiente — então a rede monta e dá preview na hora, sem câmera e sem plugin. Use para ajustar o visual e depois troque a fonte pela sua webcam.

1. Teste agora (sem câmera, sem plugin)

No seu assistente de IA:

"Monte um esqueleto de pose e me mostre um preview."

Você recebe uma figura de palito — 33 pontos (cabeça, ombros, cotovelos, pulsos, quadris, joelhos, tornozelos) ligados por linhas brilhantes — se mexendo sozinha. Depois itere:

• "Deixe as linhas magenta e mais grossas."
• "Agora me dê pontos brilhantes reativos ao corpo."
• "Adicione rastros de movimento."

2. Instale o plugin do MediaPipe (para um performer de verdade)

Para rastrear uma pessoa real você precisa do plugin gratuito do MediaPipe (acelerado por GPU, roda no Mac e no PC). O tdmcp baixa pra você — num terminal:

npx --yes --package=@dpantani/tdmcp tdmcp install mediapipe-touchdesigner

O tdmcp install <lib> prepara bibliotecas da comunidade a partir de manifestos seguros; aqui ele pega o pacote MIT torinmb/mediapipe-touchdesigner e extrai em ~/.tdmcp/packages.

Depois, com o TouchDesigner aberto, peça ao assistente:

"configure o rastreamento de corpo"

A tool setup_body_tracking carrega o plugin no seu projeto, acha o CHOP de landmarks de pose e já fia o create_pose_tracking mais um esqueleto ao vivo — você só escolhe sua webcam no novo componente mediapipe_pose e liga Pose.

Prefere na mão? Abra o MediaPipe TouchDesigner.toe (ou arraste um .tox de do pacote preparado em ~/.tdmcp/packages) para o seu projeto, ligue Pose, e aponte o mediapipe_chop_path de uma tool para o CHOP de landmarks do plugin (33 samples, canais tx/ty/tz).

Permissão de câmera no macOS

Na primeira vez que o TouchDesigner lê a webcam, o macOS abre um diálogo de permissão. Clique em Permitir — até você clicar, o TouchDesigner pode parecer travado. Veja a Solução de problemas.

3. Aponte os visuais para o seu corpo

Peça ao assistente para usar o plugin como fonte:

"Monte um esqueleto de pose a partir do plugin do MediaPipe em /project1/mediapipe1/select_pose e mostre um preview."

"Crie rastros reativos ao corpo a partir da minha pose na webcam."

O assistente define o source da ferramenta como mediapipe e aponta o mediapipe_chop_path para o CHOP de pose do plugin. Todo o resto — esqueleto, pontos, rastros — funciona igualzinho ao modo sintético.

4. O que dá para construir

Três ferramentas cobrem o fluxo; a IA escolhe por você, mas ajuda conhecer o vocabulário:

Ferramenta	O que faz
create_pose_tracking	A base. Um sinal de pose limpo (33 pontos) mais canais escalares prontos para ligar, como r_wrist_y, hand_span, height. Suavização e espelho embutidos.
create_pose_skeleton	O esqueleto de palito clássico renderizado num TOP — linhas brilhantes ligando os pontos.
create_body_reactive	Marcas brilhantes que seguem o corpo, em três estilos: points (pontos nítidos), glow (pontos com bloom), trails (rastros de movimento).

Dá para encadear: monte o create_pose_tracking uma vez e aponte tanto o esqueleto quanto o visual reativo para a saída dele, compartilhando um só corpo rastreado.

5. Ligue seu corpo a qualquer coisa

O create_pose_tracking também expõe um CHOP de keypoints com canais escalares simples, então você pode controlar qualquer parâmetro com uma parte do corpo:

• "Faça a quantidade de blur seguir a altura da minha mão direita."
• "Mapeie o quão abertos estão meus braços para a quantidade de feedback."
• "Quando eu agachar, diminua as luzes." (o canal height encolhe)

Ligue um parâmetro a op('…/pose_tracking/keypoints')['r_wrist_y'] (ou hand_span, hips_x, height, …) e ele acompanha seu movimento ao vivo.

6. Coloque um holograma na sua mão

As mãos não servem só como dados de controle. create_hand_hologram monta um sistema visual completo em que a palma aberta revela um cubo translúcido flutuando logo acima da mão. O visual começa com uma fonte sintética de duas mãos, então dá para pré-visualizar o look antes de usar a webcam:

"Monte um cubo holográfico futurista flutuando acima da minha palma aberta. Comece com preview sintético, deixe transparente em ciano com acento violeta e faça uma pinça da outra mão aumentar o cubo."

Por baixo, create_hand_hologram cria um create_hand_gesture_bus aninhado. Esse bus publica canais estáveis como float_x, float_y, palm_size, pinch_power, light_gain e audio_level. O shader do holograma lê esses canais em vez dos landmarks crus do MediaPipe, então o mesmo bus pode depois guiar lasers, partículas, cues de projeção ou controles de áudio.

Quando estiver pronto para usar a mão real, troque a fonte:

"Recrie o holograma de mão com MediaPipe hands da minha webcam, mantenha ele mais alto acima da palma e mande o áudio futurista para meu device de áudio."

audio_mode começa em none; use synth para um sinal interno ou device_out quando quiser explicitamente um Audio Device Out CHOP.

7. Use as mãos como controles de filtro no Ableton

As mãos também podem virar um controlador de Ableton em quatro canais quando você usa TDAbleton. A ferramenta create_hand_ableton_mapper monta o lado TouchDesigner: mãos do MediaPipe na entrada, overlay de esqueleto com estrelinhas nas juntas e um CHOP mapper_send para o TDAbleton. AbletonMCP não é necessário para esta receita.

Mapeamento padrão:

Slot do mapper	Gesto
map1	Distância polegar/indicador da mão esquerda
map2	Distância polegar/indicador da mão direita
map3	Rotação do punho esquerdo
map4	Rotação do punho direito

No TDA_Mapper do TDAbleton, aponte o CHOP de entrada para /project1/hand_ableton_mapper/mapper_send, defina Reorder como map1 map2 map3 map4, deixe Bypass1..4 desligado e mapeie os quatro slots manualmente para frequência do Auto Filter, resonance, drive ou macros de rack dentro do Ableton.

Se os valores se mexem no TouchDesigner mas o Ableton não muda, rode diagnose_tdableton_mapper. Ele confere o caminho real do mapper, CHOP de entrada, Reorder, bypasses, ranges Min/Max e canais map1..map4 ausentes. Isso pega o problema comum de alvo antigo, quando o mapper parece saudável mas aponta para a track ou device errado.

Receitas prontas

Dois modelos navegáveis vêm na galeria de receitas — peça "liste as receitas" ou veja a Galeria de receitas:

• Pose Skeleton (MediaPipe) — o esqueleto de palito a partir de uma webcam ao vivo.
• MediaPipe Body Dots — pontos brilhantes rastreando cada articulação.

Os dois esperam o plugin do MediaPipe; aponte o Select CHOP posein deles para o CHOP de landmarks de pose.