Usando conda e py4pd

[emviveros]

Olá Charles! Belíssimo projeto.. Muito obrigado por isso!

Uso python com auxílio de GPTs e estou querendo testar as possibilidades do Python no Pd, mas não estou conseguindo usar o ambiente que criei para testes com conda.

Lí a discussão com o Padovani, e editei o arquivo py4pd.cfg com o endereço em packages do ambiente conda, mas quando rodo o seu patch de help do py4pd ele não consegue instalar o numpy, e e mesmo após eu instalar o numpy manualmente no ambiente setado, ele não é encontrado.

Segue a mensagem quando tento setar o pdsum e depois instalr o numpy pelo help patch:

[py4pd] Numpy not installed, send [pip install numpy] to the py4pd object
Installing numpy in background, please WAIT ...
[py4pd] Failed to execute command: /usr/local/bin/python3.11 -m pip install --target /Users/esteban.viveros/Music/Pure Data/externals/py4pd/resources/py-modules numpy --upgrade
The instalation failed with error code -1

Estou usando a versão do py4pd 0.8.5-beta do deken no Pd 0.54-1, Python 3.11.7 (conda envy), em um MacOS 14.2.1, Apple Silicon.

[charlesneimog]

Oi @emviveros, jóia? Fico feliz que curtiu o projeto!!

Então, estou supondo que é por causa do char de espaço de Pure Data onde vc salva seus externos. Eu não implementei com possibilidades de usar espaços, eu esqueci rsrs.

Eu vou consertar isso.

Eu ainda não consegui lançar a versão 0.8.6 na qual eu vou consertar algumas coisas com ambientes conda. Eles ainda são bem bugados na versão 0.8.5 então, se tiver erros, me fale que dai consigo ir consertando tudo.

[emviveros]

Tirei o espaço e agora parece encontrar o numpy no ambiente. Mas agora o py4pd -lib não está abrindo. Segue um print de tela para ajudar a entender. Se precisar de mais alguma coisa é só falar.

[charlesneimog]

Se puder, baixa essa build aqui (embaixo na página):

https://github.com/charlesneimog/py4pd/actions/runs/7620579782 a versão que usa Python3.11 = py4pd_0.8.5-beta_python3.11

Lembra de apagar o binário que baixou do Deken... Se ele não achar a biblioteca py quando você abrir o help patch, se puder me mandar o print to Pd, coloquei uns prints extra pra eu entender o que está acontecendo melhor...

Daí me fala, se der tudo errado amanha eu vejo numa máquina virtual.

[emviveros]

Hoje consegui parar para testar..

Seguem as mensagens impressas no Console do Pd no arquivo:
Pd_Console_log.txt

Se eu puder fazer mais alguma coisa só falar.

[charlesneimog]

@emviveros Ei Esteban, desculpa a demora...

Fiz vários testes, tudo com máquina virtual em Intel, então pode ter algo relacionado em máquinas nativas e arm.

Mas não encontrei o erro, na minha funciona e consigo usar os packages do meu conda env.

Questões:

1. Como você instalou seu Python, foi via brew ou via instalador? Talvez tenha algum bug relacionado a biblioteca dinâmica, mas acho meio improvável.
2. Você pode testart criar um novo conda env, e instalar o numpy dele. So por curiosidade, tente usar outro nome que não py4pd.

Acho que é isso.

Vou tentar conseguir uma máquina para ver se consigo reproduzir o bug...

[emviveros]

Cara.. Tem uma coisa que eu nào havia feito antes.. Reiniciar a máquina. Foi reiniciar e o py4pd começou a funcionar como deveria.. Eu acho..

Vou utilizar com outros ambientes e seguir testando, mas por hora entendo que está funcionando sim! Muito obrigado pelo seu tempo!

[emviveros]

Agora estou explorando o help e apareceram dois problemas:

1. Ao tentar usar o VsCode, recebo a mensagem de erro: [py4pd] Failed to execute command: code -g ''/Users/esteban.viveros/Music/PureData/externals/py4pd//py.py':12'. Já testei no terminal e o mesmo comando abre o arquivo py.py no VSCode sem problemas.

2. Ao tentar instalar py4pd-score pelo subpatch [pd Libraries] eu recebo o erro: [py4pd.libs]: Request is not installed, send 'pip install request' to py4pd, tentei instalar enviando a mensagem solicitada e recebi:

Installing request in background, please WAIT ...
[py4pd] Failed to execute command: /usr/local/bin/python3.11 -m pip install --target '/Users/esteban.viveros/Music/PureData/externals/py4pd/resources/py-modules' request --upgrade
The instalation failed with error code -1

Mesmo depois de instalar o pacote requests (com s no final) com sucesso, ao tentar rodar a mensagem [install py4pd-score( , ainda continuo recebendo o mesmo erro de que preciso instalar a lib request (sem s).

[charlesneimog]

Muito obrigado pelos feedbacks!!! Por não usar Mac me escapa umas coisas bem bobas.

Nessa build o vscode deve estar funcionando.

https://github.com/charlesneimog/py4pd/actions/runs/7734827549

---

Sobre as bibliotecas, é um recurso que ainda não ta pronto. A ideia é que as pessoas que usem Python possam contribuir direto via Github em vez de pedir autorização para subir no deken. Mas eu tava testando com uns releases testes e apaguei eles, por isso não esta funcionando. Ve se acabo isso no fds.

Sobre o request de fato esta errado, é requests mesmo, errei na mensagem de erro.

[emviveros]

Fiz uns testes aqui. E tenho uns resultados (um bem estranho). O Estranho falarei por último.

1. O VSCode é chamado normalmente com a nova versão. Resultado: RESOLVIDO!
2. Agora a mensagem para instalar o requests está funcionando, porém não consegue encontrar a biblioteca mesmo após a instalação via py4pd. Pelo que ví, parece que realmente o py4pd não está instalando a lib requests.
   
   Fiz a instalação manual usando o pip, e somente após reiniciar o Pd o py4pd conseguiu encontrar a requests e retornou:
   
   Não sei o que significa o zero vermelho. Mas após clicar em libraries obtive na console do Pd as mensagens:

=> py4pd-upic: Use svg files as scores.
=> py4pd-score: Simple Scores in PureData

Resultado: py4pd não instala biblioteca request.

3. Isto eu não consegui reproduzir, porém, ao trocar pela nova versão não consegui usar o py4pd, sendo exibidos diversos erros. Reiniciei o computador e continuou igual (infelizmente não tirei nenhum print). Para poder continuar explorando voltei a versão anterior, e reparei que não estava sendo criada na nova versão a pasta pycache. Voltei a versão nova que você disponibilizou com a pasta pycache da outra versão e passou a funcionar. Daí tentei excluir a pasta para entender se estava acontecendo uma falha na criação, mas continuou funcionando e agora a versão nova cria a pasta pycache. A única coisa que acontece é que sempre que instalo as versões novas que você está disponibilizando, o MacOS dispara um alerta de segurança e eu preciso ir nas configurações do sistema e autorizar manualmente o py4pd.d_amd64 para rodar. Não sei se era algum problema nisso. Mas a primeira autorização foi feita antes de reiniciar a máquina. Então.. Não sei.

[charlesneimog]

Então,

1. É normal ter que reiniciar o Pd depois de instalar um package de Python, eu alterei como os packages são instalados e esqueci de colocar a mensagem de reiniciar o Pd, eu vou colocar de novo.
2. Quando você usa py4pd para instalar os packages ele vai instalar dentro de um pasta chamada py-modules dentro de resources que fica dentro da pasta do objeto, não no seu conda enviroment.
3. Sim, como não tenho aqueles certificados da Apple e to compilando usando os Mac do Github meus binarios provavelmente vão disparar o erro mesmo.

Você pode testar uma coisa para mim. Ir dentro de py4pd/resources/ e apagar a pasta py-modules. Dai reinicia o py4pd instala o requests, reinicia de novo e tentar ver se o erro relacionado com request some. Você ainda não vai conseguir instalar as bibliotecas py4pd-upic ou py4pd-score!

[emviveros]

Opa.. Massa demais! Testo sim! Vamos lá..

1. Perfeito! Muito obrigado.

2. Deixa eu ver se entendi. Testei aqui de criar um novo conda env, com python 3.11, setei no arquivo py4pd.cfg a linha packages = /Users/esteban.viveros/miniconda3/envs/pd_py_noExt/lib/python3.11/site-packages. Não instalei nenhum external e tudo funcionou pois as libs estão da pasta py4pd/resources/py-modules.

2.1 O ambiente conda só fornecerá uma versão de python para utilizar, não as libs. É isso?

2.2 Para trabalhar em dois projetos com libs diferentes eu preciso ter pastas py-modules apropriadas para cada projeto e fazer a substituição manualmente na pasta do external py4pd sempre que for trabalhar no projeto?

2.3 Existe alguma forma de criar pastas py-modules na pasta do patch criado? Isso resolveria a necessidade de ter que linkar as bibliotecas no conda e manteria as libs independente em cada projeto. Talvez até já seja assim e eu não estou sabendo utilizar ainda.

3. Tranquilo. Isso é só autorizar. Depois que tivermos passado por tudo posso fazer uns tutoriais de como autorizar nas versões mais novas do MacOS para você colocar na documentação se achar necessário.

4. Sobre o teste que você pediu, seguem os resultados:
   4.1 Apaguei a pasta py-modules e reiniciei o Pd, que mostrou erros acusando a ausência do nunpy como esperado:
   

4.2 Instalei as libs numpy e requests via py4pd

4.3 Cliquei para instalar o py4pd-score e não obtive erro relacionado com o requests e continua com a indicação de impossibilidade de baixar py4pd-score como você disse.

4.4 Cliquei para ver as py4pd libraries

Sobre as duas libs que está dizendo terem sido instaladas, não encontrei nenhuma evidência e nem sei ainda como utilizar

[charlesneimog]

Top, excelentes pontos e isso não esta na documentação rsrs.

Packages

1. Quando vc utiliza um ambiente conda py4pd so adiciona aquele path no search patches do Python. Isso permite que você utilize os mesmos packages sem ter que reinstala-los. py-torch, por exemplo é grande, então você poderia utilizar de um lugar só. Mas eu optei por não instalar packages novos lá para não correr o risco de desconfigurar os envs conda. Enfim, é mais para não mexer em vespeiro rsrs.

2. Usar ambientes conda é mais pro pessoal que usa Python, py4pd tenta fazer tudo visual assim o pessoal que não ta acostumado com terminal pode usar também. Por isso essa ideia de biblioteca, que é permitir o uso dessas coisas, por exemplo, por pessoas da graduação e tals.

3. Sobre a questão de py-modules para patches. Isso já está implementado, você pode, antes de install utilizando pip install mypackage, enviar pip target local para instalar os packages na mesma pasta na qual o patch de pd está. Eu fiz mais uma seção no help-patch para documentar isso. Vê se você consegue entender por lá, que dai resolve seu problema e já fica pronto.

4. Os erros eram pra acontecer mesmo, eu já consertei e vou subir as bibliotecas novas assim como os links e outros menores erros.

Bibliotecas

Criar bibliotecas: Dentro do help-patch, na parte de libraries, você vai ver um py4pd -lib py, ele ta carregando uma biblioteca local, dentro de py.py você tem uma função chamada py4pdLoadObjects (no final) é la que eu adiciono objetos Python para o Pd. Você também pode criar um meuscript.py local e criar um objeto py4pd -lib meuscript. Dentro dele você precisa definir a função py4pdLoadObjects ou meuscript_setup e você adiciona seu objetos usando pd.add_object. Eu não sei se vc viu isso, se sim ignore se não veja isso: https://py4pd.readthedocs.io/en/latest/python-users/pylibrary/

Usar bibliotecas: Para as bibliotecas, outra questão que esqueci mesmo. Elas vão ser carregadas como objetos de Pd, mas pra isso você precisa adicionar o objeto py4pd -lib py4pd-upic ou py4pd -lib orchidea, ou py4pd -lib py4pd ou o nome da biblioteca que você instalou. Essa última py4pd é uma biblioteca interna. Mas já vi um problema, o usuário não tem como saber quais objetos foram adicionados.

Nova Build

Aqui está uma nova build que tem a correção para instalar bibliotecas: https://github.com/charlesneimog/py4pd/actions/runs/7776330378

[emviveros]

Agora estou começando a entender melhor como funciona. Vou seguir fazendo uns testes e qualquer coisa eu volto a abrir outra discussão sobre novos assuntos. Por hora acho que sobre o uso do Conda com o py4pd está bem claro.

Na documentação em: https://charlesneimog.github.io/py4pd/pd-users/methods/#packages fica bem claro como utilizar dentro do patch, além do método de edição manual do arquivo py4pd.cfg localizado na pasta do py4pd dentro em externals.

Também a necessidade de reiniciar o Pd ao instalar um novo Python package é algo que pegou nas dificuldades iniciais.

Adicionalmente a referência da documentação de sugestão de como organizar as pastas (https://py4pd.readthedocs.io/en/latest/python-users/pylibrary/) também é muito clara e é um plus desta discussão usando conda e py4pd.

Muito obrigado mesmo! Vai ser uma jornada bem boa com muitas possibilidades. Em breve conversamos mais sobre o que for aparecendo. E fico à disposição para ajudar no que for necessário com o MacOS.

[charlesneimog]

Massa, muito obrigado pelos feedbacks!!!

Eu tentar melhorar o aviso de reiniciar o Pd, ou talvez ver se consigo fazer o Python realizar o sys.path.

Obrigado!