<div dir="auto">why should a user have a private installation of basic software like python or pytorch?</div><div dir="auto"><br></div><div dir="auto">ideally, the pre-installed NLPL modules should provide all common software (and data, where appropriate).  why are you not using those?</div><div dir="auto"><br></div><div dir="auto">alternatively, there is the $USERWORK area.  if you fully automate environment creation, e.g. from conda, then why not put your software stack on that more transient storage area?</div><div dir="auto"><br></div><div dir="auto">oe</div><div dir="auto"><br></div><div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, 18 Nov 2020 at 14:44 Vinit Ravishankar <<a href="mailto:vinitr@ifi.uio.no">vinitr@ifi.uio.no</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">My bad, I assumed it was some sort of binary because it was called python3.7<br>
<br>
– Vinit<br>
<br>
> On 18 Nov 2020, at 14:20, Andrey Kutuzov <<a href="mailto:andreku@ifi.uio.no" target="_blank">andreku@ifi.uio.no</a>> wrote:<br>
> <br>
> The Python binary is usually located in the 'bin/' directory, not 'lib/'.<br>
> <br>
> 'lib/' contains installed Python packages, and for this I indeed can<br>
> easily believe in 5 GiB and more. But not the Python executable/binary<br>
> itself: it rarely exceeds a few MiB in size, whatever are the Cython<br>
> optimizations or anything.<br>
> <br>
> But this is just to clear up the details. Of course the storage space<br>
> problem still persists, even if it is because of packages, not Python<br>
> binary.<br>
> <br>
> 18.11.2020 14:10, Vinit Ravishankar wrote:<br>
>> I am sure, I followed du -h and for eg. .miniconda3/envs/nlp/lib/python3.7 is 5 GiB. A quick Google search hints that this is because of Cython optimisation but I have no idea honestly.<br>
>> <br>
>> The size of the binary is different for different environments, so it seems to depend on the packages installed.<br>
>> <br>
>> – Vinit<br>
>> <br>
>>> On 18 Nov 2020, at 14:08, Andrey Kutuzov <<a href="mailto:andreku@ifi.uio.no" target="_blank">andreku@ifi.uio.no</a>> wrote:<br>
>>> <br>
>>> <br>
>>> 18.11.2020 13:47, Vinit Ravishankar пишет:<br>
>>>> The space issues aren’t just the huggingface models (though those<br>
>>>> are obviously an issue too) - a single virtual environment is multiple<br>
>>>> gigabytes worth of libraries, where just the python3.7 binary is often<br>
>>>> ~5 gigabytes.<br>
>>> Are you sure about that? What can I do to make the Python binary 5 GB worth?<br>
>>> <br>
>>> Just interested, may be I don't understand something.<br>
>>> <br>
>>> -- <br>
>>> Andrey<br>
>>> Language Technology Group (LTG)<br>
>>> University of Oslo<br>
>> <br>
> <br>
> <br>
> -- <br>
> Andrey<br>
> Language Technology Group (LTG)<br>
> University of Oslo<br>
<br>
</blockquote></div></div>