<div dir="auto">i would be curious to know how much storage goes to the commonly used subset of huggingface pre-trained models (and possibly other pre-trained files)?  much like for the NLPL vectors repository, that is the kind of data that should not be duplicated in user home directories, i.e. we might want to devise an NLPL 'transformers' module with many pre-trained models pre-installed.  is there a common subset of such models, or would one be possibly be forced to just download everything that is available through the huggingface hub?</div><div dir="auto"><br></div><div dir="auto">oe</div><div dir="auto"><br></div><div><br>
<br>
On Mon, Nov 16, 2020 at 2:17 PM Andrey Kutuzov <<a href="mailto:andreku@ifi.uio.no" target="_blank">andreku@ifi.uio.no</a>> wrote:<br>
><br>
> Should we indeed schedule a meeting focused on the topic of storage? :)<br>
><br>
><br>
> On 16.11.2020 11:32, Vinit Ravishankar wrote:<br>
> > Hi folks,<br>
> ><br>
> > Have any of you figured out a way to store libraries that doesn’t involve using Saga storage? I’ve cleared up most of my personal data but my virtual environments and transformers cache add up to around 100 GiB. Can’t do much with the transformers cache either, because the library won’t auto-download temporarily if you’re running on GPU.<br>
> ><br>
> > – Vinit<br>
> ><br>
><br>
><br>
> --<br>
> Andrey<br>
> PhD Candidate at Language Technology Group (LTG)<br>
> University of Oslo<br>
</div>