<div dir="ltr"><div>Hi</div><div><br></div><div>Ah, the program changed, last time I heard we had 60min, now it is 80. Surely we can try squeeze Andrei in, welcome on board!</div><div><br></div><div>Antti can tell about the exact GPU stuff needed. We will run the tutorial on puhti since this is a tried and tested environment for us, and we have little time to prepare, so we play it safe. But Antti can tell what it takes to run the BERT code.</div><div><br></div><div>F<br></div><div><br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Jan 27, 2020 at 3:07 PM Stephan Oepen <<a href="mailto:oe@ifi.uio.no">oe@ifi.uio.no</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">



<div>
<div dir="auto">hi filip and antti,</div>
<div dir="auto"><br>
</div>
<div dir="auto">for your forthcoming BERT tutorial, i was wondering about two things: (1) what software environment do you require?  should we try pre-installing something on Saga?  specifically, which framework do you assume for the multi-gpu part?</div>
<div dir="auto"><br>
</div>
<div dir="auto">and, more content-wise: (2) filip and i had previously talked about the possibility of andrey kutuzov joining for part of your slot to share some of his experience on training language-specific ELMo models on Saga, see</div>
<div dir="auto"><br>
</div>
<div dir="auto">
<div><a href="http://wiki.nlpl.eu/index.php/Vectors/elmo/tutorial" target="_blank">http://wiki.nlpl.eu/index.php/Vectors/elmo/tutorial</a></div>
<br>
</div>
<div dir="auto">i checked with andrey last week, who would be prepared to use about twenty minutes on ELMo, if you felt you could afford it time-wise in your 80-minute slot?</div>
<div dir="auto"><br>
</div>
<div dir="auto">which reminds me, could i suggest that you also consider putting something like your BERT recipe on the NLPL wiki?  i suspect filip has a wiki account already, not sure about you, antti?  i could easily set you up for write access to the wiki,
 and i wlike to collect materials there as much as possible :-).</div>
<div dir="auto"><br>
</div>
<div dir="auto">looking forward to seeing you in the mountains!</div>
<div dir="auto"><br>
</div>
<div dir="auto">oe</div>
<div dir="auto"><br>
</div>
</div>

</blockquote></div>