<div><div dir="auto">across multiple nodes?  oe</div></div><div dir="auto"><br></div><div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, 27 Jan 2020 at 15:07 Andrei Kutuzov <<a href="mailto:andreku@ifi.uio.no">andreku@ifi.uio.no</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">27.01.2020 14:29, Stephan Oepen wrote:<br>
>> Antti can tell about the exact GPU stuff needed. We will run the tutorial on puhti since this is a tried and tested environment for us, and we have little time to prepare, so we play it safe. But Antti can tell what it takes to run the BERT code.<br>
> yes, if possible, i could see myself try and replicate your software<br>
> environment on Saga ... the multi-gpu part sounds like an interesting<br>
> new challenge :-)!<br>
Hi all,<br>
<br>
Well, at least TensorFlow has no problems with multi-GPU training on<br>
Saga, works more or less out of the box.<br>
<br>
<br>
-- <br>
Andrei<br>
PhD Candidate at Language Technology Group (LTG)<br>
University of Oslo<br>
</blockquote></div></div>