<div><div dir="auto">thanks, nikolay!  oe</div></div><div dir="auto"><br></div><div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, 19 Nov 2019 at 09:12 <a href="mailto:nikolaiv@uio.no">nikolaiv@uio.no</a> via RT <<a href="mailto:support@metacenter.no">support@metacenter.no</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><br>
Shall be OK now.<br>
<br>
On Mon Nov 18 14:25:38 2019, <a href="mailto:oe@ifi.uio.no" target="_blank">oe@ifi.uio.no</a> wrote:<br>
<br>
    dear colleagues,<br>
<br>
    some of our NLPL users point out that for the past several days it has<br>
    been very slow to see 'vanilla' single-gpu jobs scheduled on Saga.<br>
<br>
    just now, it appears that one user has effectively saturated the gpu<br>
    queue, but their jobs actually hardly seem to utilize the gpus<br>
    currently.  please see the attached results of the following commands<br>
<br>
    squeue -p accel > /tmp/accel<br>
    for i in $(squeue -p accel | egrep 'c[0-9]-[0-9]$' | sort -u | awk<br>
    '{print $NF}'); do \<br>
      ssh $i nvidia-smi | grep Default; \<br>
    done > ~/nvidia-smi.log<br>
<br>
    i realize it is difficult to 'police' users, but in this specific case<br>
    i feel this colleague might benefit from some feedback on 'good' usage<br>
    patterns, and more generally i have been wondering whether the<br>
    scheduler could seek to maintain some fairness across users, i.e.<br>
    prohibit a single account from being granted the vast bulk of<br>
    available resources (while there are pending jobs by other users)?<br>
<br>
    with thanks in advance, oe<br>
<br>
<br>
<br>
<br>
</blockquote></div></div>