Em geral, após 5 minutos de inatividade, aquela janela do terminal que você abriu pro SSH não funciona mais. Para evitar que suas sessões morram após este período, tente o seguinte:
Para habilitar a opção para todos os usuários no sistema, você deverá editar /etc/ssh/ssh_config. Se desejar que apenas o seu usuário seja capaz desta função, edite ~/.ssh/config.
Do lado do cliente
Como root, edite o arquivo indicado e adicione:
Host *
ServerAliveInterval 300
ServerAliveCountMax 2Do lado do servidor
Você também pode dizer para o servidor manter os clientes ativos, editando o mesmo arquivo, mas alterando as variáveis para as de baixo.
ClientAliveInterval 300 ClientAliveCountMax 2
Traduzindo
As configurações acima irão fazer o cliente (ou servidor) enviar pacotes nulos, mantendo a conexão ativa a cada 300 segundos (5 minutos) e só irá parar depois de 2 tentativas sem sucesso.