Pode não parecer, mas o responsável pelo carregamento lento do seu site pode ser o Cloudflare. Às vezes, você está com um provedor de hospedagem tão bom que a CDN do Cloudflare só faz atrapalhar seu desempenho. Também pode acontecer do CF dificultar imensamente a descoberta de algum problema no site.
Não importa o motivo, mas dá pra usar o Cloudflare apenas como hospedagem de DNS. E segundo o DNSPerf, ele é um dos melhores nisso, especialmente na América Latina.
Se você ainda não tem site no Cloudflare
Você começa adicionando seu site normalmente, permitindo que o CF analise seus registros de DNS para você não ter que adicioná-los manualmente depois.
Faça as autenticações necessárias junto ao seu provedor de domínio alterando os DNS informados pelo Cloudflare. Espere que a verificação seja concluída e só então passe para a próxima fase.
Se seu site já está no Cloudflare
No painel do Cloudflare, clique no domínio que deseja alterar e vá para a página de DNS (DNS no meu principal).

Você vai alterar todas as nuvens laranjas (que estão passando pela rede do Cloudflare) para nuvens cinzas. Para isso, clique em Edit, clique na nuvem para desativá-la e depois em Save.
Faça isso com todos os registros de DNS que possuem a nuvem laranja.
Depois, vá até a página inicial do domínio (Overview no menu principal) e role a página até o fim, até ver o fim do menu lateral.

Clique em Pause Cloudflare on Site. Em seguida, aparecerá uma janela pedindo confirmação de que você quer proceder:

Clique em Confirm e prossiga. A partir de agora, você verá sempre um aviso na página principal do domínio e verá que as estatísticas de tráfego estão sempre zeradas.

O DNS continuará ativo, mas qualquer outro recurso do Cloudflare não funcionará, como por exemplo, regras de redirecionamento, certificados SSL, apps e outros.
É isso aí!