C'est vrai que le borrow checker peut être chiant, surtout quand on débute, mais c'est le prix a payer pour être sûr de pas faire de bêtises. Les lifetime avec l'habitude ça me dérange pas : il faut voir ça comme la documentation qu'on devrait produire en C pour que le code soit bien utilisé, sauf qu'on est obligé de la produire et l'utilisateur sera obligé de la respecter.
Les cas où on a vraiment besoin de l'unsafe pour améliorer les performances sont plutôt rares, et même quand c'est le cas ça n'est pas si grave car le code à risque est limité aux blocs unsafe qui sont très rares dans un code normal. Le but est que l'on ne puisse pas faire quelque-chose de dangereux par mégarde. Quand on doit utiliser un bloc unsafe, on est conscient qu'on va devoir être particulièrement prudent, et le relecteur aussi.