1


Feb. 24, 1995
To: Sam Tramiel
Jon Correll
John Skruch
From: Leonard Tramiel
Re: Testing

I have been quite proud over the past years of the quality of the software that our company has released. By "quality," I mean the very low bug rate and the lack of stupid mistakes. Lately, this has been more and more difficult to maintain. Often the bugs are not found by the test department but by testing done by the more informal testers we have always used. Some bugs have gotten out. The reasons that we have let out software with either obvious bugs or stupid mistakes are:
We need software and this is better than being late enough to fix it.
This is not a problem. (In my judgement it is not worth fixing)
This is not a problem. (It is too painful to fix)
No one noticed the bug.
The bug was noticed but not considered important.

The recent examples of bugs and stupid mistakes are many, they include:
Lack of driving control in Chequered Flag
Network Failure in Doom
Poor fighting control in Kasumi Ninja
Not enough difference in the difficulties in Iron Soldier
Bad level arrangement in Iron Soldier (The third one is HARD!)
The save game is too easy in Wolfenstein 3D
The cheats are too easy in Doom
The difficulty progression in Bubsy is wrong
These range from minor annoyances to major problems. They all should have been caught by test. In at least one case (Doom) the problems were known to the test department and the game went out anyway! This may have been a conscious decision like the release of Club Drive but I don't believe they all were.

The reason for this memo is not to remind you of what most of you already know. The reason is to make sure you know what happened with Hover Strike.
Like all games Hover Strike has special things that can go wrong. Many games have their own special weakness and many share a weakness with an entire genre.
Hover Strike has such a weakness. It is the danger of "escaping" from the world. Each Hover Strike mission takes up part of a very large possible universe and it is important for the player to not escape from planned mission. If the player does escape the best thing that is likely too happen is he will get totally frustrated because he cannot finish the level. The worst thing that could happen is the game would crash. This weakness is not a surprise and has been known for a long time. The testers have reported the possibility of escape from some missions in the past so there can be no doubt that the testers knew about the issue.

Hover Strike was signed off by the test department today. The test report makes no mention of any problems with "going over the edge" of a mission. After the game was signed off I decided to try the final level (an Ice world) because I have never beaten the game. While playing I went over the edge of the world and I became basically impossible for me to finish the level. This happened as a result of fairly normal game play. I did not try to go over the edge. Next I tried to repeat this problem, it was very easy. I then told the lead tester what had happened and he repeated the problem in less than 30 seconds. This problem occurred in almost EVERY mission. After this problem was discovered one of the testers said something like "It was no big surprise that the Ice world had the problem, they were notorious. But when I tried I got out of just about ALL of the worlds". This tells me that a known weakness of the game was not adequately tested. It is not a matter of the testing requirements being unknown. It is not a matter of the bug being obscure or difficult to reproduce. It is a matter of the entire test department never checking to see if a previously reported bug had resurfaced.

The test department has gone thru many changes of personnel lately. It now consists entirely of people with very little experience in testing and a test leader with virtually no experience in leading. It seems that the
test department no longer understands how to test. I fear that the test department no longer knows what test is. Testing is not just playing the game, or even beating the game. Testing is breaking the game. Finding the weaknesses and pounding on them without mercy. Testing is doing all the sick things that people might try. Testing is a creative task not a rote one.

BTW: John, I actually missed Juli. One of the many functions of test that I did not mention above is to guard against typos. It seems that no one does this anymore. The last bug fixed before Friday's retracted release was a repeated word on two consecutive lines.


2

Intéressant smile
avatar
"- Nigga you know what the fuck I want, nigga: I want your motherfuckin' Daytons, and your motherfuckin' stereo! And I'll take a double burger with cheese!
- WHUT?"
I LOVE TO HATE/I HATE YOUR LOVE -AND I CAN'T FEEL AFFECTION FOR PEOPLE LIKE YOU!
CAALGOOONNNNN [TELLMESOMETHINGIDONTKNOW SHOWMESOMETHINGICANTUSE PUSHTHEBUTTONS CONNECTTHEGODDAMNDOTS] (Si Dieu existe il doit me détester...)

3

ça montre surtout a quel point certains employés d'Atari étaient vraiment de gros blaireaux...sick

4

ioui je crois que tu as tout dit, donc plus de surprise.
avatar
"Baissez les yeux mon divin père, je ne suis qu'un grain de poussière" La Fille d'Octobre - Sur ma Lune

Vous chercher d'un hôtel de charme à Paris ? Les Hôtels du Pré

Association Retro-gaming Connexion : http://www.retro-gc.fr Retrouvez nous aussi sur FaceBook!
Mes achats et mes ventes.

5

Je crois qu'il savait que les jeux avaient des bugs mais ils les sortaient quand même ?
me trompe-je ?
Atari Jaguar :
http://perso.orange.fr/jaguar-64bit/

! Jagware !

6

oui cettains pas tous.
avatar
"Baissez les yeux mon divin père, je ne suis qu'un grain de poussière" La Fille d'Octobre - Sur ma Lune

Vous chercher d'un hôtel de charme à Paris ? Les Hôtels du Pré

Association Retro-gaming Connexion : http://www.retro-gc.fr Retrouvez nous aussi sur FaceBook!
Mes achats et mes ventes.

7

oui c ça
enfin là tu vois qu'ils s'en sont rendu compte surtout après coup, puisque les testeurs disaient que c'était bon alors que ça ne l'était pas...

8

cf : la discution sur jaguar interactive II,

Le prob, c'est que ce que Tramiel declare comme bug n'en sont pas en réalité ! C'est plutôt des blèmes de maniabilité (gameplay qu'on doit dire smile)

Ca demontre surtout l'ambiance qui devait regner dans le bunker Atari à l'epoque...j'veux dire par là qu'avec d'autres dirigeant....j'vous laisse imaginer smilesmile)

9

a ton avis pourquoi le n° c'est cassé (il sest barré non ?)
avatar
"Baissez les yeux mon divin père, je ne suis qu'un grain de poussière" La Fille d'Octobre - Sur ma Lune

Vous chercher d'un hôtel de charme à Paris ? Les Hôtels du Pré

Association Retro-gaming Connexion : http://www.retro-gc.fr Retrouvez nous aussi sur FaceBook!
Mes achats et mes ventes.

10

quel n° ?

cts : oui ce ne sont pas des bugs, mais c'est tellement gros que ça aurait du etre signalé par le groupe de test
Un grope de test ça ne reporte pas que des bugs mais aussi de gros pbs de maniabilité etc

11

Je voulais dire le N°2 de chez atari don Thomas, il est paeti ou on l'a viré ?

Et c'est vrai que la maniabilité chekered Flag est innomable ou bien celle Club Drive et de Hover Strike.
avatar
"Baissez les yeux mon divin père, je ne suis qu'un grain de poussière" La Fille d'Octobre - Sur ma Lune

Vous chercher d'un hôtel de charme à Paris ? Les Hôtels du Pré

Association Retro-gaming Connexion : http://www.retro-gc.fr Retrouvez nous aussi sur FaceBook!
Mes achats et mes ventes.

12

parti il me semble... ou alors il est resté jusqu'au bout ?

13

non il est aller chez sony america, peut-être avant l'envolée des ventes auw usa, 3/4 mois avant.
avatar
"Baissez les yeux mon divin père, je ne suis qu'un grain de poussière" La Fille d'Octobre - Sur ma Lune

Vous chercher d'un hôtel de charme à Paris ? Les Hôtels du Pré

Association Retro-gaming Connexion : http://www.retro-gc.fr Retrouvez nous aussi sur FaceBook!
Mes achats et mes ventes.

14

ah oui c vrai donc il est bien parti de lui meme

15

il a sentie le vent tourné.
avatar
"Baissez les yeux mon divin père, je ne suis qu'un grain de poussière" La Fille d'Octobre - Sur ma Lune

Vous chercher d'un hôtel de charme à Paris ? Les Hôtels du Pré

Association Retro-gaming Connexion : http://www.retro-gc.fr Retrouvez nous aussi sur FaceBook!
Mes achats et mes ventes.

16

oui effectivement je me souviens d'avoir lu un de ses commentaires à l'époque

17

Il a écrit un livre l'Histire des Jeux Vidéo aux éditions pocket.
avatar
"Baissez les yeux mon divin père, je ne suis qu'un grain de poussière" La Fille d'Octobre - Sur ma Lune

Vous chercher d'un hôtel de charme à Paris ? Les Hôtels du Pré

Association Retro-gaming Connexion : http://www.retro-gc.fr Retrouvez nous aussi sur FaceBook!
Mes achats et mes ventes.

18

tu l'as ?

19

non, mais je l'ai comander il y quemque moisde celaj'ai oublié d'aller le chercher.

Mais je devrais bientôt recevoir Zap: the rise and the fall of atari
avatar
"Baissez les yeux mon divin père, je ne suis qu'un grain de poussière" La Fille d'Octobre - Sur ma Lune

Vous chercher d'un hôtel de charme à Paris ? Les Hôtels du Pré

Association Retro-gaming Connexion : http://www.retro-gc.fr Retrouvez nous aussi sur FaceBook!
Mes achats et mes ventes.

20

bien tu me le preteras si cela ne te dérange pas wink

21

je pense qu'il avait un budget et qu'il fallait des résultats !
Léonard Tramiel était pas si méchant que ça ! et ça devait pas être facile pour lui
d'être commandé par son frère et son père ?
Atari Jaguar :
http://perso.orange.fr/jaguar-64bit/

! Jagware !

22

il me semble effectivement que les caractères ds la famille étaient très différents...

23

Voilà un article vraiment très intéressant. On comprend mieux maintenant pourquoi certains jeux contiennent des défauts aberrants... Merci !
Florian M.