DevPlay: 1.000 Bugs pro Woche – So testen deutsche Entwickler ihre Spiele - video Dailymotion

GameStar Plus

Wie wird aus einem wackeligen Prototyp ein poliertes Spiel zu Release? Wie mühsam ist der Prozess tatsächlich, um Bugs aufzuspüren? Und warum reicht »einmal drüberspielen« bei Weitem nicht aus? Darüber quatschen die Jungs von DevPlay in dieser Folge.       Bei DevPlay sprechen erfahrene deutsche Entwickler zusammen mit ihren Gästen über ihre Erfahrungen in der Spielebranche oder geben ihre professionelle Einschätzung zu aktuellen Themen. Dieses Mal sind mit dabei:      - Jan Theysen ( King Art Games , Bremen)   - Adrian Goersch ( Black Forest Games , Offenburg)   - Björn Pankratz ( Pithead Studio , Ruhrgebiet)       Über diese Serie   Auf dem Youtube-Kanal  DevPlay  geben deutsche Spieleentwickler einen Blick hinter die Kulissen:  Wie funktioniert die Spielebranche in Deutschland?  Wie stehen die Designer zu Trends à la Open World und Künstliche Intelligenz? Wie lief die Arbeit an Spielen wie  Lords of the Fallen  oder  Risen 3 ? Neue Folgen ihrer Talkrunde veröffentlichen die Designer  vorab exklusiv  auf  GameStar Plus , und zwar im Regelfall jeden Sonntag.

Transcript

00:00Hallo und herzlich willkommen zu einer neuen Folge von Devplay. Ich bin Jan von Kingard aus Bremen.

00:08Und Adrian von Black Forest Games in Offenburg.

00:12Und ich bin der Björn von PIDED Studios im Ruhrpott.

00:16Und wir haben gedacht, wir reden heute mal darüber, was man so alles machen kann und sollte vielleicht,

00:23um ein Spiel möglichst bugfrei und möglichst qualitativ hochwertig auf den Markt zu bringen.

00:29Weil ich glaube, das Ganze ist komplexer, als man vielleicht manchmal so denkt als Spieler.

00:33Weil das ist nicht nur so, ja, dann spielt man das halt mal und wenn da ein Fehler ist, dann fixt man das.

00:37Sondern das Ganze ist ein ziemlich großes Unterfangen.

00:40Und es gibt auch viele verschiedene Arten von Testing.

00:43Weil manchmal geht es halt darum, wirklich Bugs zu finden.

00:46Manchmal geht es darum zu gucken, macht die Story ja nicht Sinn?

00:49Oder ist das Spiel zu schwer? Oder läuft das technisch alles und so?

00:52Also es gibt verschiedene Sorten von Tests.

00:55Und wir haben gedacht, okay, wir sprechen einfach mal darüber, was gibt es so alles?

00:59Was kann man alles machen?

01:01Genau, vielleicht fangen wir sozusagen von klein zu groß.

01:05Björn, vielleicht erst mal bei euch.

01:07Du bist Indie oder ihr seid als Indies unterwegs.

01:10Ihr habt jetzt keine große QA-Abteilung, wie sich das nennt.

01:13Irgendwie viele Leute, die da das Spiel den ganzen Tag testen und irgendwie Bugs reporten.

01:17Was macht ihr, um sicherzugehen, dass das Spiel möglichst bugfrei ist und möglichst gut funktioniert?

01:23Okay, hatten wir damals bei Piranha Bytes auch nicht eine große Abteilung.

01:26Die haben wir meistens rausgegeben.

01:28Aber was wir zwischenzeitlich auf jeden Fall gemacht haben, ist immer zu Weihnachten,

01:32also so ein Zyklus, wenn wir ein Spiel gemacht haben, haben wir immer so drei Jahre gedauert.

01:36Und dann war immer zu Weihnachten so die Christmas Edition, haben wir die genannt.

01:39Und das ist eine Version von dem Spiel, wenn es spielbar war, die jeder spielen sollte im Team.

01:46Der Bock hatte, sich das mal anzugucken, was da so fabriziert worden ist.

01:50Ich nenne das immer gerne Unit-Testing, obwohl das Quatsch ist.

01:53Weil Unit-Testing ist eigentlich außer Programmierung.

01:56Du baust eine Unit und machst dann im Grunde genommen, testest da drauf rum.

02:01Und hast dann irgendwie später dann im großen Kollektiv im Spiel dann so das ganze Spiel.

02:09Aber ich nenne es trotzdem immer so, weil es dann so ein interner QA-Test ist.

02:13Und das machen wir jetzt auch.

02:14Das heißt also, erstmal müssen wir intern die Sachen einmal durchtesten.

02:18Ich habe jetzt Folgendes bei Kralon gemacht.

02:20Ich habe jetzt erstmal die Story implementiert und habe jetzt erstmal den roten Faden gelegt

02:24und jetzt die ganzen Logik-Sachen, die Story-Logik-Sachen.

02:26Die sind sehr kompliziert und das ist halt immer so, wenn es irgendwo einen Plottkiller gibt,

02:30dann ist immer die Story, ist dann meistens schuld.

02:34Und dann musste das zumindest schon mal sitzen.

02:37Das heißt also, dann weiß ich, dass es an der Story jetzt nicht liegt,

02:41sondern dass irgendein AI-Bug drin ist oder das System kaputt ist oder irgendwie sowas.

02:45Dann gibt es den zweiten Lauf zusammen mit allen Sachen, weiß ich nicht, Tuning-Geschichten.

02:50Das erste Mal raten, wie wird gesteigert, wie werden Sachen verteilt,

02:54welche Items sind drin, wie viele Monster sind drin, wie viele Schläge brauche ich und so weiter.

02:59Diese ganzen Sachen.

03:00Und die werden dann an einem zweiten Run gemacht, durchgespielt von vorne bis hinten,

03:06bevor wir das dann extern rausgeben an die ersten kleineren Teams.

03:10Also das heißt so Freunde von uns oder befreundete Hochschulen oder sowas in der Art.

03:16Dann machen wir im Grunde genommen so einen Verständnistest, zu gucken,

03:19ob das, was wir uns hier zusammengebraten haben, überhaupt da draußen ankommt

03:22und dieses überhaupt verstehen, was wir da wollen, was das überhaupt für ein Spiel ist.

03:25Und Wunschkonzert gerne auch nochmal einholen und zu gucken, ob man on Track ist.

03:30Und dann kommt sozusagen so der richtige QA-Test.

03:33Das heißt, dann geht es in eine professionelle QA, die das Spiel dann tatsächlich nach Liste abhakt

03:39und sagt, okay, es gibt da diese Bereiche in dem Spiel, die müssen alle mal durchgetestet werden.

03:44Ich muss in jede Ecke mal einmal gelatscht sein, damit ich nicht durch ein Level falle.

03:47Diese ganzen Sachen dann tatsächlich dann von grobe ins feine, kann man sagen.

03:55So machen wir das als Indie und das haben wir früher bei Piranha Balls genauso gemacht im Prinzip.

04:00Ja, okay. Cool.

04:01Ja, da hast du jetzt ja schon verschiedene Aspekte sozusagen geschrieben.

04:04Einmal geht es wirklich um Bugs und einmal geht es sozusagen mehr darum,

04:07wie fühlt sich das Spiel an und ist das verständlich und so weiter.

04:10Das eine, das ist halt so klassisch QA nennt sich das, also Quality Assurance.

04:14Da geht es wirklich darum, Bugs zu finden im Wesentlichen und auch Bugs zu reproduzieren und zu versuchen,

04:21also reproduzieren ist mal so ein großes Ding.

04:23Wenn irgendjemand sagt, hey, ich hatte dieses Problem, das Spiel ist abgestürzt,

04:26dann ist natürlich so, ja, okay, aber wer soll das fixen oder wie soll man das finden?

04:30Und dann versucht man halt, das zu reproduzieren.

04:32Man sagt halt, ah, okay, ich habe diese Tür geöffnet und dann habe ich da auf das Ei geklickt

04:37und dann habe ich irgendwie, keine Ahnung, und dann ist es abgestürzt

04:40und dann versuchen wir das nochmal und dann stürzt es natürlich nicht mehr ab

04:43und das ist dann halt immer das, was die QA machen muss, reproduzierbare Bugs zu machen.

04:47Und natürlich, QA ist auch immer dafür da, wenn dann ein Bug gefixt wurde

04:51oder vermeintlich gefixt wurde, nochmal zu checken, aber auch wirklich gefixt wurde,

04:54weil manchmal denkt man, ja, okay, ich habe es gefunden.

04:57Und in Wirklichkeit war das dann, entweder ist der Bug nicht gefixt

05:00oder man hat das Problem nur ein bisschen nach hinten geschoben

05:02und jetzt ist das eine zwar gefixt, aber das nächste funktioniert trotzdem noch nicht.

05:07Und das andere, was du gesagt hast, so diese, ist das Spiel zu schwer?

05:12Versteht man das? Wie viele Schläge braucht man jetzt, um irgendwie das Monster zu kriegen?

05:16Das geht ein bisschen mehr so in diese Richtung Playtest, nennt sich das,

05:20ja, wo man halt irgendwie sagt, okay, man lässt Leute das Spiel spielen

05:23und holt sich Feedback ein und versucht halt irgendwie rauszukriegen,

05:27was könnte man tun, damit es mehr Spaß macht, besser ist, was auch immer.

05:32Adrian, bei euch, Björn hat eben schon gesagt, externe QA.

05:35Okay, hattet ihr, oder habt ihr interne QA, habt ihr externe QA, habt ihr beides?

05:40Wie habt ihr das bei eurem Projektmeister gemacht?

05:42Warte, wir haben beides.

05:44Also einmal eine interne QA, die laufend mittestet in der Entwicklung.

05:53Dann kannst du mir das zur QA geben und sagen, hier, check das mal ab.

05:55Und das kann eben alles, alles umfassen, technische Probleme, ja, oder einfach nur funktioniert's.

06:03Aber eben auch Gameplay-Feedback, das ist die eine Geschichte.

06:08Und dann gibt's vom Publisher in der Regel eine, sagen wir mal so Early-Production-Phase

06:22oder Vertical-Slice-Phase, wo du so eine Art Playtest kriegst,

06:27wo du ein Erkenntnis bekommst von professionellen Unternehmen, Agenturen, was auch immer.

06:36die Feedback geben und dir sogar schon sagen, ja, das Spiel würde eine Metakritik von 72 kriegen.

06:43Also kriegst du dann schon in dieser Early-Phase, sagen die, wagen die sich aus dem Fenster zu lehnen

06:48und zu sagen, hey, so sieht's aus.

06:50Und dann sagt der Papsch, hey, was geht los?

06:52Ja, wir wollten nicht 72, wir wollten 77.

06:54Also das ist so ein, so ein, ja, das ist noch kein Fokus-Gruppentest,

07:01weil es tatsächlich dann dann spezielle Leute gegeben wird.

07:05Ja, aber dann gibt's eben später dann diese Fokus-Gruppentests, die du auch extern machst.

07:08Und dann kommt die Phase, wo du gegen Ende der Produktion, Alpha, Beta,

07:17wo du anfängst, wirklich große externe QA-Firmen reinholst,

07:23die das Spiel regelmäßig testen.

07:25Und da ist natürlich auch so ein Punkt, wenn du so ein Open-World-Spiel hast,

07:29wo du alles Mögliche machen kannst, ist es natürlich extrem aufwendig.

07:33Aber du musst eigentlich alles Möglichkeiten, dreht dir den Fels um oder nicht,

07:38hat den Stein, läuft dir dahin.

07:40Und das ist natürlich viel aufwendiger als ein paar Jahre das Spiel hast

07:42und das machst du halt mit einer externen QA-Firma.

07:46Und dann gibt's noch das Submission-Testing, wo es eigentlich darum geht,

07:50nur zu testen, würde das bei der Konsolen-Submission durchgehen,

07:53hast du vielleicht jetzt irgendwie bei einer Switch-Version noch den Xbox-Button drin,

07:58hast du diese ganzen speziellen Anforderungen, die die Konsolen haben,

08:03da musst du ja alles Mögliche abtesten.

08:04Was weiß ich, du drückst auf CD-Auswurf und gleichzeitig ziehst du den Stromstecker

08:12oder schaltest das Internet ab, kannst du da auf dein Spiel wieder zugreifen.

08:17Da gibt's ja riesenverrückte Listen.

08:19Und da gibt's auch nochmal spezielle QA-Tests.

08:22Ja, genau.

08:23Ja, das ist halt gerade am Ende der Entwicklung auch wirklich intensiv,

08:28was die Anzahl der Leute angeht, weil dann wirklich viele Leute häufig testen müssen.

08:32Weil das Problem ja tatsächlich ist, dass sozusagen diese ganzen Varianten getestet werden müssen.

08:38Wenn man jetzt Kreiler nimmt zum Beispiel, da wird's halt, okay, du hast mit dem einen geredet,

08:41erst mit dem einen oder erst mit dem anderen geredet und dann hast du erst die Quest gemacht und dann die

08:45und das muss trotzdem funktionieren und so.

08:47Und das sind natürlich dann, ich sag mal, das ist so ein Baum, der da aufgeht.

08:51Und dann gibt's viele verschiedene Arten und Weisen, wie man da durch diesen Baum durchkommt.

08:54Und das muss dann natürlich irgendwann im Idealfall halt jetzt mal getestet worden sein.

09:00Und dann gibt's halt irgendwann, also bei uns ist es jetzt momentan so, bei Dawn of War,

09:05wir haben auch eine interne QA und wir haben eine externe QA, die beide sozusagen einfach ständig testen,

09:10was immer wir machen.

09:11Und dann haben wir halt immer so punktuell spezielle Themen, dass wir halt sagen,

09:14okay, jetzt wollen wir hier wirklich mal ein Multiplayer oder irgendwelche, was soll ich was, testen.

09:21Jetzt müssen da mehr Leute drauf oder jetzt wollen wir die Kampagnen testen,

09:23jetzt müssen da mehr Leute drauf.

09:24Und das ist dann tatsächlich, wenn man sich das vorstellt, keine Ahnung,

09:28dann dauert eine Kampagne, was weiß ich, 40 Stunden, um das einmal durchzuspielen.

09:33Das ist halt eine komplette Woche, beziehungsweise wenn du dann noch die Bugs aufschreiben musst und so,

09:36das ist mehr als eine Woche, vielleicht zwei, für eine Person, um sie einmal durchzuspielen.

09:40Aber das reicht natürlich nicht, weil du in Wirklichkeit die Kampagne vielleicht auf viele verschiedene Art und Weisen spielen kannst,

09:45mit vielleicht verschiedenen Spielfiguren oder was auch immer.

09:48Und dann kommt da natürlich sehr schnell sehr viel Zeit zusammen.

09:51Und dann hast du da halt auf einmal, keine Ahnung, zehn Leute sitzen,

09:54die halt nichts anderes tun, als das Spiel zu testen.

09:57Was dann auch richtig Geld kostet.

09:59Was dann auch richtig Geld kostet, genau.

10:01Weil wenn ich jetzt so an PCP2 denke,

10:05also jetzt rein ist externe Testing,

10:07da sprechen wir schon von mittleren bis hohen sechsstelligen Summen,

10:11die der Publisher dann nochmal extra bei Input hat.

10:14Ja, das ist viel.

10:16Und vor allem, was glaube ich auch viele Leute vielleicht draußen nicht immer so ganz auf dem Schirm haben,

10:20ist, wie viele Bugs man findet.

10:25Oder sozusagen, also, weißt du, man hat manchmal so dieses,

10:29ich habe manchmal das Gefühl, weißt du, du veröffentlichst ein Spiel

10:31und da kommt halt irgendwo, ist dann im irgendein Forum,

10:32oh, ich habe einen Bug gefunden, so, weißt du, nach dem Motto,

10:35wie kann das sein, hier ist dieses eine Ding drin.

10:38Und dann ist immer meine erste,

10:39mein Bauchgefühl ist immer, den zu sagen,

10:41hey, in der Endphase der Entwicklung fixen wir

10:44tausend Bugs pro Woche.

10:47Also das ist so, das ist,

10:49also wirklich, da sitzen haufenweise Leute dran,

10:51die nichts anderes tun, als Bugs reinzuschreiben,

10:54Bugs zu fixen, Bugs zu testen und keine Ahnung.

10:56Und da ist so viel Krims-Krims, was schief gehen kann.

11:00Das ist halt Wahnsinn.

11:01Und deswegen, also, du kannst es nie hundertprozentig bugfrei machen,

11:06aber klar, je früher du anfängst mit der QA

11:09und je ernsthafter du das nimmst, desto höher ist natürlich die Chance,

11:12dass du am Ende auch wirklich ein Projekt hast,

11:16was möglichst bugfrei ist, sozusagen.

11:20Dann haben wir ja noch das Thema Regression.

11:22Das heißt, du fixst irgendwas mit,

11:25auf irgendeine Art und Weise,

11:26was dann vielleicht drei andere Sachen kaputt macht.

11:29Ja, genau.

11:29Und, genau.

11:32Und Björn, ja, du meintest eben Playtests,

11:34also ihr lasst dann sozusagen,

11:37ihr holt euch Feedback von Leuten an,

11:39die das Spiel spielen.

11:40Wie macht ihr das?

11:41Macht ihr dann eine Umfrage oder guckt ihr denen über die Schulter?

11:44Oder wie kriegt ihr sozusagen mit,

11:46was funktioniert und was nicht funktioniert?

11:47Ja, also, erst mal die Demo auf der,

11:52auf den jeweiligen Conventions, auf denen wir waren.

11:55Wir waren jetzt auf der Polaris, haben das Spiel da ausgestellt,

11:57dann waren wir auf der Gamescom,

11:59dann waren wir auf der Fantasy Basel und der RPV,

12:02Rollpaverse,

12:03und da kam natürlich unheimlich viel Feedback zusammen,

12:06was Menschen sich wünschen und was,

12:08ob man da auf dem richtigen Weg ist,

12:09ob das spannend genug ist, ob die Leute Bock haben.

12:12Wir haben die auch geupdatet, die Demo,

12:14das heißt, die war nachher zwei bis drei Stunden lang.

12:17Und da kriegt man eigentlich schon ein ziemlich gutes Gefühl,

12:18wenn man irgendwelche wildfremden Menschen,

12:20die Interesse an deinem Spiel haben, dann spielen lassen.

12:24Und da weißt du eigentlich schon, wo du stehst.

12:27Für mich ist das immer so die Shitstorm-Liste.

12:30Das heißt also, ist immer so,

12:32der Shitstorm ist halt Kritik am Spiel,

12:35was alles schlecht ist und so, ja, jetzt als Sinnbild.

12:38Und da hast du halt so die Menschen, die sich das angucken

12:41und wie oft wird was erwähnt, ne?

12:43Das ist ja Teacher-Request irgendwie.

12:45Ja, ich möchte aber gerne mit U-Boot fahren können

12:47oder, keine Ahnung, mit Motorrad oder sowas, ja?

12:50Irgendein Wunsch.

12:51Kommt einmal vor, merkt man sich vielleicht oder auch nicht

12:54und schreibt sich das vielleicht auf oder auch nicht,

12:57dann ist das eine Einzelmeinung, dann ist das nicht schlimm.

13:00Aber wenn man dann halt schon das öfter hört und so,

13:02dann merkt man so, ah, okay, ich muss mir das mal aufschreiben.

13:04Ich glaube, ich muss mich da mal drum kümmern.

13:06Und Bugs sowieso, ist klar.

13:08Ja, obwohl nach 100 Leuten, die sich das Spiel dann angeguckt haben,

13:11hat man eigentlich schon ein ziemlich gutes Gefühl dafür,

13:14wo man da steht, ne?

13:16Ja.

13:17Aber wirklich sozusagen konkret, wie kriegst du das mit,

13:20also wie kriegst du raus, was die Leute meinen?

13:23Sprichst du mit denen?

13:24Ist das einfach nur, okay, lass mal drüber reden?

13:28Oder hast du irgendwie, sagen wir mal, bestimmte Fragen,

13:29die du stellst?

13:30Ist das wirklich ein Interview oder eine Umfrage?

13:33Erstmal auf den Conventions, erstmal nur ein Gefühl.

13:36Ich gucke den Menschen über die Schulter.

13:37Ich habe ja 25 Jahre auch nichts anderes gemacht als Computerspiele, ja?

13:42Und deswegen habe ich da schon Gefühle für,

13:44was jetzt tatsächlich wichtig ist und was nicht.

13:47Also dann ist das halt so, dass man sich das anschaut

13:50und immer mit einem Zettel und einem Block zum Schreiben

13:53irgendwie daneben sitzt und sich anguckt.

13:55Okay, hier hat er Probleme.

13:56Der findet den Schlüssel nicht.

13:58Warum nicht?

13:58Ist der nicht präsent genug?

13:59Hin und her und dies und das und so.

14:00Und dann geht man manchmal auch hin und fragt.

14:02Aber Tester sind meistens an einer Stelle dann sofort verbrannt,

14:06wenn sie einmal ein Problem hatten

14:07und du hast erkannt, was das Problem ist,

14:11kann diese Person, dass sie dieselbe Situation nicht noch einmal testen.

14:14Das heißt, es müssen unterschiedliche Leute sein,

14:16die sich das dann angucken.

14:17Das heißt, der Nächste, der völlig unvermittelt

14:19nichts von Schlüssel gehört hat oder so,

14:22einfach da reingeht in die Situation

14:23und ja, wieso, der Schlüssel ist doch da,

14:24ist doch kein Problem.

14:26Muss man das auch nochmal öfter verifizieren,

14:28ob man da jetzt einen besseren Job gemacht hat oder nicht.

14:30Aber im Prinzip ist es das.

14:32Es gibt ja diese Listen,

14:34die man tatsächlich,

14:35Adrian hat das gesagt,

14:37Fokusgruppentests.

14:38Das ist ja so ein typischer Fall,

14:40wo man Menschen unterschiedlichste Art,

14:43Spielertypen, Art,

14:45Gelegenheitsspieler, Hardcore-Zocker,

14:48Shooterspieler, Adventure-Spieler,

14:49was auch immer, kann man sich aussuchen,

14:51die für dein Spiel sich interessieren.

14:54Dann gibt man denen einen Fragebogen

14:55und schreibt dann da auf,

14:56was man glaubt,

14:58was jetzt abgefragt werden sollte.

15:00Leider ist es auch so an der Stelle,

15:02dass man durch die Fragestellung an sich

15:04auch schon beeinflusst.

15:07Ja.

15:07Deswegen mag ich solche Sachen eigentlich nicht.

15:10Das ist so irgendwie,

15:12das ist so eine selbsterfüllende Prophezeiung so.

15:15Ja, wie hat dir das denn gefallen?

15:16Wie fandest du dies?

15:17Wie fandest du das?

15:18Da kriegst du meistens so,

15:19wenn du einen wohlwollenden Spieler hast,

15:20immer so, wenn du fünf hast

15:22und dann kriegst du immer eine vier.

15:23Ganz toll war es nicht,

15:24weil dem anderen Spiel war es besser.

15:25Oder es ist halt alles drei.

15:27Das ist irgendwie,

15:28oder es ist null.

15:30Also es ist halt schwierig,

15:33da wirklich,

15:34sag ich mal jetzt,

15:36die Fragestellung so zu formulieren,

15:38dass sie nicht beeinflusst.

15:39Das ist die Heisenbergsche Unschärferelation

15:41bei so einem Fragebogen.

15:43Und deswegen bin ich eigentlich eher ein Fan davon,

15:46tatsächlich den Leuten über die Schulter zu schauen

15:48und dabei zu sein,

15:50während Menschen spielen unterschiedliche Menschen.

15:52Diese Fragebögen,

15:53da halte ich überhaupt nichts von.

15:55Ja, nee, ich mach das tatsächlich auch sehr gerne.

15:56Das ist halt dann auch wieder eine Zeitfrage,

15:58aber das ist halt wieder das Problem.

16:00Weil du hast dann halt,

16:02du musstest dir ja nicht nur einmal angucken,

16:04sondern dann,

16:05wenn der Zweite mit dem Schlüssel,

16:06den musst du dir am besten auch wieder angucken und so.

16:08Und wenn das dann halt jedes Mal

16:09Stunden und Stunden dauert sozusagen,

16:11dann ist es halt irgendwann echt ein Zeitproblem.

16:14Also wir haben das jetzt halt momentan

16:15bei Dawn of War,

16:16dass wir jetzt externe Playtests machen lassen,

16:19wo halt,

16:21ich weiß jetzt die genaue Zahl nicht,

16:22aber jetzt haben wir 20 Leute

16:23das Spiel testen,

16:25von ein paar aus den USA,

16:26ein paar aus Europa und keine Ahnung,

16:28mit den verschiedenen Spielerprofilen,

16:30was du gerade gesagt hast.

16:31Und die halt alle aufgenommen werden,

16:33werden sie das Spiel testen.

16:34Und wir kriegen dann am Ende

16:35einerseits so eine Art Zusammenfassung

16:38und basierend auf Interviews,

16:40die sie mit denen machen

16:40und Fragebögen und so weiter,

16:42gibt's dann halt,

16:43okay,

16:43das ist so der generelle Vibe,

16:45das ist das,

16:46was die Leute grob denken.

16:48Wir kriegen dann aber auch die ganzen Aufzeichnungen

16:51und dann siehst du halt,

16:52du siehst den Bildschirm

16:53und du siehst die Webcam

16:54und keine Ahnung

16:55und dann sind das aber

16:57100 Stunden oder noch mehr,

16:59deutlich mehr,

17:00an Videos.

17:02So,

17:02und das ist natürlich dann auch wieder was,

17:03was sich niemand wirklich angucken kann.

17:04Du kannst halt dann nicht einen Monat lang sitzen

17:06und dir die Videos angucken.

17:08Manchmal ist es dann halt,

17:09okay,

17:09man hat dann,

17:10der folgende Spieler hatte Problem mit,

17:12keine Ahnung,

17:13Benutzeroberfläche

17:13und dann sagst du,

17:14okay,

17:14welcher Spieler war das

17:15und wo war das ungefähr

17:16und dann guckst du vielleicht ins Video

17:17und guckst halt,

17:18welche Knöpfe er da

17:19oder was er versucht hat zu tun

17:21und was er tatsächlich getan hat.

17:22Aber das ist halt schon

17:23einfach die Menge von Daten

17:27ist dann halt echt

17:28auf einmal ein riesiges Problem.

17:30Ja,

17:30das ist auch schon,

17:31diese Fragen sind schon,

17:34aber auch wirklich so ein Thema,

17:37dass du da schon eine Beeinflussung hast.

17:39Wir hatten mal ein Thema gehabt

17:40mit dem Producer,

17:42mit dem externen Producer,

17:43der einfach ein Feature

17:44ganz anders gesehen hat.

17:46Der hätte das gern anders gehabt,

17:48wollte es so nicht haben

17:49und dann gab es auch

17:51einen Fokusgruppentest

17:52und der Producer

17:54hat die Fragen zusammengestellt

17:55und du hast genau gesehen,

17:56wie er mit diesen Fragen lenkt,

17:58dass da die Leute...

17:58Leaving Questions,

18:00ja.

18:01Nee,

18:01das ist ein Problem.

18:02Ich bin da auch kein Riesenfreund

18:03von Filing,

18:04was man nie machen darf ist,

18:05man darf halt einfach nicht

18:06diese Ergebnisse

18:07von den Playtests nehmen

18:08und sagen,

18:10okay,

18:10also einfach nur sagt uns A oder B,

18:12okay, die haben B gesagt,

18:13mach mal B,

18:14sondern man muss ja auch sozusagen,

18:15wenn jemanden,

18:16keine Ahnung,

18:16jetzt ein bestimmtes Level

18:18oder ein Feature

18:18oder irgendwas nicht gefallen hat,

18:20dann haben die vielleicht

18:21eine bestimmte Meinung,

18:22warum sie denken,

18:23es hat ihnen nicht gefallen,

18:23aber in Wirklichkeit

18:24hat es ihnen vielleicht

18:24aus anderen Gründen

18:25nicht gefallen

18:26oder,

18:27keine Ahnung,

18:28vielleicht ist das Problem

18:29in Wirklichkeit ein anderes

18:30und das sind halt dann eben,

18:32also man darf da nicht

18:32das Gehirn ausschalten

18:33und dann einfach,

18:34ah, das haben die gesagt,

18:35also ist das so,

18:35sondern ich sag mal,

18:37es sind halt erstens wenig Leute,

18:38das kommt auch dazu,

18:39wenn zufällig zwei Leute

18:40von denen eine Meinung haben,

18:41dann heißt das halt nicht,

18:43dass zehn Prozent der Spieler

18:43oder zwanzig Prozent der Spieler

18:45halt irgendwie

18:46dieselbe Meinung unbedingt haben

18:47und das ist natürlich auch,

18:49das kommt auch wieder

18:50so ein bisschen zu diesen,

18:51wie werden die Fragen gestellt

18:51und so dazu,

18:53die sind halt in einer

18:53besonderen Situation,

18:54die werden dafür bezahlt,

18:55dass sie dieses Spiel spielen

18:57und die haben nichts anderes zu tun,

18:58außer das Spiel zu spielen

18:59und wenn du dann halt

19:00so Fragen stellst,

19:01wie, ja, keine Ahnung,

19:04wie wahrscheinlich ist es,

19:06dass so ein Spiel

19:06weitergespielt hätte,

19:07ist dann, keine Ahnung,

19:08ja, keine Ahnung,

19:08das ist eine komplett andere Situation,

19:10das ist halt nicht

19:10die normale Spielsituation,

19:12in der sie das Spiel spielen.

19:13Dementsprechend muss man schon

19:14sehr aufpassen,

19:15was da die Fragen sind.

19:17Hatred, ich lasse nicht,

19:18habt ihr das mal gemacht

19:19in irgendeiner Form,

19:20weil jetzt sozusagen

19:20der nächste Step

19:21ist ja,

19:23dass man sagt,

19:23okay,

19:24weil es so viel ist

19:25und weil da so viele Leute

19:26nötig sind

19:26und weil es so teuer ist,

19:28kann man Testing

19:29automatisieren.

19:30Also kann man halt sagen,

19:31wir haben irgendwelche Bots,

19:32wir haben irgendwelche Systeme,

19:34die automatisch testen

19:36oder was Björn vorhin meinte,

19:37mit NavMesh,

19:37kann man irgendwo

19:38durchs NavMesh durchfallen,

19:39sind das halt Sachen,

19:40anstatt dass da die Leute

19:41rumrennen müssen,

19:42dass man einfach sagt,

19:42okay, wir lassen Bots rumrennen.

19:43Habt ihr damit mal experimentiert?

19:45Wir haben es mal getestet

19:46und wir haben mal

19:47so Systeme getestet

19:48und die sind auch schon,

19:50die sind schon gut,

19:52ja.

19:52Und damals war es bei uns so,

19:54dass sich es nicht ganz gerechnet hat,

19:56ja,

19:56das ist ja,

19:57weil die auch nicht billig waren.

19:58Ja.

20:01Aber das,

20:02das ist glaube ich schon

20:03eine gute Sache,

20:04ja,

20:04also wenn du das rechnerisch

20:05hinkriegst,

20:05dass du da,

20:06dass das günstiger wird

20:07als,

20:08als,

20:08äh,

20:09Mensch,

20:09die QA

20:09und die einfach

20:10durchlaufen zu lassen,

20:11ja,

20:12sagt er dir,

20:13äh,

20:14das Spiel

20:14ist spielbar,

20:15ja,

20:16oder kriegst ausgeworfen,

20:17da und da hängt es einfach mal aus,

20:19kannst es gar nicht durchspielen,

20:21da nicht.

20:21Wir haben es getestet

20:22und wir waren eigentlich auch

20:23überzeugt davon,

20:24es hat sich einfach nur,

20:25äh,

20:25finanziell nicht gerechnet.

20:26Warum?

20:27Woran nicht das?

20:28Weil,

20:28weil das Tool so viel gekostet hat?

20:30Ja,

20:31das Tool so viel gekostet hat.

20:32Okay,

20:32interessant.

20:33Kann man das nicht selber irgendwie,

20:34irgendwann mal selber programmieren?

20:36Wie sieht das aus?

20:37Das ist das,

20:37was wir jetzt gemacht haben tatsächlich.

20:39Wir haben uns das für,

20:39für,

20:40dann noch mal auch angeguckt

20:41und wir haben jetzt gesagt,

20:42okay,

20:42sowas wie zum Beispiel,

20:43ist die Kampagne durchspielbar?

20:45Das ist halt ein Ding,

20:46das musst du eigentlich jedes Mal,

20:47wenn du das Spiel neu baust,

20:48musst du das testen,

20:49aber du kannst dich jedes Mal

20:50diese riesige Kampagne spielen

20:52und jetzt haben wir halt gesagt,

20:53okay,

20:53wir programmieren,

20:54wir haben ja eh KI im Spielen,

20:55keine Ahnung

20:56und wir bauen jetzt einen kleinen Bot,

20:58der halt einfach nur,

21:00ich sag mal,

21:00die Ziele verfolgt,

21:01die der Spieler hat,

21:02also ich soll folgenden Punkt erobern,

21:03ich soll folgenden Punkt erobern

21:04und dann soll ich folgende Basis zerstören.

21:06Okay,

21:07das ist kein Nass Ding

21:08und,

21:09äh,

21:09am Ende ist es einfach nur,

21:11ja,

21:11Mission lief durch.

21:13Das Ding weiß natürlich nicht,

21:14ob da jetzt irgendwie

21:15die Grafik kaputt war

21:16oder ob da jetzt irgendwie,

21:17keine Ahnung,

21:17das zu schwer oder zu leicht war,

21:19also für sowas taucht das dann nichts,

21:21aber es kann zumindestens testen,

21:23funktioniert es prinzipiell,

21:25lädt die Mission überhaupt

21:26oder,

21:26äh,

21:27wie wert?

21:27oder hängt das irgendwo oder so,

21:29wird die Mission nicht beendet

21:30und für solche Sachen

21:31haben wir das jetzt tatsächlich gemacht,

21:33wo wir es auch gemacht haben,

21:34ist sowas wie,

21:34wir haben dann so,

21:35zum Beispiel sowas wie eine,

21:36äh,

21:37eine Endless Battle gemacht,

21:39wir haben halt einfach eine,

21:40eine Mission gemacht,

21:41äh,

21:41also,

21:42eine Playing gemacht in der Mission

21:43und einfach nur alle Units

21:45kommen da ständig reingelaufen

21:46und kämpfen gegeneinander

21:47und wenn du jetzt einfach mal testen willst,

21:49sind halt,

21:50sind die Animationen richtig,

21:51sind die Effekte drin,

21:52werden Sounds gespielt und so,

21:54dann soll halt einfach

21:54in diese Endless Battle gehen

21:56und guckst halt,

21:57ähm,

21:57funktioniert das richtig,

21:58funktioniert das nicht

21:59und solche Sachen,

22:00das macht glaube ich schon Sinn,

22:01weil du dann halt,

22:02wie gesagt,

22:02das kannst du nicht von Hand testen,

22:04so und,

22:05äh,

22:05du freust dich halt auch echt,

22:06wenn's dann stressig wird,

22:07so zu Release oder so,

22:09wenn du dann halt einfach sagen kannst,

22:10okay,

22:11schmeiß das Ding an

22:12und morgen früh weiß ich,

22:13ob das funktioniert oder nicht

22:14und ich muss da nicht eine Woche

22:15drauf warten,

22:15ne?

22:16Cool.

22:17Also das macht, äh,

22:18das macht schon echt cool,

22:20so ein Ding.

22:20Genau.

22:21Und ich glaube,

22:22das Letzte,

22:22was es noch gibt,

22:23was häufig gemacht wird

22:24oder zumindestens,

22:24wenn man,

22:25wenn man Multiplayer mit im Spiel hat,

22:27sind halt so Lasttests und sowas,

22:29dass man halt sagt,

22:29okay,

22:30man macht jetzt,

22:31äh,

22:31lässt einen Haufen Bots

22:32halt einfach das Spiel spielen

22:34und das geht dann alles um den Server

22:35und man sagt,

22:36okay,

22:36was passiert denn,

22:37wenn jetzt am Starttag auf einmal,

22:38keine Ahnung,

22:3920.000 Partien gleichzeitig gespielt werden,

22:41ähm,

22:41wird dann,

22:42okay,

22:43was macht die Backen dicht

22:44und, äh,

22:44oder dicke Backen

22:45und dann sagst halt,

22:46okay,

22:47funktionieren oder funktionieren nicht.

22:49Ist für uns Indies

22:50überhaupt nicht praktikabel,

22:51ne?

22:51Also da müsste man sich tatsächlich

22:52wirklich mit beschäftigen,

22:53das ist ja Fulltime-Job sowas,

22:55ne?

22:55Ja, ja.

22:55So machen und so weiter.

22:57Ich meine,

22:57was dann, glaube ich,

22:58eher gemacht wird,

22:58das ist auch was,

22:59was wir, ähm,

23:00wieder machen wollen,

23:01weil wir es bei Iron Harvest

23:02hier gemacht haben,

23:03ist halt tatsächlich dann so

23:04Alpha- und Beta-Tests zu machen,

23:05vielleicht auch mit der Community zusammen,

23:06dass man halt eben wirklich sagt,

23:08gerade wenn sowas

23:09so ein Balancing für ein ATS,

23:10das ist so komplex

23:11und das kriegst halt echt nicht hin,

23:12ähm,

23:13einfach theoretisch

23:13und du kannst halt nicht

23:15Tausende von Spielen selber spielen

23:16oder Tausende von Partien

23:17und dass man dann halt sagt,

23:19hey,

23:19wir machen einen Alpha-Test,

23:20wo wir Leute einladen

23:21und sagen,

23:21hey,

23:21spielt mal,

23:22gib uns mal Feedback,

23:23ähm,

23:24also im Prinzip einen Playtest,

23:25aber mit mehr Leuten

23:26und, äh,

23:27dass man dann vielleicht auch sagt,

23:28okay,

23:29Before Release macht man vielleicht

23:30eine Close-Beta

23:32oder Open-Beta

23:33oder sowas,

23:33wo man einfach sagt,

23:34okay,

23:35mal für ein Wochenende

23:36oder so,

23:37ähm,

23:37spielt man häufig,

23:38weil dann können wir erstens

23:39die Technik testen

23:40und zweitens können wir

23:40nochmal Feedback kriegen

23:41kurz vor Release,

23:42ähm,

23:42ob wir irgendwas

23:43beim Balancing

23:43oder so hin haben.

23:44Nop.

23:45Also was ja auch

23:46wichtig oder hilfreich ist,

23:49ist,

23:49wenn du so ein,

23:50ähm,

23:51so,

23:51ja,

23:52Daten erfasst,

23:53Telemetrie,

23:54Daten erfasst,

23:55äh,

23:55wo du dann nachher

23:56checken kannst,

23:57okay,

23:57was passiert eigentlich

23:58in deinem Spiel,

23:59wo,

24:00du hast eine Demo

24:01zum Beispiel rausgehauen

24:02und kannst du sehen,

24:03okay,

24:04wo,

24:04wo hingen die Spieler,

24:06ja,

24:06wo sind sie nicht weitergekommen?

24:08Das ist auch ein sehr guter Punkt,

24:09weil das ist auch häufig

24:10besser als die Umfragen,

24:12ähm,

24:12weil du dann halt einfach siehst,

24:14niemand spielt diese Unit,

24:16okay,

24:16irgendwas scheint mit der Unit

24:17nicht zu stimmen,

24:18die scheinen zu schwach zu sein

24:19oder andere scheinen zu stark zu sein,

24:21weil sonst würden Leute

24:22einfach mehr diese Unit spielen,

24:23ne,

24:23und das ist dann halt sozusagen

24:24interessante Infos,

24:27die du aus den Daten

24:27sozusagen ziehen kannst,

24:28ne.

24:28Ja,

24:29ist das nicht umstritten,

24:31dass das Tool

24:32nach Hause telefoniert,

24:33das Spiel?

24:34Ist das noch?

24:35Du fragst auf jeden Fall,

24:36also du fragst halt,

24:36hey,

24:37ist das okay?

24:37Und wenn Leute sagen,

24:38nee,

24:39ist nicht,

24:39dann ist das ja auch okay,

24:40weil du brauchst nicht

24:42zehntausende oder hunderttausende Leute,

24:43ich sag mal,

24:44wenn du tausend Leute hast oder so,

24:45das reicht schon,

24:47um statistisch relevant zu machen.

24:49Interessant,

24:50cool.

24:50Ja,

24:51cool.

24:51Okay,

24:51also das waren all die verschiedenen Arten

24:53und Weisen,

24:54wie man ein Spiel testen kann

24:56und trotzdem,

24:58wie gesagt,

24:59es wird nie ein komplett

25:00bugfreies Spiel geben,

25:01das ist dann der ultimative Test,

25:03ist dann der Release

25:04und dann die Patches,

25:06die man hinterher schickt

25:07und irgendwann hat man es dann

25:08vielleicht mehr oder weniger

25:10bugfrei.

25:11Aber es ist wirklich so,

25:12wir bemühen uns

25:13und das ist ein großes Thema

25:14in der Spieleentwicklung

25:16und da wird halt wirklich viel Zeit

25:18und Ressourcen auch eingesteckt.

25:19Also es ist nicht so,

25:20dass man das ignoriert

25:23und einfach sagt,

25:23ach,

25:23das passt schon.

25:25Aber wie gesagt,

25:26es ist einfach ein ultrakomplexes Thema,

25:27weil so viele Dinge schiefgehen können.

25:29Wie gesagt,

25:30am Ende einer Entwicklung

25:32hast du zehntausende Bugs gefixt

25:34und ein paar sind dann noch drin.

25:37Ja,

25:37wir hoffen,

25:38das hat euch gefallen.

25:39Wie immer,

25:39wenn ihr Fragen habt

25:41oder Vorschläge für Themen,

25:42schreibt das gerne unten in die Comments.

25:44Ansonsten,

25:45wir sehen uns wieder

25:46bei der GameStar auf YouTube

25:47und überall da,

25:48wo es gute Podcasts gibt.

25:49Bis dann.

25:50Ciao.

25:51Tschüss.

25:52Tschüss.

25:53Tschüss.

25:54Tschüss.

25:55Tschüss.

25:56Tschüss.

25:57Tschüss.

25:58Tschüss.

25:59Tschüss.

26:00Tschüss.

26:01Tschüss.

26:03Tschüss.

26:05Tschüss.

26:07Tschüss.

26:09Untertitelung des ZDF, 2020

DevPlay: 1.000 Bugs pro Woche – So testen deutsche Entwickler ihre Spiele

Kategorie

Transkript

Schreibe den ersten Kommentar

Empfohlen