00:00Okay, guys, so last lecture
00:04I have closed. I said that in the next lecture
00:06we will basically model comparison
00:08which is actually validating the data
00:11Now, how do we do the model comparison
00:15which is what is the criteria
00:17which we will compare on the top of the model
00:20Let's see, let's see, here we have 100 patients
00:25we have split 3 parts
00:27we have 3 sets
00:303 sets, the first set was training
00:32we have model trained
00:34the second set was validation set
00:36validation data
00:37we have model tuned
00:39and tune in one important term
00:41I used to say hyperparameter
00:44we have at the moment
00:46we have hyperparameter exist
00:48and then we will see what works
00:50Okay, now, the question is
00:54that I have training data
00:57I have model trained
00:58so, my model
00:59was the same thing
01:01which was the same thing
01:02which has been told
01:03that my model
01:04is actually trained
01:05and that it will be
01:06so, it will be
01:07so, it will be
01:08so, it will be
01:09let's call this model accuracy
01:10okay, I will tell you
01:12model accuracy
01:13okay, I will tell you
01:14model accuracy
01:15and I will tell you
01:16let's say, 98%
01:17let's say, 98%
01:18my model
01:19accuracy
01:20training
01:21okay, I will tell you
01:22I will tell you
01:23I will tell you
01:24now, when we go to test
01:25test data
01:26we have model
01:27to deploy
01:28normal
01:29normal
01:30normal
01:31normal
01:32normal
01:33expected
01:34outcome
01:35validation
01:36your test data
01:37your test data
01:38your test data
01:39your accuracy
01:40your accuracy
01:41will come
01:42as compared to
01:43the accuracy
01:44which you have
01:45training
01:46achieve
01:47let's say, you have
01:48test accuracy
01:4992%
01:50this is a good indication
01:52this is a good indication
01:55however, those scenarios exist
01:58you can have
01:59a scenario
02:00one scenario
02:01that you have
02:02when you compare
02:03your model
02:04to your training
02:05accuracy
02:06I will tell you
02:07training
02:08accuracy
02:09let me say, this is a good indication
02:10test data
02:12accuracy
02:13this is a good indication
02:14and this is not true
02:15and this case
02:16modal accuracy
02:17is very good
02:19based on
02:20model accuracy
02:21that you have
02:22two cases
02:25existing
02:26Model accuracy is very very large than training accuracy. Sorry, test accuracy.
02:34Okay.
02:35This case is called overfitting.
02:38Overfitting.
02:41F I W T I N G.
02:42It's not that I can explain it to you for example.
02:46The other case is that model accuracy is very very less.
02:52Very very.
02:53That is very very less.
03:04Sمجھ رہے ہیں میری بات کو.
03:06Acha.
03:07To doosرا case کیا ہے?
03:08Test accuracy is very very greater than model accuracy.
03:14Isco کہتے ہیں underfitting.
03:16Underfitting.
03:18Underfitting.
03:20Ab, ذرا اپنے غور کرنا ہے.
03:22Overfitting کی case یہ ہے.
03:25For example, آپ کے پاس ایک data آیا.
03:26ٹھیک ہے.
03:27اس طرح کے example تھی.
03:29ٹھیک ہے.
03:31اور آپ نے overfitting آپ کا model کر رہا ہے.
03:34Overfitting کیسے?
03:35کہ وہ ہر point کے through جا رہا ہے.
03:37یار.
03:37یہ دیکھئے.
03:38یہ overfitting ہے basically.
03:39ٹھیک ہے.
03:41However,
03:42اگر آپ اس data کو replicate کریں گے.
03:44نئے data set میں.
03:45تو maybe یہ ایسا perform نہ کریں.
03:47اس کی میں ابھی آپ کو example دیتا ہوں.
03:48اور underfitting کی case میں imagine کریں.
03:50یہ آپ کے پاس کچھ data ہے.
03:52جو اس طرح سے جا رہا ہے.
03:54اور آپ کا جو model ہے.
03:55وہ predict یہ سیدھا line یہ کر رہا ہے.
03:57تو وہ کہہ رہا ہے.
03:58کہ جو اس کا جو اگلا point ہے.
03:59وہ بجائے یہاں ہونے کے.
04:01وہ basically یہاں پہ ہوگا.
04:04جو غلط predict کر رہا ہے نا.
04:05اس کو کہتے ہیں underfitting.
04:07اب ذرا میں آپ کو اس کی ایک example دیتا ہوں.
04:09ذرا.
04:09یا ہماری common world سے.
04:11imagine کریں.
04:12کہ آپ ایک school کا bus route system بنا رہے ہیں.
04:17جس میں بچوں کو school کے لیے bus نے اٹھانا ہے.
04:20imagine کریں جی.
04:21یہ bus کا stop ہے.
04:23ٹھیک ہے.
04:24آپ میں اس کو یہاں پہ ایک round سے represent کر رہا ہوں.
04:27ٹھیک ہے.
04:28اور یہ basically school ہے.
04:30یہ bus کا stop ہے.
04:31ٹھیک ہے.
04:31اور یہ ایک school ہے.
04:33ٹھیک ہے.
04:34تو اس کے درمیان بہت سارے بچے رہتے ہیں.
04:37کوئی یہاں پہ رہتا ہے.
04:38کوئی یہاں پہ کوئی یہاں پہ کوئی یہاں پہ رہتا ہے.
04:41ٹھیک ہے.
04:41تو یہ سارے بچوں کے گھر ہیں.
04:44اب آپ نے ایک ایسا route design کرنا ہے bus کا.
04:48ایک ایسا model بنانا ہے.
04:51کہ بچوں کو اپنے گھر سے کم سے کم چلنا پڑے.
04:56ٹھیک ہوگی بات.
04:57یعنی کہ بچے اپنے گھر میں رہتے ہیں.
04:58یہ جو cross نظر آرہے ہیں.
04:59یہ بچوں کے گھر ہیں.
05:00اب بچوں کو اپنے گھر سے کم سے کم pedal چلنا پڑے.
05:03بس ٹاپ پہ آنے کے لیے اس طریقے سے آپ نے bus کا route بنانا ہے.
05:06اب آپ کہتے ہیں یار میرے پاس unlimited resources ہیں.
05:09میں چاہتا ہوں میرے model کی accuracy 100% ہو.
05:13آپ کہتے ہیں no problem.
05:15یہ میں اس طرح کرتا ہوں.
05:17کہ بس ہر بچے کے گھر سے گزرے گی.
05:20اور ہر بچے کو اس کے دور سے اٹھائے گی.
05:22اور college چلی جائے گی.
05:23یہ آپ نے bus design کی.
05:24ٹھیک ہے.
05:26اچھا.
05:26اب ذرا آپ نے غور کرنا ہے.
05:28یہ یوں سمجھ لیجئے.
05:29یہ canvas ہے.
05:30city کا.
05:31سوری.
05:32میں اس کو replace کر کے تھوڑا سا.
05:34اس طریقے سے ڈال لیتا ہوں.
05:35یہ دیکھئے.
05:36یہ city کا canvas ہے.
05:38اب normally ہو کیا رہا ہے.
05:41کہ آپ کی جو basically model ہے.
05:45اگر میں اس کو اٹھاتا ہوں.
05:46اور میں کہتا ہوں یار یہ دیکھو.
05:48یہ آپ نے ایک model بنایا ہے.
05:50اور آپ یہاں پہ 100% accuracy لے رہے ہیں.
05:54اور یہ آپ کا basically کون سا data set تھا.
05:58اگر آپ پیچھے جائیں.
06:00تو یہ آپ کا model training data set تھا.
06:03training data set کے اوپر آپ نے کہا
06:05کہ یار میری accuracy 100% ہے.
06:08ٹھیک ہے.
06:09کسی بچے کو school سے چلنا نہیں پڑتا.
06:12میں کہتا ہوں اچھا چلو ٹھیک ہے.
06:13اگلا semester آ گیا.
06:14اگلے semester میں اس طرح کرتے ہیں.
06:17کہ ہمارے پاس ایک اور data set آ گیا.
06:21کسی اور.
06:22میں کہتا ہوں یار بات سنو.
06:23کہ یہ دیکھو.
06:25میرے پاس ایک اور school ہے.
06:26کیا تمہارا یہ model میرے کسی دوسرے school کے
06:29علاقے کے بچوں کو اٹھانے کے لیے valid ہوگا.
06:32اتنی accuracy دے گا.
06:33تو چلیے ٹیسٹ کرتے ہیں.
06:34میں اسی کو اٹھاتا ہوں.
06:35ٹھیک ہے.
06:36اور اس curve کو لے جاتے ہیں.
06:37یہاں پہ سیدھا.
06:38اور یہاں پہ ڈالتے ہیں.
06:39دیکھتے ہیں کہ اس کی accuracy کتنی آ رہی ہے.
06:41تو اب اگر آپ دیکھیں.
06:43تو اس کی accuracy تو کم ہو گئی ہے.
06:45مثال کے طور پہ.
06:53یہ ہنڈرڈ آ رہی تھی.
06:54یہ بھی exact نہیں ہے.
06:56ٹھیک ہے.
06:56اور imagine کریں.
06:57میں کہتا ہوں.
06:58یار چار student اور enroll ہو گئے ہیں.
07:00ایک یہ enroll ہوا.
07:01ایک یہ enroll ہوا.
07:02یہ ہوا.
07:02اور یہ ہوا.
07:04اب تو آپ کا model سب سے برا perform کر رہا ہے.
07:08ٹھیک ہے.
07:09اس کو کہتے ہیں overfitting.
07:11کہ آپ کے model کی accuracy 100% آئی.
07:14جب نیا model آیا.
07:14تو وہ وہاں پہ fit ہی نہیں ہوا.
07:16ٹھیک ہے.
07:17اچھا اب overfitting سے ہمیں دور رہنا ہے.
07:21ہمیں overfitting نہیں چاہیے.
07:22اور of course underfitting تو ویسے بھی نہیں چاہیے.
07:25آپ کہیں نہیں یہ میں سیدھا جاؤں گا.
07:26تو اب یہ دیکھئے کہ basically ہر student کو اتنا چلنا پڑے گا.
07:29اپنے school سے.
07:30اپنے bus stop سے.
07:32ٹھیک ہے.
07:34صحیح ہے نا.
07:35تو یہ بھی desirable نہیں ہے.
07:37outcome.
07:38تو underfitting اور overfitting دونوں سے ہم نے بچنا ہے.
07:41اور ہم نے basically ایک goldie lock یوں سمجھیں جیے.
07:45ایک in between راستہ ہم نے اختیار کرنا ہے.
07:49کہ ہم نے ایک ایسا model device کرنا ہے.
07:50جو کہ best طریقے سے outcome کو predict کرے.
07:55اور data کو represent کرے.
07:59ٹھیک ہے جی.
08:00تو یہ دیکھئے.
08:01یہ تھی validation test data.
08:05test data.
08:07اور یہ تھا validation data.
08:10ٹھیک ہے.
08:10اب آپ کا model validation data پہ صحیح کام کیا.
08:13test پہ آکے fail ہو گیا.
08:14اچھا.
08:14صحیح ہے.
08:15اچھا.
08:16اب اس کو کیونکہ یہ fail ہوا.
08:17کیونکہ یہ overfitted data تھا.
08:20overfitting کی وجہ سے یہ fail ہوا.
08:24اچھا.
08:24اب یہاں پہ ہم اس lecture کو کرتے ہیں close.
08:27ٹھیک ہے.
08:28اور next lecture کے اندر ہم لوگ.
08:31next section کے اندر ہم لوگ کو tools کی بھی بات کریں گے.
08:33اور کچھ اور چھوٹے موٹے concepts ہیں.
08:36ان کی بات کریں گے.
08:37ایک چیز اب ہمارے پاس رہ گئی ہے.
08:39وہ ہے جی final iterative process.
08:41اس کو next lecture.
Comments