مرکز آموزش و رقابت برنامه نویسی پایتون

علوم داده و کاربردهای آن

مترجم : آزاده رضازاده همدانی


مقدمه :

به فرایند استخراج دانش  و دریافت درک, از بین حجم عظیم و متنوعی از داده­ها با سازماندهی , پردازش وتحلیل داده­ها , علوم داده می­گویند. علوم داده شامل تخصص­های متنوعی از جمله مدل­سازی ریاضی و آماری, استخراج داده­ها از منبع و همچنین بهره­گیری از تکنیک­های نمایش و بصری سازی داده­ها و همچنین شامل روش­های مدیریت داده­های حجیم به منظور استخراج داده­ها ی ساخت­یافته و ساخت نیافته می­باشد. در ادامه چند نمونه از کاربردهای علوم داده را خواهیم دید:

سیستم­های پیشنهاددهنده :

از آنجایی که خرید و فروش اینترنتی امروزه بسیار رایج و همه­گیر شده است, سیستم­های تجارت الکترونیک قادر به دریافت سلایق و اولویت­های خرید کاربران و همچنین ارایه محصولات متنوع در بازار می­باشند.این امر منجر به ساخت سیستم­های پیشننهاددهنده ای می­شودکه قادر به ایجاد مدل­ها یپیش بینی نیاز خریداران و نمایش محصولاتی است که خریدار با احتمال بیشتری آنها را خریداری می نماید.

مدیریت ریسک مالی:

تحلیل بهتر ریسک مالی شامل وام­ها و اعتبارات توسط بررسی عادات پرداخی مشتریان در گدشته, پیش فرض های گدشته, تعهدات مالی و بسیاری از شاخص های اقتصادی اجتماعی انجام می­شود. داده­ها از منابع متنوع و به فرمت­های متفاوت گرداوری می­شوند. سازماندهی این اطلاعات در کنار هم و بدست آوردن درک و بینشی درست از مشخصات مشتری­ها تنها به کمک علوم داده قابل انجام است. هدف از مدیریت ریسک مالی, به حداقل رساندن ضرر وارده ناشی از بدهی های بد به سازمان می­باشد.

بهبود خدمات بهداشت و درمان

صنعت بهداشت و درمان با طبف وسیعی از داده­ها که میتوانند به صورت داده­های تخصصی , داده­های مالی, اطلاعات بیمار, اطلاعات دارو و قواعد و مقررات سروکار دارد. تمامی این داده­ها میتوانند به صورتی هماهنگ برای تولید یک دیدگاه که بتواند هم در هزینه های خدمات دهنده و هم خدمات گیرنده صرقه­جویی نماید, تحلیل شوند.

بینایی ماشین

شناسایی یک تصویر توسط کامپیوتر مسلزم پردازش مجموعه عظیمی از تصاویر نمونه­های متعدد از یک کلاس و رده یکسان است. به عنوان مثال می­توان تشخیص چهره را نام برد. این مجموعه داده­ها ابتدا مدلسازی شده سپس توسط الگوریتم­هایی نمونه جدید براساس مدل طبقه بندی میشود.پردازش این حجم عظیم از داده­ها و ایجاد مدل نیازمند ابزار­هایی است که در علوم داده استفاده شده اند.

مدیریت بهینه انرژی

همانگونه که میزان تقاضا برای مصرف انرژی رو به افزایش است, شرکنت­های تولید کننده انرژی بیشتر نیاز خود را به روش­های مدیریت تولید و توزیع بهینه انرژی احساس می­کنند. بدین منظور از روش­های بهینه­سازی تولید, ذخیره و توزع انرژی در کنار مطالعه الگوهای مصرف مشترین بهره می­گیرند. برقراری ارتباط بین داده­های حاصل از این منابع و دریافت درک درستی از آنها شاید کاری بسیار دشوار باشد که البته به کمک ابزار­های علوم داده قابل انجام است.

۰ نظر موافقین ۰ مخالفین ۰

پایتون در علوم داده

مترجم : آزاده رضازاده همدانی

برنامه نویسی در حوزه علوم داده, به یک زبان منعطف اما همه جانبه نیاز دارد تا در حین کدنویسی آسان, قدرت پردازش محاسبات پیچیده ریاضی را داشته باشد. پایتون مناسب­ترین زبان برای برآورده کردن نیاز­های فوق الذکر می­باشد زیرا تا کنون توانایی­های خود را علاوه بر برنامه نویسی همگانی در برنامه نویسی علمی و تخصصی نیز به اثبات رسانیده است. علاوه بر آن به طور مداوم کتابخانه­های خود را به منظور برطرف کردن نیازهای برنامه نویسی ارتقا می­دهد. در ادامه پیرامون تعدادی از ویژگی­های پایتون که آن را به زبان محبوب در حوزه علوم داده تبدیل کرده است صحبت می­شود:

·        یک زبان برنامه نویسی ساده و در عین حال با امکان یادگیری راحت که درمقایسه با زبان­های مشابه مانند R به تولید خطوط کد کمتر برای تولید نتیجه نیازمند است. سادگی این زبان برنامه نویسی باعث می­شود تا قادر باشد مسایل پیچیده را با کمترین میزان کد و همچنین کمترین اشفتگی و بهم ریختگی در روند برنامه اجرا نماید.

·        یک کد یکسان در محیط های متنوع برنامه نویسی بدون هیچگونه تغییری قابل اجرا است.

·        در مقایسه با سایر زبان­های برنامه نویسی تحلیل داده ازجمله R و MAtlab از سرعت بالاتری برخوردار است.

·        توانایی بالای آن در مدیریت حافظه مخصوصا garbage collection این امکان را ایجاد نموده است که به ابزاری قدرتمند در زمینه تبدیل, قطعه بندی, بصری سازی,.. داده­های حجیم مبدل شود.

·        زبان پایتون شامل مجموعه عظیمی از کتابخانه های موردنیاز تحلیل داده را دارا می­باشد.به طور مثال آررایه موجود در کتابخانه  NUMPY در محاسبات علمی به حافظه کمتری نسبت به داده list که برای نگهداری دادهای عددی در پایتون تعریف شده است, نیازمند است.

·        در پایتون package هایی وجود دارد که امکان اجرای کدهایی به زبان C و یا Java را می­دهد. که این امر باعث کاراتر شدن کد و استفاده از سایر کدهای موجود در سایر زبانها می-باشد.

در بخش­های بعدی چگونگی استفاده از ویژگیهای پایتون را در حل مسایل متفاوت در حوزه علوم داده مشاهده خواهید نمود.


۰ نظر موافقین ۰ مخالفین ۰

شش وب‌سایت عالی برای آموزش زبان برنامه‌نویسی پایتون

در یک دهه گذشته زبان برنامه‌نویسی پایتون به یکی از محبوب‌ترین زبان‌های کدنویسی تبدیل شده است. از توسعه‌دهندگان وب گرفته تا طراحان بازی‌های ویدئویی، از دانشمندان داده تا سازندگان ابزار خانگی بسیاری از برنامه‎‌نویسان عاشق پایتون شده‌اند. اما چرا؟ زیرا یادگیری پایتون ساده است، استفاده از آن ساده است و بسیار زبان قدرتمندی است. 

دوست دارید زبان برنامه نویسی پایتون یادبگیرید؟ در این مقاله ما چند سایت و منبع آنلاین خیلی خوب را برای آموزش پایتون به شما معرفی می‌کنیم که بیشتر آن‌ها رایگان است. 

 

1- How to Think Like a Computer Scientist

phython

 

یکی از بهترین سایت‌های آموزش پایتون How to Think Like a Computer Scientist است. این سایت نه تنها به شما آموزش می‌دهد چگونه از زبان برنامه نویسی پایتون استفاده کنید بلکه به شما یاد می‌دهد چگونه مانند یک برنامه‌نویس فکر کنید. اگر این اولین باری است که کدنویسی می‌کنید این سایت به درد شما نخواهد خورد. 

اما به یاد داشته باشید که این که بتوانید مانند یک دانشمند کامپیوتر فکر کنید نیازمند این است که طرز فکر خود را تغییر دهید. این کار برای بعضی‌ها ساده و برای بقیه دشوار است. اما اگر اراده داشته باشید می‌توانید این کار را انجام دهید. وقتی که یاد گرفتید که مثل یک دانشمند کامپیوتر فکر کنید می‌توانید به سادگی زبان‌های دیگر را به جز پایتون یاد بگیرید. 


2- سایت رسمی پایتون

python

 

چه روشی برای یادگیری پایتون بهتر از استفاده از سایت رسمی پایتون است؟ سازندگان این زبان خودشان یک راهنمای خیلی خوب ساخته‌اند که به هرکسی که بخواهد این زبان را از ابتدا یاد بگیرد کمک می‌کنند. 

بهترین قسمت این سایت آموزشی این است که بسیار آرام پیش می‌رود و مفاهیم خاص را طوری به شما آموزش می‌دهد تا پیش از رفتن به مبحث بعد کاملاً یاد بگیرید. فرمت این سایت بسیار ساده و دوست‌داشتنی است و روند کار را بسیار برای شما ساده‌تر خواهد کرد. 

اگر در زمینه برنامه نویسی پیش‌زمینه دارید شاید سایت آموزشی رسمی پایتون برایتان تا حدی خسته کننده باشد اما اگر خیلی تازه‌کار هستید این سایت تجربه بسیار خوبی برای شما خواهد بود. 

 

3- A Byte of Python

python

 

سایت آموزشی A Byte of Python برای کسانی مناسب است که دوست دارند پایتون یاد بگیرند و قبلاً تجربه برنامه نویسی دارند. در ابتدا چیزهایی درمورد مباحث لازم برای ایجاد یک اینترپرتر پایتون روی کامپیوتر را به شما یاد می‌دهد که ممکن است برای تازه‌کارها دشوار باشد. 

اما این سایت یک مشکل اساسی دارد: خیلی سریع پیش می‌رود که ممکن است برای تازه‌کارها بیش از حد سخت باشد. 

اما اگر بتوانید با آن پیش بروید  A Byte of Python منبع بسیار خوبی برای شما خواهد بود. اگر نتوانستید می‌توانید از منابع دیگر برای یادگیری پایتون استفاده کنید و وقتی که کمی حرفه‌ای شدید به این سایت بازگردید. 

 

4- LearnPython

 

python


برخلاف سایت‌های آموزشی که در بالا معرفی کردیم LearnPython یک سایت عالی است چرا که خودش یک اینترپرتر پایتون دارد. در نتیجه شما می‌توانید درون خود سایت از کدنویسی پایتون استفاده کنید و دیگر لازم نیست که یک اینترپرتر پایتون را روی سیستم خود نصب کنید. 

البته اگر قصد دارید جدی از این زبان استفاده کنید باید اینترپرتر را نصب کنید اما LearnPython به شما این امکان را می‌دهد تا پیش از این که به طور جدی روی پایتون سرمایه‌گذاری کنید فکر کنید و با آن آشنا شوید.  

با LearnPython می‌توانید با کدهای واقعی سروکله بزنید و آن را یاد بگیرید. درضمن پس از هر درس یک تمرین نیز به شما داده می‌شود. 

 

5- Learn X in Y Minutes: Python 3

python

 

اگر تجربه زیادی در برنامه نویسی دارید و می‌دانید چطور مثل یک برنامه نویس فکر کنید اما پایتون برای شما جدید است و دوست دارید سینتکس این زبان را یاد بگیرید Learn X in Y Minutes بهترین سایت برای شماست. 

این سایت طیف‌های نحوی یا سینتتیک پایتون را در فرمت کد به شما یاد می‌دهد در نتیجه شما می‌‎توانید زیر پانزده ثانیه همه‌ی چیزهای مهم را درمورد سینتکس پایتون بیاموزید. شما می‌توانید صفحه‌ای که در آن قرار دارید را بوکمارک کرده و هرگاه که چیزی را فراموش کردید به آن برگردید. 

 

6- CodeWars

python

 

CodeWars خیلی یک سایت آموزشی نیست بلکه یک روشی بازی و آزمایشی است تا میزان دانش برنامه‌نویسی خود را امتحان کنید. این سایت دارای صدها پازل کدنویسی مختلف است که شما را مجبور می‌کند تا دانش پایتون خود را آزمایش کرده و از آن‌ها در مشکلات واقعی استفاده کنید. 

پازل‌های CodeWars جنبه آموزشی نیز دارند و هرچه شما بیشتر پیش بروید چیزهای بیشتری یادخواهید گرفت. وقتی که شما یک پازل را کامل کنید به مرحله بالا رفته و به پازل‌های سخت‌تر دسترسی خواهید داشت. درضمن شما می‌توانید نتایج خود را با نتایج دیگران مقایسه کنید که در آموزش شما بسیار مفید خواهد بود. 

پایتون زبان برنامه نویسی بسیار قوی و ساده‌ای است که موارد استفاده بسیار زیادی دارد و در چند سال اخیر بیش از پیش محبوب شده‌ است و روزبه‌روز محبوب‌تر می‌شود. 

  

منبع: makeuseof



اما هفتمین سایت، معرفی آموزش های فارسی بصورت ویدئویی سایت چالش پایتون هست
که توسط مدرسین فارغ التحصیل دانشگاه صنعتی امیرکیر تدریس شده است.
در این سایت که تمرکز اصلی بر روی آموزش های مرتبط با هوش مصنوعی و علم داده هست
 آموزش مقدماتی، تکمیلی پایتون در کنار آموزش یادگیری ماشین و پردازش تصویر با پایتون قرار دارد.
۰ نظر موافقین ۰ مخالفین ۰

استخدام برنامه نویس پایتون در شرکت فناوران هوشمند شایا

شرکت فناوران هوشمند شایا (فعال در زمینه هوش مصنوعی) دعوت به همکاری می نماید:


برنامه نویس python


ارسال رزومه به : jobs@ishaya.ir


۰ نظر موافقین ۰ مخالفین ۰

استخدام برنامه نویس حرفه ای پایتون در شرکت سیگما

متقاضیان واجد شرایط با رنج سنی ۲۵ الی ۳۷ سال می‌توانند رزومه خود را با درج عنوان شغلی در قسمت موضوع ایمیل به آدرس ایمیل زیر ارسال نمایند.


آدرس ایمیل: Cv@Sigma.ir


۰ نظر موافقین ۰ مخالفین ۰

دوره یادگیری ماشین با پایتون

به عنوان یکی از شاخه‌های وسیع و پرکاربرد هوش مصنوعی، یادگیری ماشین (Machine learning) به تنظیم و اکتشاف شیوه‌ها و الگوریتم‌هایی می‌پردازد که بر اساس آنها رایانه‌ها و سامانه‌ها توانایی تعلٌم و یادگیری پیدا می‌کنند

هدف یادگیری ماشین این است که کامپیوتر (در کلی‌ترین مفهوم آن) بتواند به تدریج و با افزایش داده‌ها کارایی بهتری در انجام وظیفه مورد نظر پیدا کند. گستره این وظیفه می‌تواند از تشخیص خودکار چهره با دیدن چند نمونه از چهره مورد نظر تا فراگیری شیوه گام‌برداری روبات‌های دوپا با دریافت سیگنال پاداش و تنبیه باشد.

پیش بینی می شود در آینده استفاده از زبان برنامه نویسی پایتون، گسترش بسیار بیشتری داشته باشد

در حوزه تحلیل داده، یادگیری ماشین و علم داده نیز، استفاده از پایتون بسیار قابل توجه است به طوری که این زبان پرکاربردترین زبان در حوزه علم داده و یادگیری ماشین می باشد:

با توجه به درخواست‌های مخاطبین جهت برگزاری کلاس‌های پرسش و پاسخ با مدرس دوره، تصمیم گرفته شد تا دوره یادگیری ماشین با پایتون به صورت هفتگی برگزار شود.

در این دوره، که از اول آذر 97 شروع خواهد شد هر هفته دو ویدئو از طریق سامانه کلاس کوئرا و کانال یادگیری ماشین برای مخاطبین ارسال خواهد شد.و تمرینات و تکالیفی در این سامانه توسط مدرس تعیین و تصحیح خواهد شد. مخاطبینی که تمایل دارند خود را درگیر این دوره نمایند و چالش بیشتری رو تجربه کنند تا موفق تر باشند توصیه ما انتخاب همین دوره همراه با کلاس می باشد.

بعد از پرداخت هزینه، آدرس کانال و نحوه عضویت در سامانه کوئرا قابل مشاهده می‌باشد. در این روش هیچ گونه ویدئویی به محض پرداخت برایتان ارسال نخواهد شد. بلکه ویدئوها بصورت هفتگی از طریق سامانه کوئرا و پست الکترونیکی ثبت شده برایتان ارسال می‌گردد.

در این روش مدرس دوره در طی دوره تمریناتی را در اختیار شما قرار خواهد داد و تصحیح خواهد نمود و همراه شما در کل دوره خواهد بود. مدت زمان این دوره 13 هفته می‌باشد که از هفته اول آذر شروع خواهد شد. توصیه ما بر مخاطبینی که تمایل دارند بیشتر خود را درگیر این دوره نمایند انتخاب همین روش می‌باشد.

📘 حجم کل جلسات : 3 GB

📘 زمان کل جلسات : 16 ساعت

📘 میزان تخفیف : 10000 تومان

📘 کد تخفیف (با حروف کوچک وارد کنید) : mchntwo

۰ نظر موافقین ۰ مخالفین ۰

آینده پردازش تصویر

پردازش تصویر شروعی بر پایان جستجوی متنی

اگر شما وارد کشوری شوید که زبان آن کشور را بلد نباشید نمی توانید یک وعده غذایی دلخواه داشته باشید و یا موقع رانندگی نمی توانید مسیرها را بشناسید و راه خود را پیدا کنید. بسیاری از گردشگران خود را در چنین موقعیت هایی دیده اند.در اینده ای نه چندان دور، جستجو به صورت متنی شاید دیگر کاربرد چندانی نداشته باشد و جای خود را به طور کلی به پردازش تصویر ، پردازش ویدئو و پردازش صوت بدهد. مدیر ارشد پروژه های مرتبط با موتور جستجوگر گوگل می گوید : ” گوگل همیشه یک راه حل برای راحتی شما دارد. هرکجای دنیا که هستید با تلفن همراه خود از موضوع مورد نظر خود یک عکس بگیرید و برای جستجوگر گوگل ارسال کنید،همانند جستجوی ساده ی یک متن ، گوگل شما را راهنمایی خواهد کرد.

در حال حاضر طبق تحقیقاتی که در دانشگاه کارولینای جنوبی در حال انجام است، پردازش تصویر به نابینایان این امکان را داده است که به سادگی مسیریابی کنند؛ به این شکل که فرد نابینا یک جلیقه و یک عینک به چشم می گذارد. حس گرهای ۳ بعدی و سنسورهای روی جلیقه که مانند لرزشگر تلفن همراه است این امکان را به فرد نابینا می دهد که مسیریابی را انجام دهد و هر کجای شهر که بخواهد، مسیریابی کند

از دیگر کاربردهای این تکنولوژی می توان به راننده خودکار گوگل اشاره کرد که با بررسی تصاویر دوربین های ترافیکی و درک ۳ بعدی از موقعیت خودرو نسبت به اجسام دیگر و سایر خودرو ها، شما را به مقصد می رساند. همچنین از پردازش تصویر برای تشخیص چهره مجرمین استفاده می کنند تا جایی که با شناسایی آن ها از وقوع جرم جدید پیشگیری می کنند.

آینده پردازش تصویر

پردازش تصویر ، رابطه بین انسان و رایانه را به طرز شگفت انگیزی متفاوت خواهد کرد. ابزارهایی مانند Google Street View  و وسایل نقلیه اتوماتیک مانند خودروی گوگل آینده جهان را در دست خواهند گرفت. همچنین در حوزه صنعت هوایی نیز هواپیماهای بدون سرنشین می توانند به مرور جایگزین هواپیماهای فعلی شوند.

 

در حوزه پزشکی نیز ربات هایی مثل daVinci هستند که امکان تشخیص و جراحی های از راه دور بسیار حساس را به پزشکان می دهند. با استفاده از پردازش تصویر و تطبیق با الگوریتم های روانشناسی، حالات درونی یک فرد را قابل حدس زدن است تا جایی که در پیش بینی رفتار مشتریان کاربرد دارد. ذات انسان ها به گونه است که اطلاعات تصویری را سریع تر از داده های متنی بررسی می کند؛ یک داده تصویری می تواند شامل حجم زیادی داده متنی باشد؛ بزودی موتورهای جستجو مبتنی بر پردازش تصویر مانند Imagenistics ، جای موتورهای جستجوگر فعلی که بر مبنای پردازش متن هستند را خواهند گرفت.

از دیگر ابعاد پیشرفت پردازش تصویر می توان به نسل جدید دوربین های تلفن همراه اشاره کرد. تلاش های زیادی برای رسیدن به سطح پردازش تصویر بینایی انسان انجام شده است تا بتوان به درک چشم انسان برسد و چشم ما را به نادیده ها نیز باز کنند. در آینده به جای تصویر برداری بر پایه سه رنگ اصلی از تصویر برداری با سنسورهای Hyperspectral استفاده خواهد شد؛ این نوع تصویر برداری برای در صنعت کشاورزی می تواند محصولات سالم را از ناسالم در برای ما متمایز کند. هنوز درک روشنی از پردازش تصویر بر صنایع در دست نیست، ولی گوگل ادعا می کند که تا ۳ سال آینده ۳۰ درصد پردازش های متنی جای خود را به پردازش تصویر خواهند داد.


۰ نظر موافقین ۰ مخالفین ۰

راهنمای سریع (Cheat Sheet) دستورهای پایتون برای علم داده - Matplotlib

برای دانلود راهنمای سریع (Cheat Sheet) دستورهای پایتون برای علم داده میتوانید از طریق لینک زیر اقدام کنید.


این بخش کتابخانه Matplotlib را شامل می شود.



۰ نظر موافقین ۰ مخالفین ۰

نمودارهای مقایسه ای زبان های برنامه نویسی در حوزه یادگیری ماشین


۰ نظر موافقین ۰ مخالفین ۰

راهنمای سریع (Cheat Sheet) دستورهای پایتون برای علم داده - pandas

برای دانلود راهنمای سریع (Cheat Sheet) دستورهای پایتون برای علم داده میتوانید از طریق لینک زیر اقدام کنید.


این بخش کتابخانه pandas را شامل می شود.


دانلود

۰ نظر موافقین ۰ مخالفین ۰