در نظریه اطلاعات، آنتروپی (به انگلیسی: Entropy) یا اِنتروپی، معیاری عددی برای اندازه‌ گرفتن اطلاعات، یا تصادفی‌ بودن یک متغیر تصادفی است. به بیان دقیق‌تر،...

{q}_{rev}}{T}}} انتروپی آماری (وضعیتی) قانون سوم ترمودینامیک انتروپی سیاهچاله مکانیک آماری آنتروپی اطلاعات اصل حداکثر آنتروپی حداکثر آنتروپی ترمودینامیک Peter...

به اطلاعات عبارتند از آنتروپی، که میانگین محتوای اطلاعاتی یک منبع اطلاعات است. اطلاعات متقابل، که مقدار اطلاعات مشترک دو متغیر تصادفی است. آنتروپی نشان...

انتروپی ممکن است به یکی از موارد زیر اشاره داشته باشد: انتروپی آماری آنتروپی اطلاعات این صفحهٔ ابهام‌زدایی مقاله‌های مرتبط با عنوان همین صفحه، آنتروپی...

بدیهی اشاره می‌کند. از دیدگاه نظریۀ اطلاعات (Information Theory)، آنتروپیِ جمله دوم از جمله اول بیشتر است. در واقع آنتروپی جمله اول، صفر است، زیرا احتمال طلوع...

در آمار، نظریه احتمالات و نظریه اطلاعات، اطلاعات متقابل نقطه ای(PMI)، معیاری برای همبستگی و وابستگی است. این معیار، احتمال وقوع دو رویداد به‌طور همزمان...

در مکانیک آماری، انتروپی یک سیستم از فرمول زیر بدست می‌آید: S = k ln ⁡ Ω . {\displaystyle S=k\,\ln \Omega .} که در آن: S آنتروپی. k ثابت بولتزمن Ω ...

در تئوری اطلاعات، قضیه شانون–هارتلی حداکثر سرعت انتقال اطلاعات از طریق یک کانال ارتباطی با پهنای باند مشخص در حضور نویز را بیان می‌کند. این کاربردی از...

در نظریه اطلاعات، آنتروپی مشترک معیاری است برای بیان میزان ابهام در مورد مجموعه‌ای از متغیرهای تصادفی. آنتروپی (شانون) مشترک دو متغیر تصادفی X{\displaystyle...

حداکثر آنتروپی بیان می‌نماید توزیعی که با توجه به اطلاعات داده‌شده یا داده‌های مورد آزمایش بهترین حالت را نشان می‌دهد، توزیعی است که حداکثر آنتروپی را دارا...

در یادگیری ماشینی مدل مارکوف بیشینه آنتروپی (به انگلیسی: maximum-entropy Markov model) (MEMM) یا conditional Markov model (CMM) مدلی است که ویژگی های...