Blog

یک CNN ده‌ساله در تشخیص سرطان پوست GPT-6 و Claude را شکست داد

یک متخصص پوست ۲۰۰ ضایعه‌ی بیوپسی‌شده را به GPT-6 Astra، Claude Fable 5.1 و یک Inception v3 قدیمی داد؛ CNN با ۶۲٪ در برابر ۴۲٪ برد. خلاصه و نظر من.

26 Oct 2026 · 3 min read · هوش مصنوعی · LLM · یادگیری عمیق · CNN · هوش مصنوعی در پزشکی · سرطان پوست

یک CNN ده‌ساله در تشخیص سرطان پوست GPT-6 و Claude را شکست داد

یک متخصص پوست انگلیسی، دکتر Magnus Lynch از بیمارستان Guy's و King's College London، یک آزمایش ساده ولی تلخ انجام داد: ۲۰۰ ضایعه‌ی پوستی را که همه با بیوپسی تأیید شده بودند، به دو مدل مرزی یعنی GPT-6 Astra و Claude Fable 5.1 نشان داد و بعد همان‌ها را به یک شبکه‌ی عصبی کانولوشنی (CNN) ده‌ساله داد. نتیجه؟ CNN قدیمی با اختلاف برد.

تصویر درموسکوپی ملانوما روی گوش
تصویر درموسکوپی یک ملانومای مهاجم روی گوش. هر دو LLM گفتند خوش‌خیم است و بیمار می‌تواند مرخص شود؛ CNN درست گفت ملانوما. منبع: Lynch Lab / دیتاست MILK10k (CC BY-NC)

آزمایش چه بود؟

ضایعه‌ها از دیتاست عمومی MILK10k (از ISIC) آمده‌اند که برای هر ضایعه دو عکس دارد: یک عکس کلینیکی و یک عکس درموسکوپی. ۱۰۰ مورد خطرناک (ملانوما، BCC، SCC و اکتینیک کراتوز) و ۱۰۰ مورد بی‌خطر (خال و سبورئیک کراتوز). از مدل‌ها خواسته شد از بین ۶ تشخیص، محتمل‌ترین را بگویند و بگویند بیمار را می‌شود مرخص کرد یا نه.

طرف مقابل، Inception v3 بود؛ معماری‌ای که گوگل سال ۲۰۱۵ منتشر کرد. Lynch آن را روی حدود ۶۸ هزار عکس از آرشیو ISIC و روی یک GPU H100 فاین‌تیون کرد، و همه‌ی ۲۰۰ ضایعه‌ی تست را از داده‌ی آموزش بیرون گذاشت.

نتیجه: ۶۲ درصد در برابر ۴۲ درصد

  • تشخیص درست (از ۲۰۰): CNN ‏۱۲۵ (۶۲٪)، GPT-6 Astra ‏۸۴ و Claude Fable 5.1 ‏۸۵ (هر دو حدود ۴۲٪).
  • با احتساب انتخاب دوم: CNN ‏۱۷۳، در برابر ۱۳۴ و ۱۳۸.
  • ملانوما (از ۳۰): CNN ‏۱۳، GPT ‏۸ و Claude ‏۱۱.
  • بزرگ‌ترین فاصله روی ضایعه‌های بی‌خطر: CNN ‏۳۷ خال از ۵۰ را شناخت؛ GPT فقط ۱۶. روی سبورئیک کراتوز، Claude فقط ۶ از ۵۰ را درست گفت.

جالب‌تر اینکه هر LLM یک «جواب محبوب» داشت: GPT-6 Astra به ۷۵ ضایعه گفت BCC در حالی که فقط ۲۵ تا BCC بودند (از جمله ۱۴ ملانوما!) و Claude به ۵۳ مورد گفت اکتینیک کراتوز در حالی که فقط ۲۰ تا بودند.

عکس کلینیکی ملانومای کم‌رنگ
یک ملانومای کم‌رنگدانه. GPT-6 Astra با ۹۵٪ اطمینان گفت BCC است؛ Claude و CNN درست گفتند ملانوما. منبع: Lynch Lab / MILK10k
تصویر درموسکوپی همان ملانومای کم‌رنگ
نمای درموسکوپی همان ضایعه. منبع: Lynch Lab / MILK10k

چند هشدار مهم

خود نویسنده صادق است: ۲۰۰ نمونه و ۳۰ ملانوما برای رتبه‌بندی دقیق کم است، هر کیس فقط یک بار به LLMها داده شده، و همه‌ی ضایعه‌ها بیوپسی شده بودند پس سخت‌تر از حالت عادی‌اند. Inception v3 هم اصلاً state of the art نیست؛ محصولات تجاری و رگوله‌شده‌ی امروز خیلی بهترند. وقتی هم که مدل‌ها نقش «بیمار» را بازی کردند و فقط پرسیدند «باید پیش دکتر بروم؟»، تقریباً همیشه گفتند بله، که امن ولی بی‌فایده است. کیس‌ها، پرامپت‌ها و کد امتیازدهی هم منتشر شده و نسخه‌ی CNN را می‌شود مستقیم در مرورگر موبایل با WebGPU اجرا کرد.

کارسینوم سلول بازال روی تنه
یک BCC روی تنه‌ی مردی ۷۵ ساله که هر سه مدل درست تشخیص دادند. منبع: Lynch Lab / MILK10k

نظر من

این دقیقاً همان چیزی است که خیلی‌ها در هیاهوی LLMها فراموش می‌کنند: مدل عمومی، هر چقدر هم بزرگ، جای مدل تخصصی را نمی‌گیرد. یک CNN کوچک که بیست دقیقه روی داده‌ی درست آموزش دیده، از غول‌هایی که میلیاردها دلار خرجشان شده بهتر ملانوما را می‌شناسد. درسش برای ما برنامه‌نویس‌ها هم روشن است: برای هر مسئله‌ای اول نپرسید «کدام LLM؟»، بپرسید «داده‌ی درست و مدل مناسب این کار چیست؟». و از همه مهم‌تر، اگر خالی روی پوستتان نگرانتان کرده، عکسش را به چت‌بات ندهید؛ بروید پیش متخصص پوست.

منبع: Lynch Lab - A 10-year-old CNN outperforms frontier LLMs for skin cancer diagnosis

Comments0

Comments +

00

No comments yet — be the first. هنوز نظری ثبت نشده؛ اولین نفر باش.

Leave a comment

0 / 2000