یادگیری استفاده از هوش مصنوعی محلی هیجان انگیز، طاقت فرسا و خسته کننده است

من سفری را آغاز می کنم که تاکنون برای ادامه آن مردد بوده ام: در واقع از هوش مصنوعی به طور معمول استفاده می کنم. دادن بیشترین داده‌های شخصی‌ام به سرویس‌های ابری مانع بزرگی برای من بوده است، اما به‌طور فزاینده‌ای می‌توان مدل‌های قدرتمند را به‌صورت محلی اجرا کرد تا ببینیم آنها چه توانایی‌هایی دارند. آیا این فناوری بسیار مفید […]

من سفری را آغاز می کنم که تاکنون برای ادامه آن مردد بوده ام: در واقع از هوش مصنوعی به طور معمول استفاده می کنم. دادن بیشترین داده‌های شخصی به سرویس‌های ابری برای من یک مانع بزرگ بوده است، اما به‌طور فزاینده‌ای می‌توان مدل‌های قدرتمند را به‌صورت محلی اجرا کرد تا ببیند چه چیزی می‌توانند انجام دهند. آیا این فناوری آنقدر مفید است که ارزش آن را داشته باشد که پول زیادی را روی رایانه یا لپ‌تاپ با مقدار زیادی رم گران‌قیمت بریزید؟ من سعی خواهم کرد به شما کمک کنم تا بفهمید. من یک متخصص هوش مصنوعی نیستم، این یک سفر برای من خواهد بود، اما شاید بتوانم به شما کمک کنم تا ببینید آیا این سفر ارزش انجام دادن دارد یا خیر - و راه خود را در آن پست خواهم کرد.

بخش بزرگی از پیشرفت اپل برای دسکتاپ‌های مک جدیدش این است که آنها برای هوش مصنوعی محلی خوب هستند، و مجموعه کاملی از دستگاه‌های جدید RTX Spark Windows به‌زودی با حداکثر 128 گیگابایت رم با هدف استفاده از AI عامل فرود می‌آیند. هوش مصنوعی و عوامل محلی در حال حاضر بسیار داغ هستند. اما، با جدیت تمام، فکر داشتن یک گوفور کوچک تنها در جعبه روی میز من زندگی می کند که فقط به من پاسخ می دهد و نه ارباب های OpenAI، گوگل، مایکروسافت یا آنتروپیک، کمی متفاوت از اعتماد به سرویس های ابری یا اشتراک در یک چت بات است. اشتباه نکنید، هنوز راهی وجود ندارد که بخواهم آن را برای من بنویسد، برای من ویرایش کند یا آگهی های زشت تولید کند. اما اکنون، با کمی حریم خصوصی، شاید بتوانم در نهایت به کار پرمشغله مفیدی فکر کنم تا به آن «اعتماد» کنم.

بنابراین، به عنوان بخشی از آزمایش مداوم M5 Ultra Mac Studio، و همچنین آزمایش بر روی سایر سیستم‌های Mac و Windows، برخی از LLM‌های محلی را نصب کرده‌ام.شروع به سرهم کردن در اینجا کارها چگونه پیش می رود.

من با نصب هرمس عامل منبع باز در Mac Studio شروع کردم. هرمس یک برنامه دسکتاپ عامل هوش مصنوعی است که بر روی macOS، ویندوز و لینوکس کار می کند. اگر به LLM های محلی پایبند باشید، استفاده از آن کاملا رایگان است. از آنجایی که این M5 Ultra Mac Studio دارای 256 گیگابایت حافظه یکپارچه است، می توانم تقریباً هر مدلی را که بخواهم اجرا کنم. به این ترتیب همه چیز به سرعت غافلگیر می شود. مدل‌های بیشتری از آن چیزی که بتوانم بشمارم وجود دارد و برخی کاربردهای تخصصی دارند. به طور کلی، مدل هایی با چندین میلیارد پارامتر قادر به انجام کارهای بیشتری نسبت به مدل های کوچکتر تنها با چند میلیارد هستند. و از آنجایی که هنگام اجرای یک مدل به صورت محلی، لازم نیست نگران پرداخت برای توکن باشیم، فکر کردم برای شروع کار بزرگی خواهم کرد.

با استفاده از رابط کاربری ساده هرمس و انتخابگر مدل، مدل Qwen 3.8 Flash Next را انتخاب کردم - مدلی با پارامتر 125 میلیاردی که حجمی در حدود 105 گیگابایت دارد. من همچنین قصد دارم مدتی را با Qwen بسیار کوچکتر بگذرانممدل‌هایی مانند M6 Mac Mini، M5 MacBook Air، Asus TUF Gaming A14 با پردازنده AMD Strix Halo و در نهایت RTX Spark. (دقت کنید از چه مدل‌ها و سخت‌افزارهای محلی استفاده می‌کنید؟ می‌دانید کجا نظرات خود را بنویسید. 🫡)

مدت زیادی طول نکشید که با هرمس و کوئن شروع به کار کردم و حتی با استفاده از ربات تلگرام آنها را از طریق تلفن خود قابل کنترل کردم. اما پس از آن، وقتی صحبت از استفاده از هوش مصنوعی به میان می‌آید، با دشمن همیشگی‌ام مواجه شدم: جعبه متن.

[تصویر: جلسه توجیهی روزانه هرمس من، روزانه از طریق تلگرام برای من ارسال می شود. پایه، من می دانم.

اول از همه، برای پیشبرد کارها، از برخی توصیه‌های مفید YouTube پیروی کردم و از هرمس خواستم تا یک جلسه توجیهی روزانه صبحگاهی برای من بسازد - فقط با یک کار کوچک شروع کنم و مطمئن شوم که همه چیز درست است. ایمیل و تقویم من را اسکن می کند، هر چیزی را که ارزش توجه فوری من را دارد به من می گوید، و یک گزارش آب و هوای کوتاه به من می دهد. این خیلی مفید نیست، و بدیهی است که برای ساخت آن به یک کامپیوتر 12000 دلاری نیاز ندارید، اما چیزی است که من می توانم در طول زمان توسعه دهم. خلاصه در ابتدا تولید نمی‌شد، اما در نهایت متوجه شدم که macOS وقتی کار در ساعت 7:30 صبح شروع شد نمی‌توانست بخوابد. هه! اکنون مانند ساعت کار می کند، اما باید به اطلاعات بیشتری فکر کنم تا بتوانم نتایج را مفیدتر کنم.

یک کار مفیدتر سازماندهی مجدد کتابخانه Steam من بود. من بیش از 400 بازی در استیم دارم و اخیراً شروع به دسته بندی آنها کردمبرای زمانی که من می خواهم یک چیز جدید را از روی هوس بازی کنم. Steam بازی‌های شما را برای شما دسته‌بندی نمی‌کند، بنابراین باید این کار را به‌صورت دستی و تک تک انجام دهید. اما اینجا جایی است که یک قایق کارمند می‌تواند درست در آن جا بیفتد. من پرسیدم: «آیا می‌توانید کتابخانه Steam من را سازماندهی کنید؟» هرمس می‌توانست اکثر بازی‌های من را فقط با مشاهده کلاینت Steam از قبل نصب شده ببیند. به سرعت چند گزینه سازمانی برای من پیدا کرد. تصمیم گرفتم که بازی‌هایم را بر اساس ژانر سازماندهی کند، اما برخی از دسته‌های تخصصی خودم (مورد علاقه، عناوین همکاری، بازی‌های پارتی، بازی‌هایی برای بازی با همسرم و غیره) را ترک کنم.

شما باید به یک هوش مصنوعی محلی مجوزهایی را روی دستگاه خود بدهید تا بتواند برای شما اقداماتی انجام دهد، و در مورد کتابخانه بازی من مجبور شدم یک کلید API وب Steam را ثبت کنم و آن را به هرمس بدهم. هنگامی که آن دسترسی داشت، فقط چند دقیقه طول کشید تا از طریق مرتب‌سازی همه بازی‌ها در دسته‌بندی‌ها به هم ریخت. و کلید API به راحتی پس از آن لغو شد، زیرا من به آن نیازی ندارم. ایده این است که فقط یک بار این کار سنگین را برای من انجام دهد و سپس بازی‌های جدید را در دسته بندی‌هایی که در نهایت آنها را خریداری می‌کنم، ثبت کنم. به طور کلی کار خوبی انجام داد و اکنون کتابخانه Steam من به راحتی قابل مرور است.

کار ساده دیگری که انجام دادم تجزیه و تحلیل داده ها بود. از هرمس خواستم نگاهی به سوابق مالی بیندازد تا اعدادی را برای من مشخص کند، و همچنین از آن خواستم که صفحه‌گسترده مقایسه مشخصات یک لپ‌تاپ جدید را برایم بسازد. اینها چیزهای کوچکی هستند، اما هر دو وظایفی هستند که من نمی‌توانم یا نمی‌خواهم به هیچ سرویس ابری اعتماد کنم - نمی‌خواهم آن داده‌های حساس را در فضای ابری آپلود کنم، و در مورد یک لپ‌تاپ جدید، این اطلاعات تحت تحریم بود. نگه داشتن آنها در رایانه من تفاوتی بود که من از این ابزار استفاده می کردم یا نه.

بخش بزرگ‌تری از اتوماسیونی که من در حال حاضر روی آن کار می‌کنم، اسکریپتی برای اجرای یک سری تست‌های معیار لپ‌تاپ است. من تمام معیارهای خود را به صورت دستی اجرا می‌کنم، و تمایل به استفاده از یک لپ‌تاپ برای انجام ده‌ها یا بیشتر تست - سه برابر، برای گرفتن میانگین - فوق‌العاده زمان‌بر است. من دوست دارم حداقل بخشی از آن را خودکار کنم. حتی گذراندن هرمس در تمام مراحل مورد نیاز و واداشتن آن به بیرون ریختن اسکریپت‌های کدگذاری شده پایتون کمی تلاش بوده است، و همچنان در حال انجام است. اما امیدوارم بتوانم پیشرفت مثبتی داشته باشم.

[تصویر: اپل این خوشه متشکل از چهار مک استودیو را در یک کلاستر برای هوش مصنوعی محلی در یک جلسه توجیهی که ماه گذشته در آن شرکت کردم، نمایش داد. این محاسبه تقریباً 50000 دلار است.

هنوز هستروزهای ابتدایی کار من با هرمس، و امیدوارم این فقط نوک کوه یخ در مورد کارهای مفیدی باشد که آن را برای من انجام می دهم. اما همچنین واضح است که حتی این مدل‌های قدرتمند محلی نیز برای دستیار جادویی که بتواند هر کاری انجام دهد، نمی‌سازد. همه چیز هنوز هم همیشه آنطور که می خواستم کار نمی کند - جلسه توجیهی روزانه من قبلاً چندین بار شکسته شده است.

من هرمس و هوش مصنوعی محلی را فقط به عنوان یک ابزار، یک برنامه کامپیوتری برای اجرا بر روی کامپیوتر خود می بینم. من یک دوست دیجیتال نمی خواهم. وقتی نظرم را در مورد چیزی تغییر می‌دهم، نمی‌گویم "متشکرم" یا "لطفا"، یا "متاسفم" را تایپ نمی‌کنم. من هنگام سفارش دادن آن به همان اندازه که روی یک سیستم عامل کلیک می کنم، سرد و بی تفاوت می مانم.