lida

Seestar S50推出后，迅速在各个领域展现出多样的应用，比如作为带娃神器、科普用具，甚至是家庭情趣用品（查看： 从S50入门电子辅助天文（EAA））。在科研领域，也有一些利用S50对再生新星进行大规模观测的项目。 然而，尽管S50在短时间内积累了大量用户和应用场景，我在日常使用中仍感受到许多痛点，比如其功能不够丰富或不够人性化。举个例子，在观测到一个天体后，只能等待图像逐渐叠加显示，而没有更详细的介绍（尽管GoTo界面有一些简单介绍）。其操作页面也较为复杂，没有语音控制，需要通过一个APP进行相对专业的操作。 细想之下，这对用户体验的影响还是蛮大的。因为当我想要观星时，通常是在一个较为感性的场景，比如露营或全家在户外。在这种情况下，当我操作S50时，面对它的App，我的思路必须迅速转为理性状态。比如，当我们想观测M31时，我需要先想到M31是一个深空对象，因此不能选择太阳系模式，必须使用观星模式。接着，我要在键盘上键入M31，再按指向等一系列操作。完成这些步骤后，我需要花很长时间将心理状态调整回与周围其他人一致的感性状态。 这种感性、理性、感性的状态切换对用户体验有很大影响。毕竟使用S50看星星只是一个手段，最终的目的是让一家人聚在一起，共同体验一些温馨独特的时刻。 然而，在做了这么多思考和操作以后，我需要相当的时间再进入温馨感性的氛围。如果S50能变得更加智能，整个用户体验会有一个质的飞跃。比如在一个晴朗的夜晚，全家人围坐在草坪上，你只要说“S50，带我们去看仙女座星系”，S50便自动转向目标，为你呈现星空的壮丽景色，那这就太惬意了。 乍一看这个任务仿佛非常困难，因为显然需要大量编程工作。对于许多S50用户来说，缺乏相关背景知识，实则它也的确一点也不简单，即便对于像我这样的专业程序员来说，这也是一项复杂的任务，比如需要对它的API进行逆向工程，这相当复杂。 这里需要介绍一些背景知识：一个程序如果想要控制另外一个东西的话，一般需要一些接口来进行输入输出。以人来类比，比如我想要操作S50指向M31，我需要看一眼APP的界面，这个看的操作就是输入界面。然后我决定需要点深空模式，于是把手指挪到那个位置，点了一下“深空模式”的按钮，这个触摸屏幕的操作就是输出。 一个电脑控制程序如果想要控制S50的App，也需要类似的输入输出的功能。当然因为电脑本身没有眼睛和手，所以它进行输入输出的接口，不像人类一样是图形界面或者叫GUI，而是编程界面或者叫API。 S50虽然对人类暴露了一个GUI，但它并没有对电脑暴露一个公开的API。虽然它内部肯定有一个私有的API，但是我们并不知道这个API的具体形式是什么，也没有办法加以利用。像一些科研院所为了进行再生新星的观测，他们自己进行了逆向工程，或者和ZWO合作搞清楚了这个API的格式，它就可以自己跟S50通话，自己写程序来控制S50来观测。但是我们普通消费者做这样的事情就非常困难。 到了这里似乎就变成一个死胡同了。但我们其实可以另辟蹊径，利用上一个文章中（查看：怎么让“人工智能”帮我们看摊？）提到的多模态AI为我们的控制程序“装上”眼睛和手，通过GUI来操作。换言之，我们可以使用AI直接操控S50的App，为其添加各种附属功能，比如语音控制，或者在GoTo和观测过程中用语音播报相关天体知识。注意这个过程中，我们几乎不需要自己写代码，而是充分利用AI来生成代码。 具体而言，一个关键观察是，iOS的App可以在Mac上运行。因此，我们可以在Mac上运行S50的App，然后使用电脑上的工具，比如Python进行截图。接着，将截图提供给Claude 3.5或者GPT-4.0这样的多模态AI，并说明我们的目标。AI会告诉我们，若要实现这个目标，鼠标应该点击哪个坐标。随后，我们可以在Mac上使用程序控制鼠标点击这个特定坐标，与App进行交互，从而实现对S50的控制。 左图是使用的提示词和AI的回答。右图是如果我们真的把AI给出的位置画在图上的话，会发现它差了一点点，点不中“去观测”这个按钮。其中绿色的点和箭头只是演示用。这个图不是AI生成的，而是我们把AI给出的坐标（0.5，0.95）在输入上可视化出来的结果。 如果我们真的尝试通过AI进行操作，可能会发现一些问题。如上图所示，当我们在图上标出AI返回的坐标时，可能会发现它与我们想要的坐标差了一点点，点不上观测按钮。要讲清楚这个精度不足的问题，可能需要深入解释一下AI的具体原理比如Vision Transformer的局限。但如果简单类比的话，就像我们作为人类，看着界面需要输出一个坐标时，往往无法给出特别精确的坐标。原因是图上没有参考线，我们难以判断某个点的坐标应该是0.95、0.93还是0.90。 要解决这个问题也很简单。一种方法是在将图像提供给AI之前，先在图像上绘制一个密集的网格，并标上数字，提供给AI作为参考。这样，AI就能够生成更为精确的目标坐标。这种技术称为Visual Prompting，是使用多模态AI时非常有用的技术。有了这种网格状的Visual Prompting，AI就仿佛带上了眼镜，可以更加准确地输出坐标。比如下面的图中，AI可以输出0.9875的纵坐标，可以点中红色的观测按钮了。 左图展示了我们的提示词和AI的回答。右图展示了Visual Prompting以后的结果和AI的回答（绿色圆点）。类似的，这个图不是AI生成的，而是我们把AI回答的坐标（0.50，0.9875）可视化出来的结果。 下面是一个完整的模拟示例分享： https://poe.com/s/qkmhjFzvyjkqxGAWJH1P 展示如何利用截图、Visual Prompting、多模态AI和自动化点击的思路，实现全自动的GoTo到太阳的过程。 为了方便大家浏览，我也把我们给AI的图像和它的回答用绿色箭头标示在下图。 这只是一个验证性实验，因此略去了安装太阳滤镜等步骤。在这个演示中，它还不是一个全自动的系统，但如果想将其发展为夜晚进行全自动观测的小工具，其实非常简单。只需要向AI描述我们要编写的程序，AI就会为我们生成截图、Visual Prompting等程序，我们就可以直接使用了。如果你对这个方向感兴趣的话，不妨试试看！遇到问题的时候也可以留言讨论。 但总的来说，AI让太多的不可能变成了可能。在一年前我想都不会去想这样的改造，毕竟逆向工程实在太难了。但现在，我们只要截个图，让AI写个程序调用它的API，一切就搞定了，整个过程不超过半小时。AI不仅帮助我们节约时间，更大的作用是让我们有能力去做远远更复杂的项目，思考远远更深入的问题。就算你不会编程，也不妨试试跟AI聊聊天，把日常生活中遇到的问题交给它去做，也许就有了新的启发。返回搜狐，查看更多 责任编辑：

一个在投递途中出现问题的机器人，在荒野上被“偶然”启动之后，会发生什么？ 这是梦工厂动画年度新作《荒野机器人》的故事开篇，这个名字是一串编号，脑子里只有程序和执行任务的机器人流落荒岛后，无意间被路过的水獭启动，成功开启了它的荒野人生之旅。 在冷清的中秋档之后，《荒野机器人》大概算是品质和期待度都颇高的作品，虽然整体观感依旧偏低幼，但故事中包含了不少关于成长、爱、和平的议题，可以说是一部标准的合家欢电影。在这个“有点好哭”的故事里，原本活下来都很难的大雁宝宝最终成为群雁队伍的引领者，而被荒野唤醒的不止是出厂设置里“没有情感”的机器人罗兹，还有那些被困在樊笼里的人。 重启（机器）人生 对机器人罗兹来说，它重启人生后遇到的第一个难题是：意外让一只大雁在尚未出世前便成了孤儿。或许是出于对它的愧疚，或许是处于它执行任务的本能，它从狐狸芬克的嘴里救回了险些成为食物的大雁宝宝，并决定把抚养它长大作为自己的新任务。 在小小的荒岛上有各种类型的动物，机器人罗兹被理所当然地当作是异类，它讲话的方式充满了程序感，凡事都在“是我的任务”和“与我无关”之间丝滑切换，这样非黑即白的人生是从它决定收养大雁宝宝的那一刻起发生改变的。 众所周知，大雁是一种会把出生后看到的第一个生物当作妈妈的动物，正是这样的天性让机器人罗兹一再更改了自己启动被召回计划的时间，最终成功地重启了程序之外的人生。实际上，它的主观能动性在遇到大雁宝宝之前便已经存在，为了适应荒岛生活，它改写了程序语言系统，学会了荒岛上所有动物的语言。 而大雁宝宝的出生则让它不断正视自己的主观能动性，它原本以为自己只能是一个使命必达的机器人，对于所有既定任务都能给出完美的答案。而它抚养大雁宝宝的任务很简单：教它吃饭，教它游泳，教它飞。这是基于生存需求下最高效的任务逻辑，而罗兹在执行任务的过程里也展现了它“非人”的效率和解决问题的能力。 比如它会先请一位“老师”来帮忙分析这三个任务具体执行时需要做些什么，它选择了荒岛上最可能给自己意见的老师，狐狸芬克。这个在旁人眼里很不靠谱的选择对罗兹来说是不是无奈的选择我们无从得知，但她确实让对方帮自己解决了大麻烦，并且成功地交到了她在这个世界上的第一个朋友。 教导雁宝宝的过程也是罗兹发生变化的过程，在喂养它的阶段，她还处于让孩子吃饱就行的状态，等到学习游泳这个技能，她开始像一位母亲一样操心，具体表现在面对嘲笑雁宝宝的其他雁群，她会第一时间冲过去保护自己的孩子，会为了保护险些被水里的鱼吃掉的孩子损坏自己的脚。 在这个过程里，她还为自己和雁宝宝造了一所房子，这所模仿其他动物巢穴设计建造的房子，本意是为了让自己和雁宝宝遮风避雨，最终成为严冬里所有动物的庇佑所，随着剧情推进，观众不难从这所机器人建造的房子背后看到某种隐喻：对人与动物和谐共处，和动物保护行动的呼吁。 最终，罗兹完成了她最初设定的任务，甚至超额完成任务。对于她超额完成动物的奖赏来自于荒岛上的每一个原住民，它们从把机器人罗兹当作怪物，到接纳和认可她，到最终信任和依赖她，而她抚养长大的雁宝宝“小不点儿”回馈她最动人的情感：爱。 罗兹的重启人生，是从高效执行任务的机器，变成为爱勇敢的人。 当下，成长故事还重要吗？ 虽然涉及多个议题，贯穿《荒岛机器人》始终的依旧是成长这件事。 其中最显而易见的成长来自于雁宝宝小不点儿，故事围绕它从一颗蛋变成一只领头雁，成长轨迹里的所有变化都是肉眼可见的。对它来说，成长是拥有在世界上生存的能力，拥有无畏的勇气，也拥有与我执和解的心。 机器人罗兹的成长是从执行命令的机器变成能听从内心声音的人，这也是她在完成最初设定的抚养小不点儿长大的命令后依旧选择留在荒岛的原因。她要在这里等待自己的“孩子”，也要尽己所能守护自己的家园。 与此同时，荒岛上的每个原住民都得到了不同程度的成长。凛冬已至，在机器人罗兹的帮助下，原本无法度过严冬的动物们凑在了一起，起初它们无法和谐共处，用狐狸芬克的话说是把食物链里所有的动物汇聚一堂，和平共处根本不可能。然而不妥协便会面临大部分动物都无法生存的境遇，加上罗兹不畏艰难救助它们的过程，最终动物们“成长”了，明白了和谐共处的重要性。 这其中便有狐狸芬克。它是荒岛上最狡猾的一个，因此也没什么朋友，罗兹的信任让它拥有了友谊，也开始学会用自己聪明的脑袋来做一些实在事儿。事实上，这个没一句真话的伙计骨子里是没有安全感的，如果说每个动物都有自己的生存方式，那么狐狸芬克的生存方式便是谎言。 在《荒野机器人》里有很多可供延展的美好主题，爱是最耀眼的，友情是必不可少的，这两种情感几乎在不同的关系中同时存在。还有对和平的呼唤，为了召回罗兹的人类机构对着整个荒岛实施进攻，并险些让荒岛失陷在一片火海中便是这个主题中的重要部分。 成长可以说是串联所有主题的存在，故事里的每个角色在成长中收获爱，在成长中明白了友情的重要性，在成长后生出捍卫家乡的责任感…而真正的成长是拥有一颗金子般的心，拥有能够让爱与和平成为永恒主题的力量。 那么，当下还需要这样的成长故事吗？答案是肯定的。 ps：严禁私自转载！转载或者合作，请联系作者 xkxike@qq.com 温馨提醒 微信改版啦，以防走散，可以把我们设置成星标哦 现已入驻以下平台 今日头条 | 企鹅媒体 | 百度百家 | 新浪看点 凤凰新闻 | 搜狐新闻 | 网易新闻 | 一点资讯 快传号 | 东方号 | 知乎...

美国国家工程院外籍院士沈向洋（图片来源：IDEA） 11月22日举行的2024年IDEA大会上，IDEA研究院创院理事长、美国国家工程院外籍院士沈向洋以“从技术突破到产业融合”为主题发表演讲，其对人工智能“三件套”（算力、算法、数据）的最新思考。 沈向洋指出，在技术大爆发时期开展创新，对技术的深度理解尤为重要。他认为，从算力来看，未来十年 AI 的发展可能需要增长 100 万倍的算力，远超摩尔定律预言的100倍增长，而英伟达成为了 AI 行业最了不起、最成功的一家公司。 根据EPOCH AI的数据，每年最新的大模型对算力的需求都在以惊人的速度增长，年均增长率超过四倍（400%）。截至目前，全球已经“烧掉”了超过1000万张GPU算力卡。 “英伟达硬生生把自己从自己从做硬件、芯片的乙方变成了甲方，今天能拿得到英伟达的卡就可以说是成功了一半。”沈向洋称，“讲（GPU）卡伤感情，没卡没感情。” 沈向洋现场透露，明天黄仁勋会到香港科技大学接受荣誉博士学位的授予，而他准备现在和黄仁勋讨论一些关于技术、领导力和创业的故事，特别是在针对算力发展的问题，探讨未来十年还会不会像过去十年那样能够达到100万倍的增长。 会后，沈向洋还向钛媒体App透露，Scaling Law（尺度定律）放缓的原因是GPT-5还没发布，背后主要与数据相关。 据悉，粤港澳大湾区数字经济研究院（International Digital Economy Academy，简称“IDEA研究院”）于2020年由微软公司原全球执行副总裁、美国国家工程院外籍院士沈向洋创建，是一家面向 AI 和数字经济产业和前沿科技的国际化创新型研究机构。 IDEA研究院致力于 AI 和数字经济领域前沿研究与产业落地。目前该院包括低空经济研究中心、计算机视觉与机器人研究中心、AI金融与深度学习研究中心、基础软件中心、AI安全普惠系统研究中心等。 此次，IDEA发布视觉、具身智能、合成数据、AI for Science、AI for Coding、低空经济等多个领域的新技术和新模型的前沿研究与产业落地成果，实现 AI 从技术突破到产业融合。 视觉大模型：IDEA团队本次大会发布了该系列最新的DINO-X通用视觉大模型，拥有真正的物体级别理解能力，实现开放世界（Open-world）目标检测，无需用户提示，直接检测万物。在零样本评估设置中，DINO-X Pro在业界公认的LVIS-minival数据集上取得了59.7%的AP，在LVIS-val数据集上，DINO-X Pro也表现亮眼，取得了52.4%的AP。具体到LVIS-minival数据集上的各个长尾类别评估中，DINO-X Pro在稀有类别上取得了63.3%的AP（比Grounding DINO 1.5 Pro还要高出7.2%），在常见类别上取得了61.7%的AP，在频繁类别上取得了57.5%的AP。 行业平台架构：IDEA团队还推出行业平台架构，通过一个大模型基座，结合通用识别技术结合，让模型不需重新训练，就可边用边学，支撑多种多样的B端应用需求。 具身智能：IDEA研究院此次便一连宣布三个合作：与腾讯合作，在深圳福田区、河套深港科技创新合作区落地建设福田实验室，聚焦人居环境具身智能技术；与美团合作，探索无人机视觉智能技术；与比亚迪合作，拓展工业化机器人智能应用。 合成数据：IDEA团队自研了语境图谱技术，解决过往文本数据合成方案的多样性匮乏等问题。该技术为合成数据引入“指导手册”，以图谱为纲，指导用于合成的语境采样。实验结果显示，IDEA团队的方案能持续为大模型带来能力提升，表现超过目前的最佳实践（SOTA）；从token消耗来看，平均节约成本85.7%。目前，该技术内测平台已开放，通过API提供服务。 AI for Science：在预测方面，IDEA研发了多个化学领域专家大模型，分子属性预测和化学反应预测能力均处业界领先水平；在数据方面，IDEA开发了化学文献多模态大模型，联合晶泰科技发布专利数据挖掘平台PatSight，将药物领域的专利化合物数据挖掘时间，从数周缩短至1小时。 AI for...