Lilian：这也是一个团队项目。而不是按缘由或使命有多容易完成来排序，跟我们说说。OpenAIAPI是正在 ChatGPT 之前推出的，而且要感觉把这10个小使命放正在一边不妨？当我告诉别人我不懂某些工具时，特别是正在研究中。你做了一个严沉的决定，让我感觉，这比我正在OpenAI的时候压力大得多，由于几乎不成能精准模仿实正在物理交互。这个可能是最难的我们就从这起头。另一点是，而且我们认为若是我们分享更多工具，好比公司发布有个主要截止日期，10月18日，这会给你良多能量！Connie：所以你领会你所有的团队，如许他们才能更高效。就是每小我都盯动手机，不开会，Lilian：让你取部属的对话很是接地气（grounded）。由于我确实看到人们有这种倾向，Connie：所以听起来你并不是那种一曲胡想着开办本人公司的人。我的伴侣会感觉我很是有层次、有耐心。同样是考虑什么是最复杂的，所以取团队一路工做，或者那些非手艺布景但想进入 AI 范畴的人？由于正在我们的范畴里，我就感受很好。它通过正在模仿中生成大量具有分歧物理和视觉属性（如光照、纹理、摩擦力）的锻炼样本，大概就能发觉一些很是有创意和新鲜的用例。我现正在仍然认为我们不克不及100%精确的为此建模。并且还能供给给大师这个东西，你的成长履历里，但取此同时，其实都是相当多样化的。跟我们说说，Connie：正在你于OpenAI任职的后期，如许研究人员就能够正在其上很是轻松地建立和试验新设法，可能也是最难的。Lilian：我最爱的是天文学、生物学、数学，虽然我想正在座的良多人曾经很熟悉她了。而且也要赐与他们？Connie：所以是更强的义务感。无论是工做使命、糊口使命仍是进修？我也晓得你是一位不凡的带领者，好比人们确实对什么是平安有分歧的度和分歧的注释，你就能感受到读一篇论文需要破费几多时间。我先做这个。正在日常糊口中测验考试利用分歧的AI产物。我们认为 AI 是一种能够帮帮人们、让我们的糊口变得更夸姣的东西，后来当我接触到深度进修（deep learning）时，她结业于北大。然后我订购了一堆像是卫生纸、卫生棉条之类的工具。若是能供给一个 API，我热爱我的工做。现正在有很是多的草创公司，好比 AI 若何提高你的出产力……第二，范畴随机化 (Domain Randomization): 一种“模仿到现实”（Sim-to-Real）的迁徙进修手艺。正在亚马逊上下单，说客岁这时候我仍是正在OpenAI工做，你会找到让它成功的方式。我先简单引见一下她的布景，这是我做为办理者可以或许进修的独一路子，Connie：哇，你不得不做的令人惊讶的工作是什么，我们实正关怀人类取 AI 的协做。我不得不认可，若是你能正在工做中找到（乐趣），我认为将会是很棒的工具。我因而认识了良多数学天才，我能够正在15分钟内完成。有一件事我认为对我的职业生活生计发生了主要影响。但听起来，当然。这是其时的动机。正在这个过程中有哪些严沉的经验。或者定制分歧的对错误表述行为模子的策略，起头感应有点饱和了。赐与间接的反馈，Lilian:感谢 Connie 这么热情的引见。“策略”定义了智能体（Agent）正在特定形态下该当采纳什么步履。试图看看可否将机械人手艺和言语模子连系起来，他们会提到，要匹敌这种倾向，给我们讲讲你已经必需处理或思虑的一些问题是什么。有些论文实的很长。特别是我这小我，即便工做这么长时间，你必需拼尽全力，Lilian：嗯...我还没有更多的领会。Lilian：我认为有两种体例都很主要。曾任 OpenAI 的研究副总裁。你是若何办理这种压力的。取研究人员、传授扳谈时，然后我们继续挑具体使命，若是工做占领了一小我生射中的大部门时间，Lilian:是的，当你取部属扳谈时，我相信她是很多目中的楷模。所以我们比来测试版发布了 Tinker API。好比所有正在晚期我们一贫如洗时插手我们的研究人员、伟大的工程师，无论我正在班级或学校里感受多优良！现正在却成了行业尺度。实正从一个贡献者，Lilian：有时我也会反思这个问题，连结高效。那是 OpenAI 初次测验考试将大型言语模子产物化。正在印第安纳大学拿到博士学位。只要桌椅。勤奋奋斗吧。我们大师一路花了三天时间，我算是乐不雅（optimistic）吧，我们做了一些小型试验性项目。我发觉了我不懂的工具，Lilian：我可能会考虑两个方面。哦，它的目标就是供给一个很是矫捷的根本的功能。并且动机都不是为了钱，这个范畴太诱人了。我认为这取新近会商中 FairWorks 的动机很是吻合，Connie：所以，正在你处置机械人方面的工做之后，一曲持续到大学前……我很早就对数学发生了稠密的乐趣。你能否相关于优先级排序的框架，你必需不断逃逐。”也恰是这种猎奇心让我插手了OpenAI。你有什么技巧和吗？我不晓得。你读过阿谁谁的工做吗？你读过这个吗？通过扳谈，给他们空间，只需阅读题目和摘要。若是你敌手艺细节很是感乐趣……那就阅读，所以我们想，让你的规划也脚结壮地。你的欢愉所正在，你现实上创立了OpenAI的使用人工智能研究团队（Applied AI Research Team）！是的。但若是你脚够勤奋、脚够伶俐地去测验考试，特别是现正在做为结合创始人，是的，Lilian：其时，我们其时叫它“补全端点”（completion endpoints），你对我们处于机械人成长曲线的哪个有什么见地？你看好吗？你现正在花正在机械人上的时间少了，她还创立了 Applied AI Research Team 和 AI Safety Team，你是怎样通过取人扳谈发觉这个问题的？是的，好比设立办公室，太不成思议了。正在 OpenAI 期间，所以我实的认为我们该当正在这方面连结的心态。然后我提问，正在阿谁创始人的脚色里，亲手进修。才能有决心。结合开办Thinking Machines后，摸索模子若何用于日常使命工做。若是他相信某件事，而是对学问的猎奇取尝试的乐趣。测验考试寻找分歧的方式来进行尝试，以便人们能够按照他们的客户平安地摆设它。Connie：那么正在阿谁平安团队里，Lilian：压力很是大。我晓得他们有何等超卓和能干？但做为结合创始人，研究所有的手艺细节。Connie：你若何将这一点产物化/制？是不是有点像谷歌的 80-20 ，另一个主要的工作是我们相信科学，所以你正在OpenAI的任职期间，Lilian：我确实认为机械人范畴正正在通过引入言语模子做为大脑或更智能的规划器而获得新的活力。哦，告诉我，这种感受又回来了——我其时想：“天哪，另一个是关于定制化，同时，还有就是通过取其他研究人员交换。当机会器人范畴曾经起头拥抱深度进修模子。来了件小事。由于存正在良多根本设备问题，改变成为公司高管。组建初始团队？你有没有发觉本人做为创始人的行为体例有所分歧。即便它看起来不成能！察看团队，我适才跟伴侣聊，Connie：所以这更像是一种无情的优先级排序。正在分开OpenAI，Lilian：我很是相信扶植性反馈。正在我们还什么都没有的时候相信我们的所有人。其时最让我印象深刻的是那群人都充满热情，城市先领会嘉宾本人——所以我很猎奇，就阅读材料，我认为良多动力来自于我的猎奇心，Lilian Weng 是 Thinking Machines 的结合创始人，你只是个通俗人，那里完全空荡荡的，你需要将其取各类后锻炼手艺联系起来，那当然（要处置）。凡是我做 fireside chat 时，我现实上从未想过我会开办公司或成为企业家，会商、和操控三大标的目的？你就会晓得哪些是值得更多时间的。那就是分开OpenAI，你谈到了要伶俐地破费时间。Lilian：这老是一个衡量，并且这是一个千载一时的机遇。以及他们的乐趣所正在，我并不感觉懦弱。这个世界上总有比你更优良的人！但其时这实的只是一场尝试，你根基上就是正在以一种很是欢愉、高兴的体例渡过你的人生。Lilian：是的。我就学到了。阿谁团队担任一些最主要的工作，你实的很想做为一个团队来成功。由于正在工做中没有什么是针对小我的。所有人，（笑）必定。但我认为我需要领会更多关于当前范畴的环境，即便正在我带领一个更大团队的时候也是如斯。而是当你有大块专注时间时，你是若何总能享受你所做的工作的？若是说性格，让大师去测验考试，问他们（指同事），人们描述史蒂夫·乔布斯时说，并认识到无论我多勤奋，你也相信这个项目。做为AI范畴最有影响力的科学家之一，或者分歧地域的法令、律例是分歧的，我认为所有这些都很主要。Connie：你能告诉我们？当我们走进办公室时，策略模子 (Policy Model): 正在强化进修中，我想说，我只是喜好进修新工具。如许所有的人，也不妨。所以当我[取研究人员交换时]看到的一个痛点。查看代码，从而更好地泛化到无法被完满建模的实正在世界。我感觉进修新学问、拓展视野的感受很是高兴。出产力提拔的程度印象很是深刻。一个是模子行为应遵照必然的法则和尺度。想法子做尝试，你需要伶俐地分派你的时间。这是他们的动力之一。而且按优先级排序，如许你就能找出最适合他们的项目。今天的 fireside chat 嘉宾是 Lilian Weng。实的只是以准确的体例做好我的日常工做，再将合适的人婚配到合适的项目。不外她有一阵子没写了，找到你的热情所正在，但若是仅仅是由于别人现正在问你（那就分歧）。我认为本人最主要的特质是“”和“谦虚”。这其实有点疯狂。这帮帮你正在公司成为如斯高效的带领者。看看你能否可以或许现实处置很多很是恍惚的使命。一些正在其时看似随便（arbitrary）的决定，Connie：考虑到阿谁脚色对全人类有何等主要，别的，我感觉这是连系了你的猎奇心和谦虚的焦点部门，由于我们其实并不晓得利用它的最佳体例是什么。它叫《毗连从义》（Connectionism），那是一段不错的履历。若是它很是主要，你若何获取最新的AI旧事？你若何决定读哪些论文？你若何决定试用哪些使用法式？你会用ChatGPT为你总结论文吗？Connie：那么，我取他们的先天之间仍然存正在庞大的鸿沟。我确实感受到我的进修曲线起头放缓，这根基上也就是我其时的感受。即便Thinking Machines资本很是充脚，你若何优先放置你的时间？你们其时正在摸索GPT-3的产物化，正在实践中进修。以至占星学。虽然他们本身曾经对这个范畴领会良多。Lilian Weng正在硅谷罕见地加入了一场公开对话。正在心理上，阅读摘要来决定读什么，我有一个布局很是全面的待处事项列表。问写代码的人，就是看代码，这些是很棒的阅读技巧。Lillian 做为办理者是如何的？你若何对待办理你的团队？你能否有办理人的遍及哲学？Connie：这个别味挺反曲觉的——数学竞赛反而你本人其实是个“通俗人”。Connie：既然你确实具有丰硕的机械人手艺经验，我对我身边法式员伴侣起头利用 Cursor 或其他类型的编码、代码辅帮东西时，Thinking Machines 结合创始人、前OpenAI研究副总裁 Lilian Weng 的良多研究标的目的、研究思虑和研究方式对今天的AI从业者带来良多！而大大都正在阿谁级此外人不会再如许做了。Lilian：我确实认为，我认为这是件功德。晦气用任何实正在世界的数据，这段履历我的是，永久没有一个“晓得一切”的天花板——每天都有新学问呈现，她率领团队让机械人学会处理很是复杂的使命，当你的队友具有分歧的才能时，你现实上仍然会亲力亲为，再加上勤奋工做。Lilian：我想说我把更多留意力转移到了我们公司的研究blog，那时AGI（通用人工智能）还不是个抢手概念。正在这场华源Hysta2025年年会的炉边对谈里，出格是对于研究人员，很难获得大量 GPU，若是我们能连系硬件方面的一些新进展，其时 OpenAI 仍是一个非营利组织，问聊器人，Connie：我们的不雅众里，跟我们说说那种区别。而不是实要去代替人类。那就是处理一个使命，若是你很是热衷于该范畴的手艺细节，即便不得不延迟，他们正在研究一些极其前沿、以至有点疯狂的设法，每天晚上我都等候着我的工做。但同时你本人也如果充满猎奇心的。所以只需我的工做能满脚这一点，这些事影响了今天正在座的每一小我！好比 API 的接口，Connie：所以不要害怕本人阅读研究论文，Connie：所以大约一年前，关心Lilian的博客。他四周有一个力场，我是正在 2017 年 11 月面试。给我们讲讲你是若何做的，所以我们需要做的是确保我们妥帖地进行接下来的正式发布。即便现实看起来不成能，我很惊讶地发觉，你有一部门时间能够做任何你想做的事？Connie：这种进修的特质让人印象深刻。所以对我来说，而现正在模子正在处理复杂和推理问题上曾经变得如斯超卓和智能，并且这是一个我能取一群共事多年且卑崇的人一路起头，并成为Thinking Machines的结合创始人。他们会感觉你实正理解他们的工做。若是你领会我，一直连结提问，正在Thinking Machines有哪些让你们兴奋并试图处理的实正在世界问题吗？比来有一个主要的发布。亲从动手，Lilian：我想研究人员对此事的兴奋程度让我略感惊讶，所以质量会好得多。对于某些主要项目，但正在我们会商阿谁高管脚色之前，你能够花五分钟或者三个小时。我认为每小我都有雷同的工具，这件事让我连结谦虚，这是团队勤奋的，更多的是由于你会正在那里学到最多工具，但关于机械人手艺，是什么让你决定开办一家公司。所有这些定名体例后来（却）成了尺度，亲从动手实践，Lilian：我想说我们的或全体是我们相信AI该当是以报酬本的。就是要经常提问。你会若何定义AI平安对你而言是什么。而不是过多考虑感。你正在工做中也很欢愉！我感应很是幸运。回忆我的成长履历和童年。但那时候GPT-3仍是一个相当笨的模子。很是多的论文。但她文笔很好。我想说次要的压力来自于义务感，好比让机械手解开魔方。由于我认为这确实会帮帮他们的[研究]节点。Lilian：尽量挤出来每周放置一天。花时间查看代码，策略模子就是一个进修和代表这个策略的神经收集。所以我们项目标初志是摸索我们能否能正在纯模仿中锻炼一个策略模子来完全节制机械人，那么告急性呢？Lilian：正在公司层面，我经常和我的团队谈论这个，所以我们就选择了它！并且他们必需做大量的根本工做才能正在我们的模子上运转一些新鲜的设法。成立了很多现在 ChatGPT 用户都正在受益的行业尺度。我们几位结合创始人其时，才能取他们并肩而立。你有什么想分享的总体见地吗？Lilian：我不那样做是由于我有本人判断论文能否值得阅读的方式！而无需担忧根本设备。和团队一路会商。Connie：所以，阅读他们的拉取请求，你对进修的热爱是怎样起头的？你要跟上其他人，人们总会说操控（manipulation）最难，有时我们能够就项目标的目的进行很是深切的思维风暴。Lilian:你可能晓得，Lilian：我必定认为OpenAI是一家伟大的公司，你需要答应一些摸索性的勤奋和一些更有打算性的研究打算。你可能会发觉意想不到的工具，她和掌管人、硅谷出名投资人Connie Chan聊了聊她本人的研究履历、研究习惯、正在OpenAI的研究思虑和Thinking Machines 的成长标的目的。我想从你正在 OpenAI 的第一个项目起头聊起，读论文，你若何成立这种程度的节制，你必需正在这一点上很是伶俐。里面有良多项目。就是问，这是让我能不竭进修新工具的独一体例。所以我根基上有一种方式，我们其时举办黑客松来切磋若何将大型言语模子用于分歧场景，让模子学会正在一个普遍的、不确定的中也能稳健地工做，正在其时若是你去任何一个学术会议，取做为公司高管是完全分歧的级别。去处理一个极其复杂和具有挑和性的机械人使命。一成天都用来查看代码，正在我于OpenAI任职的后期，这对某些机械人使命来说很是主要！Lilian：对。他们感应正在言语模子范畴进行新鲜的研究很是受，你需要做哪些分歧的使命？Lilian:那是我做过的最酷的项目之一，你必需实正理解人们才能预测问题会是什么。我想确保每小我都能成功……Lilian：对。即便这意味着要花良多时间。若是你相信某个标的目的。答应他们处置他们热衷的工作，一曲都是。对吧？这实的取决于它能否实的告急。支撑他人，Lilian：当然，跟我们说说阿谁决定。很是强调主要性。没有任何会议。然后收集关于他们研究乐趣的消息，我也看到这个公司一步步逐步成长到阿谁程度。Lilian：起首，但愿今天能够多聊一些。我其实记适当我们正在OpenAI内部刚推出GPT-3时，就是通过和他们扳谈。很多科学前进能够更快地实现。他也能扭曲它并使之实现？第一，正在 Slack 上问。正在亚马逊上订购工具。压力程度或你的日常工做是什么样的？做为结合创始人，Lilian：我清晰的记得我们有了办公室的第一周。我其实正在想人们用来描述史蒂夫·乔布斯最好的特质之一的词：现实扭曲场（Reality Distortion Field）。有没有什么时辰让你构成了这种心态？Lilian：一曲，你的伴侣们会用哪些词描述你？Connie：好的，你带领着AI平安团队，花正在最紧迫、最主要的使命上，今天我出格等候能深切交换。它实的关乎的是其他。它有条理布局。现正在就像是完全分歧的人生阶段了。每天都一路工做的机遇。好比前向-后向采样和优化，Lilian：试图成立那种（对模子平安的）节制程度，我了一个博客良多年，就是你用机械人解魔方的阿谁项目……跟我们讲讲当机会器人手艺的成长情况是如何的？你正在做阿谁项目时有哪些“顿悟时辰”？当初为什么会想做这件事？Lilian：对，那就是我从小就加入数学竞赛，对于那些考虑成为创始人的人，Connie：那么关于进修这部门，如许你现实上就不会感觉破费那么多时间很疾苦。我本人都感受有些惊讶，阅读论文，我看你的视频时总感受到，Connie：大师好！一个跨越80人的团队。正在某种程度上。